Wpływowe podsumowanie roku 2012

multidysc-2012

A raczej powinienem powiedzieć – podsumowanie roku 2010 i 2011. Impact factory, bo o nich oczywiście (zgodnie z obietnicami) będzie mowa, obliczane bowiem są następująco: dla artykułów opublikowanych w latach X-2 oraz X-1 zlicza się cytowania w roku X, a następnie dzieli je przez liczbę artykułów z lat X-2 i X-1. Czyli IF 2012 mówi nam tak naprawdę o publikacjach z lat 2010-2011. O tym już w przeszłości wspominałem, jak również tu i ówdzie o tym, że IF jest jak marmite – albo się go kocha albo nienawidzi. Najczęściej jednak chyba nienawidzi, zwłaszcza gdy osobą wyrażającą pogląd na temat tego współczynnika jest badacz (a już zwłaszcza biedny badacz, którego wyczyny podlegają ocenie parametrycznej).

Niedawno opisywałem nowy ruch pseudoobywatelski, dążący do abolicji tego wskaźnika. Starałem się jednak wówczas podkreślić, że deklaracja DORA jest w najlepszym wypadku walką z wiatrakami, a w najgorszym – po prostu głupotą i próbą obwiniania pistoletu o morderstwo. Z punktu widzenia jednak redaktora (a także, z pewnością, wydawców), IFy pozostają narzędziem przydatnym, zarówno pod kątem oceny funkcjonowania pisma, jak i pod kątem marketingowym.

Pamiętając zatem o tym, że studiując IFy A.D. 2012 patrzymy tak naprawdę w zamierzchłą, dwuletnią przeszłość nauki, rzućmy okiem, co też się wydarzyło w tym Thomson Reutersowym rankingu w ubiegłym roku.

Po pierwsze zatem, krótki rzut okiem na główne pisma multidyscyplinarne. Jest to kategoria bardzo prestiżowa, bo do niej oczywiście należą najbardziej znane magazyny naukowe. I chociaż istnieją pisma o wyższych IFach – np. wiele pism publikujących przeglądówki, ale także wiele pism bardzo ściśle medycznych – to jednak cały świat wytęża się, aby swoje publikacje umieścić w tych właśnie periodykach. A mowa oczywiście o Nature, Science i kilku innych pismach. Poniżej przedstawiam wykres z 5-letnim trendem IFów dla tych żurnali. Dla porządku: ze wszystkich poniższych zestawień usunąłem pisma nastawione na przeglądówki. Poniżej dodałem także PLoS ONE, które co prawda nie zajmuje w kategorii miejsca piątego – ale zajmuje niewiele gorsze miejsce siódme. Jest też jednym w tej kategorii pismem znajdującym się blisko czołówki, które publikuje wszystko niezależnie od tego, jak bardzo jest sexy, pod warunkiem, że naukowo jest w porządku.

multidysc-2012

Zaskoczeń wielkich chyba tutaj nie ma. Nature wciąż szybuje w górę – prawdopodobnie można by to wytłumaczyć dużym naciskiem na publikacje biomedyczne, zwłaszcza w porównaniu z Science, które wydaje się publikować więcej artykułów z nieco bardziej kiepsko cytowalnych dziedzin, takich jak fizyka czy geologia. PNAS trzyma stały poziom – czego należy się spodziewać w przypadku periodyków o ustalonej renomie, publikujących duże liczby artykułów. Oznacza to, że z jednej strony przyciągają nieco bardziej wymagającą klientelę, z drugiej zaś wahnięcia cytowań pojedynczych artykułów – zarówno w górę jak i w dół – nie mają na IF tak dużego wpływu. Ciekawy wynik dla Nature Communications: dopiero drugi rok z rzędu to młode pismo otrzymuje IF. W dodatku zeszłoroczny IF opierał się na niepełnym roku 2010 (Nat Commun podwoje otworzyło w kwietniu 2010 roku). Prawdziwy obraz znaczenia tego pisma poznamy dopiero jednak za rok. A do tej pory wiele może się wydarzyć. Odczuwalny jest zaś niewielki, ale stały spadek IFu PLoS ONE. Po początkowym entuzjazmie – pierwszy wskaźnik w 2008 był bardzo wysoki jak na pismo o tak niewybrednych wymaganiach – widać studzenie zapału. Bardzo ciekawą analizę na ten temat opublikował blog Scholarly Kitchen. Zachęcam do rzucenia okiem, zwłaszcza jeśli przymierzaliście się do wysyłania prac do tego periodyku.

W ramach wycieczki osobistej, krótka analiza pism z dziedziny genetyki i dziedziczności. Tutaj zaskoczenia także nie ma: Nature Genetics przewodzi w grupie, z IFem niewiele mniejszych niż samo Nature (jest to zresztą z tematycznych Nature najwyżej notowana wersja). Potem długo, długo nic. A potem wolna amerykanka. Z niejaką dumą, całkiem zresztą niezasłużoną, zaznaczę, że Genome Biology nie tylko odnotował w tym roku wynik dwucyfrowy, nie tylko wciąż pnie się w górę, ale jest też, obok Genome Research, jedynym pismem, dla którego trend jest stale wzrostowy (i trzymajcie kciuki, by się utrzymał!). Pozostałe pisma w stawce wirują trochę w tę i we w tę. Najbardziej zaś chyba Molecular Biology and Evolution, które po dwóch latach szlajania się w okolicach piątki, w tym roku poprawiło swój rezultat o niemal 100%. Sprawa wygląda nieco podejrzanie, ale teoria jest taka, że Thomson Reuters źle zliczał cytowania w ostatnich latach.

genet-2012

Tu znowu należy się kilka słów wyjaśnienia. Ponieważ powiedziałem, jak liczony jest IF, ale zataiłem kilka informacji. Prawda jest zaś taka, że chociaż teoretycznie wszyscy wiedzą, jak liczony jest IF, to tak naprawdę poza Thomsonem Reutersem, nikt tak do końca nie wie. Mianowicie, do wskaźnika wliczane są wszystkie cytowania dla wszystkich artykułów opublikowanych w danym okresie. Czy jest to praca badawcza, czy przeglądówka, czy komentarz/opinia. Nie ma znaczenie, wszystkie cytowania się liczą. Ale liczbę cytowań nie dzieli się przez liczbę tych wszystkich artykułów, a jedynie artykułów tzw. cytowalnych. Za takie uznaje się oryginalne artykuły, czasem przeglądówki. Nie wlicza się opinii, komentarzy, tekstów newsowych. Ale tak naprawdę kryteria, według których artykuły są lub nie są uznawane przy podliczaniu IFu, nie są znane. Jeśli zatem z jakiejś przyczyny TR postanowi pismu do IFu wliczać np. teksty newsowe – a pismo ma charakter magazynu i publikuje takich tekstów porównywalne ilości, co artykułów oryginalnych – to może mu IF znacząco zaniżyć. Taka sytuacja miała miejsce w Genome Biology tuż przed moim przyjściem do zespołu. I jest spora szansa, że podobna sytuacja odpowiada za ten dramatyczny spadek IFu dla Mol Biol Evol  w 2010, a następnie równie dramatyczny jego wzrost dwa lata później.

Rzućmy wreszcie okiem na trendy dla trzech najwyżej cytowanych pism nie przeglądowych. Jak już część z Was mogła przyuważyć tu i ówdzie, CA – Cancer Journal for Clinicians znowu pobił rekord, tym razem osiągając kosmiczną wartość IFu – ponad 150! Następny w kolejce NEJM plasuje się koło 50, więc przepaść jest naprawdę niemal bez dna. Ten dziwoląg próbowałem wytłumaczyć na fejsie na profilu Emanuela: CA  co roku publikuje w styczniu artykuł na temat statystyk dotyczących raka. Te artykuły są bez wątpienia najwyżej cytowanymi artykułami tego pisma. Moje obliczenia na fejsie nieco się rozminęły z prawdą – oszacowałem, że gdyby nie uwzględnić tych artykułów w obliczeniach, to IF CA byłby na poziomie ok. 100. Mając teraz dostęp do pełnych danych – m.in. do liczby cytowalnych artykułów – przeliczyłem to ponownie i wygląda na to, że bez tych dwóch artykułów CA wylądowałby na także przyzwoitym, ale jednak znacznie niższym niż obecnie poziomie – miałby IF ok. 35.

najwyzsze-2012

Na koniec dwa zestawienia. Po pierwsze, analizując to jaki IF ma dane pismo i próbujący wyczaić, czy jest on wysoki czy niski, należy pamiętać – a zdają się o tym zapominać nasi rządowi eksperci od oceny parametrycznej – że wskaźnik ten jest wysoce zależny od dyscypliny naukowej. Poniżej lista dyscyplin zestawiona z pismem o najwyższym IFie w każdej z kategorii (z wyłączeniem pism przeglądowych).

tabelka-1

Jak się można spodziewać, do najwyżej cytowanych dyscyplin należą medycyna i genetyka. Chemia i fizyka plączą się nieco dalej. W pozostałych kategoriach najwyżej cytowane pisma są zazwyczaj wyjątkami, latarniami stojącymi wysoko i daleko, oświetlającymi drogę dla pozostałych periodyków w danych kategoriach. Badaczom publikującym w tak medialnych dyscyplinach, jak oceanografia czy paleontologia (no bo kaman, delfiny i dinozaury!) można jedynie szczerze współczuć.

Drugie zestawienie, to trzy najwyżej ocenione, czy też raczej wycenione, polskie periodyki, wraz z ich pozycją w odpowiednich kategoriach tematycznych. Ocenę tego, czy radzą sobie dobrze, czy przeciętnie, pozostawiam czytelnikom.

tabelka-2

I tutaj końca dobiega moje podsumowanie roku 2012. Raport cytowań to oczywiście jednak skarbnica informacji, przydatnych mniej lub bardziej (i mniej lub bardziej łatwych do pozyskania). Humaniści zauważą też, że całkowicie pominąłem indeks humanistyczny – wynika to głównie z mojej nieznajomości dziedzin humanistycznych i w związku z tym niemożności wyciągnięcia jakichkolwiek sensownych wniosków. Ale jeśli ktoś popełni wpis na temat periodyków humanistycznych – proszę się pochwalić w komciach, ja z przyjemnością przeczytam.

8 Comments

  1. Dlaczego w przypadku ocenaografii i ekologii w tabeli jest symbol gwiazdki? Przy okazji warto zwrócić uwagę na różnicę pomiędzy wynikami z TR a SCImago. Dla Ecology Letters SCImago podaje IF za 2011 – 12,488 a TR IF za 2011 = 17,557. Czyżby jedni lub drudzy starali się promować/uwalać jakieś czasopisma?

    Lubię

    1. Ach, te dwa pisma oznaczylem poczatkowo gwiazdka, poniewaz w ostatnich latach odnotowaly podejrzanie wysokie wzrosty IF – co moze oczywiscie byc spowodowane tym, ze po prostu byla zmiana warty w redakcji i lepiej sobie radza z przyciaganiem dobrych prac. Ale moze tez znaczyc, ze stosuja jakies triki – jak na przyklad wspomniane na fejsie pompowanie IFu wstepniakami. Ale potem zapomnialem to wyjasnic – nie jest zreszta az tak istotne dla glownego przeslania tej tabelki.

      Co do roznic w IFach: IF jest produktem Thomsona Reutersa. Teoretycznie kazdy moze go sobie wyliczyc, bo definicja jest prosta. Ale tylko czesciowo: jak wspomnialem w tekscie powyzej, chociaz do IFu licza sie cytowania wszystkich artykulow, to nie licza sie do niego wszystkie artykuly. Stad wynikac moga rozbieznosci pomiedzy IFami, ktore kazdy wydawca sobie sam nieoficjalnie wylicza, a tymi podawanymi przez Thomsona Reutersa.

      A dochodzi tu wiecej problemow. Nie wiadomo np. skad (tzn. z jakiej bazy dokladnie) biora sie cytowania. Zapewne z WoK – raczej nie korzysta Thomson Reuters z goole scholar ani scopusa, wydaje sie oczywiste, ze korzysta z wlasnego produktu. A wystarczy sobie porownac liczbe cytowan dla jakiegos artykulu podana w tych trzech zrodlach: szanse na taki sam wynik sa bardzo mizerne (i tym gorsze, im wiecej razy dana praca byla cytowana).

      Nastepnie rodzi sie pytanie: czy kazde cytowanie jakiejs pracy jest liczone? Czy licza sie cytowania w publikacjach newsowych, czy tylko w pracach oryginalnych (i.e. badawczych)? Czy cytowania z prac badawczych zaleza od tego, czy praca cytujaca jest zindeksowana np. w pubmedzie – albo WoK? Czy zaleza od tego, czy pismo, w ktorym opublikowano prace cytujaca, jest zindeksowane i gdzie? I tak dalej, i tym podobne.

      Nawiasem mowiac, rzucilem wlasnie okiem na strone SCImago, na ktorej mozna znalezc odnosnik do publikacji na arXiv tlumaczacej idee tego wskaznika (bedacego dla odmiany takze produktem komercyjnym, jesli dobrze rozumiem nalezacym do Elseviera). SJR opiera sie na koncepcie wektorow wlasnych (ang. eigenvectors) – czyli tym samym, co inny wskaznik bedacy produktem Thomsona Reutersa, Eigenscore. Nie mozna zatem porownywac IFu do SJR – mozna za to, a nawet nalezy, porownywac do SJRu Eigenscore. Co bym uczynil, gdybym byl w domu i mial dostep do WoK, ale nie jestem i nie mam ;) Za to moze uzupelnie tu komentarz jutro, po sprawdzeniu jak te wskazniki wygladaja dla rzeczonego pisma.

      W kazdym razie mam nadzieje, ze odpowiedzialem na pytanie chociaz troche.

      Lubię

      1. Dzięki :) Co do porównywania to SCImago liczy nie tylko SJR, ale podaje też całą masę innych statystyk dla danegto czasopisma. Chodziło mi o porównanie Cites per Document in 2 year window (4 okienko od góry w charakterystyce żurnalu) vs. IF z Thomsona. Wiadomo – chcemy oprównać „apples with apples” :) Ta różnica o której pisałem (ok. średnio 5 cytacji na art) jest bardzo duża i ciekaw jest co ma największy wpływ. Biorąc pod uwagę różnice w metodologii zliczania cytacji, to spodziewałbym się wyższego IF po stronie SCImago, ponieważ Scopus jest dużo liczniejszą bazą danych więc cytacji powinno być więcej (szczególnie dla popularnych czasopism), a jak widać sytuacja jest odwrotna.

        Lubię

  2. Gdyby w Polsce była większa dostępność żłobków i przedszkoli, odpisy podatkowe itd – tatuś nie musiałby po południu siedzieć w pracy zarabiając nań, więcej zajmowałby się dzieckiem. Mamusia miałaby czas w domu na pisanie.

    Wtedy – gwarantuję – impact factor Journal of Physiology and Pharmacology byłby znacząco większy.

    Lubię

    1. Nigdzie nie jest powiedziane, że prace muszą być tylko od polskich autorów. Ale oczywiście rozumiem zastrzeżenie – bardzo by pomogło, gdyby polscy badacze mogli się skupić po prostu na badaniu.

      Lubię

  3. American Journal of Bioethics znany jest w mojej dziedzinie (etyka medyczna) z „pompowania” IF. Artykuł publikowany jest wraz z odpowiedziami, każdy przy tym ma za zadanie zacytować innych „dyskutantów”. Nie wydaje mi się to zresztą specjalnie nieuczciwe – nieco się tylko dostosowują do zasad gry. Takie impactfactorowo ubogie dyscypliny jak etyka medyczna/bioetyka i tak są na samym dnie tych zestawień (z wyjątkiem AJOB, IF to przeważnie około 1).

    Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s