Świat naukowy chce nowych wskaźników

Żaden wskaźnik, żaden współczynnik, żaden parametr stosowany do określenia „czytalności” prac naukowych nie jest i nigdy nie będzie idealny. Najpowszechniej stosowanym wskaźnikiem jest oczywiście impact factor – współczynnik, który rządzi obecnie tym, jak postrzegamy naukę, a który w ostatniej dekadzie opiera się fali krytyki, słusznej czy też nie.

 Ten diabelski impact factor

Impact factor (oficjalnie znany jako Journal Impact Factor) jest współczynnikiem obliczanym, jak sama nazwa wskazuje, dla poszczególnych pism naukowych, określając ich wpływ na kształtowanie nauki. Opiera się na prostym założeniu: znaczenie pracy naukowej najprościej mierzyć tym, dla ilu osób staje się ona podstawą do dalszych badań. To zaś mierzyć można licząc, ile kolejnych pracy daną publikację cytuje. Przyjęło się jednak postrzegać wszystkie prace publikowane w danym piśmie, jako „odpowiedzialne” za jego IF, zaś sam IF – jako prosty wskaźnik, który stosować można w ocenie pracy naukowców, czy to jeśli chodzi o roczne podsumowania, czy to o podania o granty, czy też podania o pracę.

Nauką na świecie zawładnęła magia impact factoru, trzymając nas wszystkich w szachu. Każdy badacz marzy nie o tym, żeby opublikować niesamowite odkrycia – ale żeby swoje odkrycia, jak byle jakie by nie były, opublikować w Nature, Science lub innym tzw. wysokoprofilowym piśmie. Jak jednak wspomniałem, atmosfera zaczęła zmieniać się mocno w ostatniej dekadzie. Coraz częściej, coraz głośniej, naukowcy zaczęli mówić o tym, że potrzebne są inne wskaźniki, że powinno oceniać się nie poszczególne pisma, ale poszczególne publikacje, a także że wyniki badań powinno być łatwiej opublikować nawet wtedy, gdy czynnik nowości (ang. novelty) nie jest oszałamiający. Że powinno dać się publikować wyniki replikujące inne badania, wyniki niewielkich badań pilotażowych, i tak dalej.

Nikt jednak nie wiedział, jak stworzyć model biznesowy, w którym opłacalne będzie publikowanie badań, które po prostu mogą nie być ciekawe. I tu odpowiedzią pod koniec XX wieku stał się oczywiście ruch open access, a pierwsze wydawnictwa działające w tym modelu – komercyjne BioMed Central oraz fundacja non-profit Public Library of Science – pokazały, że w open access nie tylko da się publikować, ale i na tym zarabiać. Zwłaszcza zaś otwarcie PLoS ONE, pierwszego megapisma naukowego, które w dodatku ogłosiło, że publikować będzie tylko i wyłącznie w oparciu o poprawność naukową, nie kierując się czynnikiem nowości, zmieniło oblicze nauki. Bo nagle okazało się, że, żeby opublikować pracę naukową, nie trzeba przedzierać się z pisma do pisma, aż znajdzie się to jedno, które wreszcie zechce się nią zainteresować – zainteresowanie nie było bowiem już dłużej kryterium.

źródło: flickr; Vancouver Film School (CC BY)

Owczy pęd

Środowisko naukowe jest jednak dość oporne na zmiany i pomimo tego, że da się już publikować niezależnie od impactu, wciąż jednak pokutuje mit o wybitności prac publikowanych w pismach o wysokim impact factorze. Same pisma zaś, oczywiście, stosują IF jako chwyt marketingowy, żeby zachęcić autorów do publikowania na ich łamach. Ironią jest tutaj to, że redakcje pism naukowych od dawna nawoływały do traktowania IF z większym dystansem – Nature opublikował miażdżącego wstępniaka na ten temat osiem lat temu!¹

W środę z dużym hukiem ogłoszono, że 75 organizacji naukowych (wliczając w to także wiele wydawnictw) oraz 150 naukowców podpisało w San Francisco deklarację o szumnej nazwie Declaration on Research Assessment (DORA). Deklaracja, w skrócie, ogłasza, że impact factor jest przereklamowany (nie żeby to było coś nowego), a także wylicza zalecenia dla naukowców, autorów, instytucji badawczych, wydawnictw i tak dalej, jak postępować, aby badania naukowe oceniane i doceniane były rzetelnie. Jednym z powtarzających się tutaj mantr jest oczywiście stosowanie tzw. ALM (ang. article level metrics), czyli różnych wskaźników mówiących o tym, jak popularne są poszczególne publikacje, a nie całe pismo.

Pod deklaracją podpisał się naczelny pisma Science, Bruce Alberts. W tego-tygodniowym wstępniaku² maluje on nieco ciemny obraz nadużywania IF, jego manipulacji, jego niedocenianej niejednorodności w różnych dziedzinach nauki, a także uprawiania nauki opartej na niezdrowym podejściu do literatury przedmiotu, w którym badacz czyta tylko prace w pismach o wysokim IF, uważając je za ważne. Podpisali się pod nią także redaktorzy nowego pisma eLife, którzy także poświęcają tematowi długiego wstępniaka³. Sytuacja eLife jest o tyle ciekawa, że pismo to wydawane jest dopiero od kilku miesięcy i swojego IF doczeka się najwcześniej w 2014, a prawdopodobnie później⁴. Redaktorzy Randy Schekman oraz Mark Patterson podkreślają jednak, że gdy eLife otrzyma wreszcie swój pierwszy impact factor, nie będzie on reklamowany na stronie pisma (pismo jest wydawane tylko online).

Idea deklaracji jest oczywiście słuszna. Z ciekawością zatem można poczytać o tym, że (i dlaczego) nie została podpisana przez redakcję Nature. Pismo to wielokrotnie podkreślało w przeszłości (nie tylko we wspomnianym artykule z 2005 roku), że impact factor jest źle stosowany. Redaktor naczelny podkreśla jednak⁵, że chociaż zgadza się z ideą, nie mógłby podpisać się pod niektórymi z licznych postulatów. Ja do wymienionych przez niego przyczyn dodałbym jeszcze jedną: nie każda deklaracja warta jest papieru, na którym ją spisano.

Odkryć koło na nowo

Nie jest tak, że deklaracja sama w sobie coś zmienia. Nikogo bowiem do niczego nie zobowiązuje. Nie jest prawem. Większość jej zaleceń to po prostu zdrowo-rozsądkowe rady. Zaleca się na przykład, aby agencje przyznające fundusze nie brały pod uwagę wskaźników dotyczących pism, ale zawartość merytoryczną publikacji wspierających podania. Ale czy jest teraz inaczej? Wydawcom zaleca się na przykład, aby udostępniali wiele innych wskaźników dotyczących poszczególnych publikacji, a także aby wymagali od autorów zaznaczenia, jaki wkład w publikację mieli poszczególni uczestnicy badań. Zaleca, aby organizacje dostarczające wskaźniki, upubliczniały dane, na podstawie których są te wskaźniki liczone. I tak dalej, i tym podobne.

Tylko, że wiele pism – coraz więcej – udostępnia już ALM, wymaga od autorów podawania wkładu uczestników. Agencje przydzielające fundusze w kryteriach zalecają recenzentom merytoryczną ocenę prac, a nie IF pisma, w których były publikowane⁶. I tak dalej, i tym podobne. Większość tych postulatów – te najbardziej sensowne – jest już wdrażana lub wdrożona. O co zatem cały ten ambaras?

Dziwi mnie, że Thomson Reuters, w którego bezpośrednio wymierzona jest ta deklaracja, jako firmę której jednym z było nie było flagowych produktów jest Journal Impact Factor, nie odpowiedział jeszcze w żaden dosadny sposób. Widzicie bowiem, wiele osób zapomina, że tym właśnie IF jest – produktem. Dlaczego zatem Thomson Reuters miałby udostępniać dane, na podstawie których go wylicza (zwłaszcza że nie jest to jakąś dramatyczną tajemnicą – w końcu liczą cytowania)? Nikt nie wymaga od Coca-Coli, aby ujawniła swój przepis – tak długo jak Cola smakuje jak Cola.

W dodatku czyni się impact factor głównym winowajcą tego, jak wygląda nauka i jej fundowanie. Zapominając, że współczynnik ten powstał pięćdziesiąt lat temu w zupełnie innym celu niż ten, do którego się go dzisiaj często stosuje. IF został zaprojektowany, aby pomóc bibliotekarzom wybierać, które pisma powinni prenumerować tak, aby najlepiej – i najmniejszym kosztem – służyć pracownikom placówek naukowych. To, że stosujemy go do oceny czyjegoś dorobku, wynika zatem z całkowitego niezrozumienia jego idei (czy też zapomnienia o niej). Trochę to jednak tak, jakbyśmy próbowali obwiniać o morderstwo pistolet, a nie mordercę. Chichotem historii jest ostatecznie oświadczenie, które Thomson Reuters wydał już prawie 20 lat temu⁷: w tym arcyciekawym artykule firma ostrzegała przed swawolną interpretacją tego współczynnika.

Słowo ostrzeżenia

Chociaż impact factor wiele pism (z moim włącznie) nosi na głównym stronach jak ordery, ja sam nie jestem jego ślepym sługą. IF nie jest doskonały, a do tego, co starałem się tutaj podkreślić, jest bardzo ale to bardzo często po prostu źle stosowany. Przede wszystkim jednak IF jest przeżytkiem. Powstał w czasach, gdy pisma trafiały do rąk czytelników w formie drukowanej: ograniczona była ich pojemność, miało więc zatem znaczenie, co się w nich publikuje. Dzisiaj większość publikacji istnieje tylko online. Bez ograniczeń objętościowych znacznie łatwiej jest sobie pozwolić na publikowanie jak leci (pod warunkiem spełnienia kryterium naukowej poprawności oczywiście). Internet pozwolił nam też na stosowanie innych narzędzi – właśnie wspomnianych ALM. Możemy mierzyć to, ile było wejść na strony poszczególnych artykułów, ile pobrań pliku pdf z publikacją, ile osób podzieliło się artykułem na facebooku, twitterze, gie plusie. To są oczywiście możliwości, których wydawniczy świat nawet nie oczekiwał jeszcze 15 lat temu!

Zanim jednak zaczniemy się nad tymi wskaźnikami roztkliwiać, trzeba sobie uświadomić, że cytowania wciąż pozostają najlepszym, prawdopodobnie, wskaźnikiem wpływu pracy naukowej. Tak jak IF, wejścia na stronę, pobrania itd. można zmanipulować. Co gorsza, wszystkie te wskaźniki można też bardzo łatwo źle zinterpretować. Wskaźniki oparte na popularności w mediach społecznych – np. znany zapewne niektórym Altmetrics – nie mierzą jednak tego, ilu osobom dana publikacja pomoże w ich własnej pracy badawczej. Mierzą dokładnie to, co mówią, że mierzą – popularność w mediach społecznościowych. A ta może być taka sama dla pracy o leku na raka, jak dla naukowego bubla⁸.

I z tą myślą Was zostawię. Myślę, że Ci z Was, których to najbardziej dotyczy, nie potrzebują wcale żadnych hamerykańskich deklaracji, żeby rozumieć sens tych postulatów. Co gorsza, prawdopodobnie żadna deklaracja tego rodzaju nie pomoże w reformowaniu polskiej nauki (kłania się ukochana przez wszystkich ocena parametryczna). To niestety trzeba robić organiczną pracą u podstaw.

Przypisy:

1. Editorial (2005). Not-so-deep impact Nature, 435 (7045), 1003-1004 DOI: 10.1038/4351003b

2. Alberts, B. (2013). Impact Factor Distortions Science, 340 (6134), 787-787 DOI: 10.1126/science.1240319

3. Schekman, R., & Patterson, M. (2013). Reforming research assessment eLife, 2 DOI: 10.7554/eLife.00855

4. Sytuacja eLife jest w ogóle bardzo ciekawa. Pismo zostało założone jako otwarto-dostępowy odpowiednik Nature i Science: ma publikować prace także według kryterium wpływu i odrzucać 90% składanych do niego prac. Przez lata – i prawdę powiedziawszy wiele się tutaj nie zmieniło – uważano, że pisma o tak wysokim współczynniku odrzuceń nie mogą publikować w systemie OA, bo po prostu się to nie opłaca: ponieważ zysk pochodzi z opłat za publikację, oznaczałoby to, że za recenzję każdych 10 prac płacić by trzeba z opłat za jedną tylko publikację. Nikt jednak nie chciałby publikować za 10 tysięcy dolarów, jeśli może to zrobić gdzie indziej za 500. eLife twierdzi, że nie jest to prawda. Założenie jest takie, że pismo jest tworzone przez naukowców dla naukowców, tzn. że ma minimalną tylko obsługę administracyjną, a procesem recenzji zarządzają badacze. I rzeczywiście, na razie publikacja nic nie kosztuje, a gdy już zaczną pobierać opłaty i tak będą one zapewne niższe niż w Nature oraz Science (bo i te pisma od czasu do czasu publikują pojedyncze artykuły w otwartym dostępie). Należy jednak pamiętać o jednej ważnej rzeczy: nie jest tak (wbrew pozorom), że publikowanie kosztuje mniej. eLife jest przedsięwzięciem firmowanym przez niemiecki Instytut Maxa Plancka, amerykański Instytut Medyczny Howarda Hughesa, oraz brytyjską fundację Wellcome Trust. Instytucje te wspierają wydawnictwo i jestem pewien, że niemałe środki z ich budżetu idą na publikacje. Jednocześnie trzeba zwrócić uwagę na to, że co najmniej dwie z tych organizacji, MPI oraz HHMI, są publicznymi instytucjami badawczymi. Co oznacza, że do publikacji dokładają się co najmniej podatnicy niemieccy i amerykańscy. Nie mówmy zatem, że jest to świetnie się sprawdzający model biznesowy: każdy model byłby taki, gdyby mógł niewyczerpanie sięgać do kieszeni podatników…

5. http://blogs.nature.com/news/2013/05/scientists-join-journal-editors-to-fight-impact-factor-abuse.html

6. Oczywiście zdarza się wciąż, że recenzenci idą na łatwiznę i sięgają po IF. Nie jest to jednak wina wytycznych czy też istniejących regulacji, ale po prostu lenistwa.

7. http://thomsonreuters.com/products_services/science/free/essays/impact_factor/

8. Prawdę powiedziawszy, bubel ma znacznie większe szanse na wysoki Altmetrics score niż praca o leku na raka – bo ta ostatnia ma szansę być zbyt specjalistyczna nawet dla naukowej części użytkowników ćwierkacza.