Jak naprawić zepsuty system recenzji?

Żądło Science wg Neurobonkers.

Dwa procesy mają niezwykłe znaczenie w kształtowaniu wiedzy: publikacja wyników naukowych oraz ich weryfikacja poprzez recenzję naukową (ang. peer review). Wielu badaczy na przestrzeni dziejów mniej lub bardziej boleśnie przekonało się, że ich badania są warte tylko tyle, ile osób jest świadome ich wyników. Karol Darwin teorię ewolucji „kisił” w sobie przez dwadzieścia lat, od czasu podróży na HMS Beagle. Jednak dopiero zaproszenie do recenzji pracy młodego biologa, Alfreda Wallace’a, który niezależnie od Darwina i ponad 20 lat później doszedł do tych samych wniosków dotyczących ewolucji, zmusiło upartego Anglika do spisania swych przemyśleń na kartach „O powstawaniu gatunków”.

Podobnego szczęścia nie miał Ernest Duchesne, który jako pierwszy formalnie opisał bakteriobójcze działanie grzybów. Wyniki swoich badań, o ponad 30 lat uprzedzające nagrodzone potem Nagrodą Nobla odkrycie Aleksandra Fleminga, opisał w dysertacji, którą wysłał do Instytutu Pasteura w Paryżu (Duschesne, będąc wojskowym lekarzem, przebywał wówczas w Egipcie). Instytut nie potwierdził nawet otrzymania jego pracy i kompletnie zignorował apele o dalsze badania nad antybakteryjnym działaniem pleśni. Duschesne zmarł młodo, w wieku zaledwie 37 lat – na gruźlicę, którą dzisiaj (o ironio) wyleczono by antybiotykiem – i nie doczekawszy się należnego mu uznania.

Jednak samo rozpowszechnienie wyników badań to tylko ostatni etap procesu prowadzącego do rozpoznania dokonań badacza w świecie naukowym. To rozpoznanie przychodzi nie tyle z publikacją badań, co ze skutecznym przejściem procesu recenzji naukowej. Waga procesu recenzji jest nie do przecenienia; obecnie, w czasach szybkiego i stałego napływu informacji, gdy w ułamku sekundy trzeba ocenić wiarygodność wiadomości, recenzja stała się wyznacznikiem jakości badań: media, donosząc o nowych odkryciach naukowych bardzo chętnie dodają, że wyniki ukazały się w recenzowanym periodyku.

Co to oznacza? Znaczy to po prostu tyle, że przed publikacją pracę przeczytał co najmniej jeden, a najczęściej dwóch, trzech (a bywa, że i więcej) specjalistów, którzy swoim autorytetem mogliby potwierdzić, że badania zaprojektowano i przeprowadzono prawidłowo, że dane zebrano, przeanalizowano i zinterpretowano poprawnie i że, w związku z tym, końcowe wnioski pracy – niezależnie od tego jak nieoczekiwane lub jak spodziewane by nie były – mają solidne podstawy.

Proces recenzji jest zepsuty

Biorąc zatem pod uwagę, jak wielkie znaczenie ma proces recenzji, oraz to, że recenzja naukowa uważana jest – przynajmniej w środowisku pozanaukowym, a często i w obrębie tego środowiska – nie tylko za konieczny, ale też za ostateczny i niepodważalny test jakości pracy naukowej, warto zwrócić uwagę na fenomen, który zaczął przybierać na sile w ciągu ostatniego dziesięciolecia: coraz częstsze pojawianie się komentarzy krytykujących obecny system recenzji naukowej, podważających jej zasadność oraz ogólnie ogłaszających koniec ery peer review, jaką ją znamy. Zdaniem bowiem wielu krytyków, proces recenzji w obecnym stanie jest po prostu zepsuty.

Jednym z ostatnich wydarzeń, które wykreśliło bardzo ciemny obraz tego, w jakim stanie proces recenzji się znajduje, i że sporo jest z nim nie w porządku, był opublikowany w magazynie Science w październiku 2013 roku artykuł Johna Bohannona opisujący prowokację przeprowadzoną przez dziennikarza. Bohannon sprokurował fałszywą pracę naukową: wiarygodną na tyle, aby nie wyglądać na bezsensowny bełkot, ale pełną niewielkich błędów, które wyłapać powinni kompetentni recenzenci. Pracę złożył do kilkuset periodyków; do chwili publikacji artykułu w Science (poprzez okres 10 miesięcy) pracę do publikacji zaakceptowało 157 pism, odrzuciło zaś 98 [1]. Wynik jest druzgocący dla przemysłu, którego główną obietnicą dla przynajmniej jednej grupy jego klientów – czytelników – jest poddanie prac procesowi recenzji, czyli innymi słowy kontrola jakości publikacji.

Żądło Science wg Neurobonkers.
Żądło Science wg Neurobonkers.

Na innego rodzaju problemy z procesem recenzji zwracał uwagę kilka lat temu Michael Eisen, amerykański biologii i współzałożyciel Public Library of Science – organizacji non-profit poświęconej publikowaniu wyników badań naukowych w szeroko rozumiany „otwarty” sposób. Eisen w tekście o bardzo dosadnym tytule wyłuszczyły dwa podstawowe problemy z procesem recenzji.

Po pierwsze, recenzja przeciętnej pracy zajmuje bardzo wiele czasu – znalezienie recenzentów, recenzja, poprawki, kolejna recenzja, a jeśli praca zostanie odrzucona w jednym periodyku (a wiele prac jest [2]), wówczas cały proces może zostać powtórzony od początku. Wszystko to oznacza, że do czynienia z szybką publikacją mamy, gdy praca ukazuje się w ciągu dwóch, trzech miesięcy od złożenia w piśmie. Znacznie częściej okres ten jest znacznie dłuższy – a to oznacza, że z chwilą publikacji wyniki są już zazwyczaj odrobinę przestarzałe.

Drugim argumentem Eisena przeciwko obecnemu systemowi recenzji jest to, że nie robi on tego, do czego został stworzony (a przynajmniej do czego nam się wydaje, że został stworzony): nie zapobiega publikacji wyników błędnych; co gorsza, nie zapobiega publikacji wyników fałszywych. Nie pomaga w przesiewie prac, aby wyłowić z morza błota te najcenniejsze perły. I wreszcie: nie pomaga wcale w ocenie badaczy i ich dorobku.

Dramatycznym przykładem źle działającego procesu recenzji, jest afera dotycząca arsenowych bakterii. W grudniu 2010 roku pismo Science z wielką pompą opublikowało pracę badaczy afiliowanych między innymi przy NASA: w publikacji tej ogłosili odkrycie bakterii, które, żyjąc w skrajnych warunkach środowiskowych, dały radę w swoim DNA fosfor zastąpić arsenem. Takie odkrycie byłoby rzeczywiście fenomenalne: fosfor jest jednym z sześciu pierwiastków uważanych za niezbędne do życia, jakim je znamy na Ziemi.

Pracę jednak środowisko naukowe wzięło szybko pod lupę i odkryło w niej masę fundamentalnych błędów – ostateczny cios zadała zaś Rosie Redfield, kanadyjska mikrobiolożka, która postanowiła wyniki powtórzyć i pokazała, że po prostu nie da się tego zrobić. Bardzo ciekawy okazał się zaś wgląd w recenzje, ujawnione przez USA Today [3]: okazało się, że recenzenci byli niebywale entuzjastyczni, i chociaż jeden z nich miał wątpliwości co do pracy, nie były on dość duże, aby ten entuzjazm zgasić. Z kolei inny z recenzentów swój raport zakończył stwierdzeniem „Świetna robota!”.

Wszystkie te historie i opinie podkreślają poważne problemy, z którymi zmaga się dzisiaj przemysł wydawniczy. Po pierwsze, proces recenzji jest po prostu dziurawy: przez recenzenckie sito zaskakująco często przepuszczane są buble. Czasem wynika to z niekompetencji recenzenta, czasem z niekompetencji redakcji, czasem jest to jawne (a raczej niejawne) oszustwo, czasem zaś wszystkie osoby biorące udział w procesie dają się porwać entuzjazmowi, bo wyniki są rewelacyjne i rewolucyjne i ani żaden autor, ani redaktor, nie darowałby sobie, gdyby koło nosa przeszła im okazja opublikowania pracy obalającej podstawowe prawa rządzące Wszechświatem. Innymi słowy, pierwszeństwo nad solidną nauką ma czasem czynnik medialny.

Po drugie, proces recenzji jest nieobiektywny. Decyzje dotyczące publikacji nie są bowiem podejmowane tylko w oparciu o to, czy wyniki są solidne, a analiza prawidłowa, ale też bardzo często – zwłaszcza w tak zwanych pismach o wysokim profilu (które Randy Schekman, redaktor naczelny eLife, nowego pisma próbującego rzucić rękawicę prestiżowym periodykom typu Nature i Science, nazywa pismami luksusowymi) – w oparciu o to, jak bardzo są zaskakujące, jak duży jest postęp w danej dziedzinie przez nie reprezentowany. W potocznym języku mediów można by powiedzieć, że ocenie podlega seksowność pracy, a nie tylko jej aspekty merytoryczne. A taka ocena zawsze, z definicji, będzie subiektywna.

Trzecim problemem jest wspomniany przez Michaela Eisena czas, jaki zajmuje recenzja poszczególnych prac. I tutaj przynajmniej istnieje bardzo dobre wyjaśnienie tego zjawiska: a jest to dramatyczny przyrost liczby publikacji w ostatnich dwudziestu latach. Dobrze obrazuje to liczba publikacji naukowych indeksowanych w bazie publikacji biomedycznych MEDLINE. W latach 1950-2000 w bazie zindeksowano około 1.3 miliona publikacji. W kolejnych 12 latach (czyli w czterokrotnie krótszym okresie) doszedł kolejny milion.

Nauka zaczęła w dużej mierze opierać się na filozofii publish or perish, czyli publikuj albo giń: posiadanie publikacji w recenzowanych pismach, i to pismach o jak najwyższym statusie, jest coraz częściej brane pod uwagę przy ocenie pracowników naukowych, przy podaniach o pracę w środowisku akademickim, przy ocenie podań o granty i innego rodzaju dofinansowania. Skutkiem jest, że każdy szanujący się badacz próbuje publikować jak najwięcej. I ktoś te wszystkie prace musi recenzować. I jeśli wziąć pod uwagę to, że przeciętna praca jest zapewne recenzowana raz, może dwa razy, i że za każdym razem potrzeba do niej co najmniej dwóch recenzentów, to widać od razu, że osobogodzin recenzenckich potrzeba znacznie więcej, niż jest na świecie badaczy – którzy w dodatku mają w końcu także inne obowiązki: nauczanie, badania, martwienie się o własne, a nie cudze, publikacje.

I chociaż w ostatnich latach pojawiła się cała masa inicjatyw mających na celu poprawę procesu recenzji: od oddzielenia tego procesu od reszty procesu wydawniczego poprzez serwisy takie jak Rubriq, poprzez rewolucyjne próby prowadzenia otwartej recenzji i publikacji niezależnie od jej wyników w pismach takich, jak Biology Direct, aż do osławionej Deklaracji DORA, której sygnatariusze ogłosili bojkot współczynnika wpływu (ang. impact factor), to jednak coraz częściej obserwować można rozbrat pomiędzy oczekiwaniami recenzentów i autorów, zarówno tymi dotyczącymi samego procesu recenzji, jak i tego, czego oczekują oni od siebie nawzajem.

***

Skocz do kolejnej części tekstu.

Przeglądnij pozostałe teksty w edycji Biuletynu EBIB poświęconej pismom naukowym.

Przypisy:

1. Tu zaznaczyć muszę, że prowokacja Bohannona wycelowana była tylko w pisma otwartodostępowe, a wątek przewodni artykułu dotyczy właśnie tego, jak open access prowadzi do degrengolady nauki. Trudno nie oprzeć się wrażeniu, że jest to artykuł z tezą, a wyniki prowokacji pokazały przede wszystkim niedociągnięcia nie tego wydawniczego modelu biznesowego, ale właśnie obecnego systemu recenzji.

2. W 2012 Science opublikowało wyniki interesującej ankiety, w której respondentów pytano, do ilu pism próbowali składać pracę, zanim została zaakceptowana do publikacji. Ankieta uwzględniła autorów ponad 900 pism i 200 tysięcy autorów. Rezultaty były zaskakujące: okazało się, że trzy czwarte prac była akceptowana w pierwszym piśmie, do którego została złożona. Ten wynik pokazuje, że anegdoty wielu badaczy o tym, jak ich praca była wielokrotnie odrzucana, zanim znalazła swoje miejsce w literaturze naukowej, są właśnie tym – anegdotami, które jednak giną w morzu pozytywnej statystyki.

3. USA Today było tutaj w wyjątkowej sytuacji: ponieważ badania autorów pracy o arsenowych bakteriach były fundowane publicznie, mogli się oni zwrócić do magazynu z prośbą o ujawnienie korespondencji w oparciu o Freedom of Information Act. Nie oznacza to jednak, że każdy może zawsze o recenzje prac w piśmie pytać – poza pismami operującymi w systemie otwartej recenzji, raporty recenzentów są poufne.

2 Comments

    1. Ach, bo wyjaśniłem wszędzie gdzie indziej, tylko nie na blogu: to jest pierwsza część tekstu, który w całości ukazał się w ostatnim numerze Biuletynu EBIB. Odpowiedź na tytułowe pytanie będzie dopiero w kolejnych częściach – ale jak ktoś się niecierpliwi, to pełny tekst można przeczytać tutaj.

      Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s