Czy łatwo rozpoznać przełom naukowy?

Historia, niestety, zna wiele przypadków, gdy odkrycia naukowe, które z czasem okazały się być przełomowe, miały duży problem z przedostaniem się do szerszej publiczności, ponieważ były odrzucane z pism fachowych przez recenzentów. 15 lat temu Juan Campanario postanowił problemowi przyjrzeć się bliżej¹. Przejrzał ponad 200 komentarzy napisanych i po latach opublikowanych przez autorów, którzy mieli problemy z publikacją swoich później bardzo chętnie cytowanych prac. I przeraził się tym, co odkrył.

Przełomy, do których prawie nie doszło

System recenzji stosowany przez pisma naukowe jest trochę jak demokracja – nie jest idealny, ale to najlepszy system kontroli jakości prac naukowy, jaki mamy. Ponieważ jednak brak mu trochę do tej niesprecyzowanej perfekcji, od dekad badacze i autorzy psy na nim wieszają. Główny zarzut jest taki, że recenzenci często odrzucają prace przełomowe, bo ich nie rozumieją, bo opisane badania czy odkrycia stoją w wyraźnej sprzeczności z aktualnym stanem wiedzy. Bo przecież gdyby ktoś recenzował Kopernika i Galileusza, do dziś myślelibyśmy, że Słońce się kręci wokół Ziemi. Bo, idąc dalej tym tropem, system ten promuje, jak napisał kiedyś inny autor, „zachowawcze drobienie na obrzeżach prawdy, zamiast wspierania ‘kwantowych skoków’”. Bo wreszcie opóźnia publikację wyników i ich dotarcie do publiki, dla której przecież jakieś odkrycie może mieć witalne znaczenie.

Campanario przykładów takiej krytyki podaje znacznie więcej, jednak, jak sam podkreśla, są one głównie anegdotyczne. W swojej pracy zatem postanowił problemowi przyjrzeć się bardziej systematycznie. W tym celu przejrzał kilkaset komentarzy opublikowanych w ramach kolekcji Citation Classics, która gromadzi teksty o przełomowych publikacjach naukowych². Ostatecznie do swojego badania zakwalifikował 205 opisanych publikacji i sprawdzał, czy wpadają one w jedną z dwóch kategorii: prac, których autorzy mieli poważne problemy z przebrnięciem etapu recenzji, ale które ostatecznie zostały opublikowane w tym piśmie, do którego początkowo zostały wysłane, oraz prac, które zostały odrzucone – i ostatecznie opublikowane zupełnie gdzie indziej, często w znacznie bardziej niszowych pismach.

Okazało się, że w nieco ponad 10% przypadków (22 prace) autorzy istotnie borykali się z problemami z publikacją wynikającymi z oporu recenzenckiej materii. Poniżej kilka przykładów:

– W 1959 roku Havel, Eder i Bragdon opisali nową dokładną i wydajna metodę na oznaczanie składu lipoprotein. Pracę złożyli w poważanym piśmie Journal of Clinical Investigations (IF₂₀₁₀ = 14.152). Problemy z publikacją wynikły z tego, że autorzy stosowali słownictwo, które nie było akceptowane przez żurnal w owym czasie. Dzisiaj użyta przez nich terminologia jest w tej dziedzinie standardem, zaś praca została zacytowana ponad 7 tysięcy razy!

– W 1970 roku Ludwig Sternberger próbował opublikować inna metodę, która była nieco niespodziewanych rezultatem zadania dla studentów – a mianowicie metodę wizualizacji erytrocytów i krętków (rodzaj bakterii). Jeden z recenzentów sądził, że metoda jest mało przydatna – dzisiaj stosuje się ją powszechnie w badaniach utrwalonych tkanek, zaś praca cytowana była ponad cztery i pół tysiąca razy.

– W 1977 Donald Cleveland opracował metodę charakteryzacji peptydów za pomocą elektroforezy żelowej. Pracę złożył w bardzo, bardzo prestiżowym piśmie Journal of Biological Chemistry (IF₂₀₁₁ = 4.773)³. Redaktorzy pisma – błędnie – założyli, że bardziej rozbudowana praca na ten temat ma być złożona gdzie indziej i odrzucili ten manuskrypt z miejsca bez recenzji. Na szczęście dla Clevelanda po wyjaśnieniu nieporozumienia redakcja wyraziła zgodę na natychmiastową publikację pracy bez dalszej recenzji (żeby nie było, że publikowano w ciemno – decyzję podejmował redaktor akademicki). I jak widać słusznie, bo praca ma na dzień dzisiejszy ponad cztery i pół tysiąca cytacji.

– W tekście o tegorocznym Nobli z chemii wspominałem o sytuacji Raymonda Ahlquista, którego przypadek pojawia się także i tutaj: jego próby publikacji pracy o receptorach alfa- i beta-adrenergicznych spełzały długo na niczym. Ostatecznie udało mu sie pracę opublikować tylko dzięki znajomości z redaktorem pisma. Obecnie praca ma ponad 3000 cytowań i jak wiemy, po zeszłotygodniowych wyczynach Komitetu Noblowskiego, stała się podwaliną naszej wiedzy o receptorach w ogóle.

Campanario swoją publikację kończy wnioskiem nieco pompatycznym, chociaż oczywiście poprawnym. Mówi mianowicie:

„Celem pism naukowych powinno być publikowanie dobrych badań naukowych, a nie tylko badań poprawnych. Naukowcy należą do grupy pracowniczej mającej najwięcej swobody w tym, gdzie, kiedy i jak wykonują swoja pracę. Powinniśmy unikać systemu oceny, który – czasami – potrafi odrzucić najlepsze skutki tych swobód.”

Z jednej strony z Campanario trudno się nie zgodzić. Jak dobry jest system, który hamuje rozwój, który zdusza w zarodku innowacyjność i oryginalność? Z drugiej strony musimy pamiętać o co najmniej dwóch aspektach tej sytuacji w pracy Hiszpana nie poruszonych. Po pierwsze, wyobraźmy sobie sytuację, w której przepuszczona przez spolegliwych recenzentów zostaje praca ogłaszająca, że substancja A leczy skutecznie jakiegoś raka; na przykład taki nerwiak płodowy⁴. Jakiś lekarz – w dobrej wierze – zaczyna swoim pacjentom, którzy być może nie mają już innych opcji, podawać ten lek. Po jakimś czasie okazuje się, że praca była błędna. Że autorzy źle wykonali jakieś doświadczenia, że pomylili odczynniki, że zastosowali narzędzia statystyczne, na których się nie znali, i przez to źle zinterpretowali wyniki. Nieważne, czy wnioski z pracy były błędne z powodu pecha, zaniedbania, czy głupoty. Recenzenci są od tego, by takie rzeczy wyłapywać – a chcielibyście mieć na sumieniu życie chorych dzieci?

Po drugie zaś, w tej analizie umknęło co innego – to mianowicie, że 90% badanych klasyków nie miało najwyraźniej żadnych problemów z publikacją. Co więcej, miło byłoby zobaczyć, co też autorzy tych prac mieli do powiedzenia o pracy recenzentów – być może wprost przeciwnie do swoich odrzucanych kolegów powiedzieliby, że recenzja pomogła ich pracę uczynić lepszą. Tylko jak to teraz sprawdzić?

Recenzent jednak użyteczny?

Zpomocą przychodzi inna publikacja – prosto z drukarskiej prasy, opublikowana zaledwie tydzień temu w tygodniu Science⁵. Grupa badaczy francuskich postanowiła bowiem przeanalizować, jak wyglądają wędrówki prac przez systemy pism naukowych i jak to, co działo się z pracą podczas recenzji, wpłynęło na jej jakość po publikacji.

Autorzy wykonali tutaj kawał roboty: skontaktowali sie z autorami ponad dwustu tysięcy publikacji (!) opublikowanych między 2006 a 2008 rokiem w 923 różnych pismach. Połowa tych autorów odpowiedziała, a około 80 tysięcy odpowiedzi nadawało się do dalszej analizy. Badacze stworzyli sieć ilustrującą przepływ prac pomiędzy różnymi czasopismami – sprawdzili, gdzie i ile artykułów było publikowane od razu, gdzie i ile po poprawkach zaproponowanych przez recenzentów. Porównali też jak bardzo cytowane były artykuły, które zaakceptowano do publikacji bez większych poprawek z tymi, których autorzy musieli męczyć się z wymogami recenzentów.

Sieć wędrówek prac pomiędzy różnymi pismami. Kolorami oznaczono 7 tematycznych klastrów, które wyłoniły się z analizy. /źródło: Calcagno et al., Science ©2012

Z tego ogromu prac i połączeń, przepływu manuskryptów między różnymi pismami wyłonił się interesujący obraz. Okazało się, że w sieci istniały klastry, w obrębie których sieć była bardziej skoncentrowana – pomiędzy tymi pismami więcej było przepływu prac, prace odrzucane z jednego z nich częściej trafiały do pisma w obrębie tego samego klastra. Wszystkie czasopisma w badaniu były pismami biologicznymi, klastry pasowały doskonale do biologicznych podkategorii zbieżnych z kategoriami, które stosuje ISI do klasyfikacji literatury naukowej. Bardzo ciekawym tutaj spotrzeżeniem było to, że prace, które po odrzuceniu z jakiegoś pisma opublikowano w piśmie z innego klastra, były gorzej cytowane niż prace, które wędrowały tylko w obrębie jednego klastra – czyli nie wychodziły poza pewien obszar zainteresowań czytelniczych.

Najbardziej jednak interesująca z naszego obecnie punktu widzenia była analiza tego, jak cytowane są prace w zależności od poprawek wymuszonych przez recenzentów. Okazało się, że prace, których autorzy przeszli przez katorgę dodatkowych eksperymentów, nowych analiz, przepisywania praca od nowa, były cytowane lepiej niż prace, które zostały zaakceptowane bez całego tego rozgardiaszu. Dodatkowo prace, które publikowane były w pismach o wysokim impact factorze – w Nature, w Science, w PNAS – znacznie rzadziej niż w pismach o gorszej renomie publikowane były bez poprawek.

Chociaż autorzy uchylają się od formowania jednoznacznego wniosku tłumaczącego, dlaczego prace poprawione dzięki uwagom recenzentów są cytowane lepiej niż te, których autorzy nie byli proszeni o żadne zmiany, zaznaczają jednak w swojej pracy, że

„Najbardziej prawdopodobnym wyjaśnieniem jest to, że uwagi od redaktorów i recenzentów oraz większa ilość czasu spędzona nad artykułem znacząco poprawiają [naukowy] impakt końcowego produktu.”

Czyli innymi słowy: Campanario oraz wielu innych krytyków procesu recenzji zapomniało o tym, że chociaż system ten ma pewne słabe strony – tak, jest powolny; tak, czasem blokuje ciekawe odkrycia; tak, stwarza pola do nadużyć – to jednak w globalnej dużej skali sprawdza się: czyni literaturę naukową po prostu lepszą. Przyczyn zaś może być wiele. Począwszy od tego, że redaktor lub recenzent jest osobą, która na pracę patrzy świeżymi oczami, która do lektury podchodzi bez zbędnych założeń, która nie jest pod wpływem niezliczonych dyskusji ze współautorami na temat tego, co w pracy powinno się znaleźć, a co nie. Aż do tego, że recenzent często może mieć znacznie większe doświadczenie w tym, czy innym aspekcie pracy i nawet jeśli nie jest w stanie ocenić dobrze całego manuskryptu, to zdecydowanie może pomóc ulepszyć, koncepcyjnie wzmocnić, przynajmniej jego część.

Jest jeszcze jeden aspekt systemu recenzji, o którym się łatwo zapomina, a który jest niemniej ważny: jest ten system także metodą szkolenia, w której badacze często bardziej doświadczeni mogą swobodnie i bez zahamować udzielać rad swoim kolegom. Rad czasem być może ostrych, czasem nieprzyjemnych⁶. Ale jakże często przydatnych. Biolog Phil Clapham podsumował⁷ to kilka lat temu następująco:

„Na temat tego, jak prowadzić badania naukowe, nauczyłem się prawdopodobnie więcej z komentarzy recenzentów niż z jakiegokolwiek innego źródła. Niektórzy recenzenci byli bezlitośni, ale to nie szkodzi – nigdy nie traktowałem tych uwag osobiście, jeśli były dane w dobrej wierze, a prawie zawsze były.”

Przypisy:

1. Campanario, J. (1996). Have referees rejected some of the most-cited articles of all times? Journal of the American Society for Information Science, 47 (4), 302-310 DOI: 10.1002/(SICI)1097-4571(199604)47:43.0.CO;2-0

2. Głównym pomysłodawcą kolekcji jest prof. Eugene Garfield, założyciel Institute for Scientific Information, który obecnie jest częścią Thomsona Reutersa. Generalnie Garfield jest jednym z ojców nauk bibliometrycznych – więc jak chcecie na kogoś psioczyć za wszystkie impact factory, indeksy Hirscha i inne takie, to właśnie na niego.

3. Impact factor tego pisma nie oddaje jego znaczenia – jest to obecnie jedno z najbardziej cytowanych pism na świecie, a niewielki (chociaż wciąć przyzwoity) IF jest wynikiem polityki pisma. Nieco bardziej miarodajny, ale mnie znany, Eigenfactor, plasuje JBC na piątym miejscu wśród pism indeksowanych przez ISI.

4. Nerwiak płodowy to dziecięcy nowotwór mózgu – wredne bydlę i do tego męczy dzieciaki. Nawiasem mówiąc, zanim ktoś się przyczepi, że przykład jest przerysowany, dodam od razu – przykład jest przerysowany. Celowo.

5. Calcagno, V., Demoinet, E., Gollner, K., Guidi, L., Ruths, D., & de Mazancourt, C. (2012). Flows of Research Manuscripts Among Scientific Journals Reveal Hidden Submission Patterns Science DOI: 10.1126/science.1227833

6. Ostatnio pracowałem nad pracą, której recenzent niemalże zwyzywał autorów od idiotów. A przynajmniej niewiele mu do tego brakowało. Ale chociaż styl recenzji był dość obraźliwy, jego uwagi merytoryczne oglądałem jak dobry mecz bokserski – bo po prostu autorów wypunktował. Czy ich duma będzie po tym urażona? Zapewne tak. Czy skłoni ich to do przyjrzenia się tematowi głębiej, do przestudiowania problemu jeszcze bardziej, do douczenia się w tej czy innej kwesti? Niemal na pewno.

7. Clapham, P. (2005). Publish or Perish BioScience, 55 (5) DOI: 10.1641/0006-3568(2005)055[0390:POP]2.0.CO;2