Oszukańczy badacze

Kilka dni temu jeden z czytelników nic prostszego zapytał na facebooku, a propos tekstu o modyfikowanej genetycznie kukurydzy i cierpiących na raka szczurów, „jak to jest możliwe, że taki paper został w ogóle zaakceptowany do publikacji?” Ja odpowiedziałem, że przyczyn może być tysiące. Pytanie to zbiegiem okoliczności pojawiło się w czasie, gdy czekałem na mail od autora publikacji, która ukazała się w tym tygodniu w PNAS¹, dotyczącej przyczyn retrakcji artykułów naukowych.

Użyłem tutaj zanglicyzowanej formy tego pojęcia, żeby lepiej oddać techniczny charakter zjawiska, o którym mówię. Retrakcja to po prostu wycofanie opublikowanego już artykułu. Nie wszyscy jesteśmy bowiem święci, a oszuści wśród naukowców też się zdarzają, jak wiedzieć będą ci z Was, którzy pamiętają mój tekst o Janie Hendriku Schoenie oraz wzmiankę o Hwang Woo-Suku, Gdy zatem oszustwo tego czy innego kalibru wyjdzie na jaw, wówczas pismo, w którym praca została opublikowana, najczęściej wycofuje publikację – dokonuje tej tzw. retrakcji.  Ale oszustwo to nie jedyny możliwy powód wycofania pracy – może nim być też plagiat albo po prostu zwykły błąd, niewykryty przed publikacją pracy, który znacząco wpływa na jej wyniki i wnioski. Od kilku lat w internecie watchdogiem wycofań stał się blog Retraction Watch.

To, czy retrakcje stosowane są dzisiaj właściwie, i czy nie jest to narzędzie nadużywane przez żurnale, to dyskusja na inny wpis². Najczęściej jednak autorowi się należy. Arturo Casadevall z uczelni w Princeton postanowił wraz z kolegami przyjrzeć się ogłoszeniom o wycofaniu publikowanym w serwisie PubMed. Każdy wydawca wycofując pracę okrasza ją bowiem mniej lub bardziej przejrzystym wyjaśnieniem co do przyczyn. Naukowcy postanowili zatem sprawdzić, ile z tych wycofań spowodowanych jest nieuczciwością badaczy, a ile czym innym, a także spojrzeć na inne towarzyszące tym wycofaniom trendy.

Praca, jak widać, dotyczyła głównie badań biomedycznych, bo takie indeksowane są w PubMedzie. Autorzy przejrzeli 2047 ogłoszeń o retrakcji dotyczących prac opublikowanych miedzy 1973 rokiem a początkiem maja 2012 roku.

Nasamprzód umieśćmy te wszystkie informacje w odpowiednim kontekście: w PubMedzie, w którym jak już wspomniałem indeksowane są tylko prace biomedyczne (z nielicznymi wyjątkami) między rokiem 1973 a 2011 zindeksowano w sumie ponad 17 i pół miliona prac! Zanim więc zaczniemy łapać się za głowę, jakimi to oszustami potrafią być naukowcy, pamiętajmy, że oszustw czy niedociągnięć poważnych na tyle, by doprowadzić do wycofania pracy dopuściło się raptem około 0.01% wszystkich autorów prac. I nawet to jest liczba zawyżona, bo większość publikacji biomedycznych ma autorów co najmniej 4-5, a często więcej, a wystarczy, że jedno z nich dokona jakiegoś szachrajstwa, aby praca została wycofana.

Casadavell z kolegami rzucili zatem okiem na to, jak liczba retrakcji zmieniała się w czasie. I oto co znaleźli:

Trend zmian przyczyn wycofywania prac – jak widać dramatycznie w ostatniej dekadzie wzrosła liczba retrakcji spowodowanych oszustwami w porównaniu z wszystkimi innymi przyczynami. /źródło: Casadevall et al., PNAS (2012)

Jak widać, liczba retrakcji wzrasta coraz szybciej. To jednak o niczym jeszcze nie świadczy. Po pierwsze, z roku na rok wzrasta także liczba publikowanych prac w ogóle. Poniżej moje zestawienie, podobnymi pięcioletnimi okresami, liczby prac indeksowanych w PubMedzie.

Wzrost liczby publikacji indeksowanych w PubMedzie – trzykrotny od lat 70. Innymi słowy, na każdą pracę opublikowaną między 1977 a 1981 przypadają trzy opublikowane między 2006 a 2011. /źródło: dane z PubMed, opracowanie własne

Jak podkreślają jednak autorzy pracy w PNAS, wzrost liczby publikacji nie jest jedynym czynnikiem wpływającym na liczbę retrakcji. Przy trzykrotnym bowiem wzroście liczby indeksowanych prac pomiędzy 1975 a 2005 rokiem, liczba retrakcji zwiększyła się dziesięciokrotnie!

Drugim ważnym spostrzeżeniem jest oczywiście wzrost liczby retrakcji pod koniec lat 90. I, moim zdaniem, nie dziwota – z nastaniem wszechobecnego internetu łatwiejszy stał się dostęp do prac innych badaczy i to, co 20 lat wcześniej mogło przemknąć się niezauważone – jeśli tylko nie było pracą na tyle wybitną i znaczącą, żeby rzeczywiście przyciągnąć znacznie więcej uwagi – dzisiaj poddane może być krytycznej ocenie przez niemalże każdego badacza, a jeśli opublikowane jest do tego w otwartym dostępie (początek którego w sensie wydawniczym także zbiega się z końcem lat 90.), to krytycznej ocenie poddane może być po prostu przez każdego.

Badacze dalej porównują też takie trendy, jak: jak zmienia się czas pomiędzy publikacją a wycofaniem (coraz bardziej się wydłuża, zwłaszcza w przypadku publikacji wycofanych z powodu oszustwa), z jakich państw pochodzili autorzy prac i czy widoczne były zmiany w zależności od przyczyny retrakcji (najwięcej oszustów jest w Stanach, najwięcej podwójnych publikacji pochodzi z Chin³).

Dwie najbardziej interesujące moim zdaniem analizy tej pracy dotyczą tego, w jakich pismach publikowane były wycofywane potem prace, a także tego, jakie były przyczyny retrakcji.

Co dla niektórych z Was będzie być może zaskoczeniem – chociaż dla czynnych badaczy jednak nie powinno – to to, że najwięcej prac jest wycofywanych z pism renomowanych, prestiżowych, tych, o których w prasie codziennej wspomina się najczęściej, bo ich nazwy są niemalże synonimiczne z dobrym pismem naukowym. Na szczycie listy z największymi liczbami wycofań znajdują się zatem Science, PNAS, The Journal of Biological Chemistry oraz Nature. Jeśli jednak zacznie się brać pod uwagę przyczynę wycofania, lista ta ulega znaczącym zmianom.

Jeśli patrzymy na retrakcje spowodowane oszustwami lub podejrzeniem oszustw, na szczyt wędruje wiele pism o bardzo medycznym profilu – tu sprawa jest prosta: pacjenci-duchy, brak porządnych kontroli, a nawet niepodpisana zgoda pacjenta mogą być powodem wycofania publikacji. Science jednak wciąż znajduje się w pierwszej trójce.

Za to także Science oraz PNAS i Nature znajdują się na szczycie listy, gdy przyczyną wycofania jest niewinny – niezamierzony – błąd. Co, jak podkreśliłem już, też się zdarza. Zanieczyszczony odczynnik, nadpisany plik – tego typu wypadki zdarzyć się mogą, i mogą przejść niezauważone, w każdym laboratorium. Milczeniem pominę żurnale publikujące plagiaty.

Przejdźmy zatem do tego, na co wszyscy czekają: na podsumowanie, ilu w nauce jest kłamczuchów. Autorzy pracy odwalili tutaj kawał dobrej roboty, bowiem ogłoszenia o wycofaniu są często pisane bardzo zakamuflowanym językiem – nikt w końcu nie lubi przyznawać się, że opublikował wyniki oszustwa, czy innej machlojki. Podane zatem przez wydawców przyczyny retrakcji zostały zweryfikowane względem innych dostępnych źródeł. Okazało się, że z powodu błędów wycofano zaledwie 21% prac. 14% z powodu podwójnej publikacji, niecałe 10% – z powodu plagiatu. Prawie 45% prac wycofanych przez wydawców została wycofana z powodu oszustwa lub podejrzenia oszustwa. To jest niemalże 890 publikacji. Co zapewne wyjaśnia, dlaczego Retraction Watch tak dobrze się ma…

Tu jednak muszę jeszcze raz podkreślić – zanim ktoś tu szybko wyliczy, że 9 na 20 badaczy jest oszustami – że oczywiście mowa o 45% ze wszystkich wycofanych prac. Które, jak już wcześniej wspomniałem, stanowią 0.01% wszystkich publikowanych prac w ogóle. Czyli bardziej coś jak: 1 na 20 tysięcy badaczy dopuścił się oszustwa. Co w niczym nie umniejsza winy tych autorów, ale przynajmniej nie plami skazą hochsztaplerstwa całej naukowej społeczności.

Zanim też pysznić zaczną się fizycy czy chemicy (bo ich prace nad wyraz rzadko w PubMedzie są indeksowane), to od razu przypomnę, że nie ma czym – Jan Hendrik Schoen był w końcu fizykiem, a nie przeszkodziło mu to w solidnym podbiciu statystki – wycofano w całości lub części ponad 20 jego publikacji. Zazwyczaj zresztą odkrycie, że kariera jakiegoś badacza oparta była w dużej mierze na kłamstwach, niedopowiedzeniach, błędnych analizach, podrobionych wynikach i czym tam jeszcze, prowadzi do wycofania wielu, jeśli nie większości, publikacji tej osoby. Ostatnio z wielkich hukiem upadły w ten sposób gwiazdy holenderskiego psychologa Diederika Stapela (na chwilę obecną ma on coś około 25 wycofanych prac z powodu sfabrykowania wyników) czy koreańskiego badacza roślin Hyung-In Moona, który oszukał system recenzji – do czasu⁴ (obecnie ma 35 wycofanych publikacji i nic nie wskazuje na to, żeby ta liczba jeszcze nie urosła. Chyba że mu się publikacje wcześniej skończą).

Najbardziej jednak martwiącą statystyką podaną przez autorów jest zestawienie prac, które wciąż są cytowane – często tak, jakby ich w ogóle nie wycofano. Tutaj, o zgrozo, prym wiedzie praca pana Wakefielda. O ile jednak pewne podejrzenia można mieć, co do tego, skąd się bierze to nagminne cytowanie pana W (profesor Majewska sama pewnie stoi za połową tych cytacji), o tyle znacznie bardziej martwi, gdy cytowane są prace wycofane z powodu przypadkowych błędów, wykrytych później przez autorów i wycofanych właśnie po to, aby uniknąć powielania tego samego błędu. Oznacza to bowiem, że albo ktoś cytuje, bo korzysta z zawartości – często na zasadzie stosowania metody czy protokołu, który egzystuje już gdzieś niezależnie od publikacji, pomimo tego, że jest całkowicie błędny – ale nie ma czasu, chęci, czy motywacji, żeby pracę oryginalną przeczytać. Co skutkuje właśnie tym: perpetuacją w nieskończoność czyjegoś fusa z kawy, który przypadkiem wylądował w zlewce z odczynnikiem. Po drugie, co gorsza, oznacza to, że ktoś cytuje pracę, nie korzystając z zawartości. Czyli albo powołuje się na to, co mu się wydaje, że w pracy jest, ale olewa jej czytanie, albo – i to chyba jest najbardziej przerażające – zdaje sobie doskonale sprawę z tego, że praca została wycofana i dlaczego, ale cytuje ją i tak, bo na przykład wyjaśnia jakieś nieprawdopodobne wyniki.

Na samym końcu autorzy tłumaczą, co wszyscy chyba podejrzewaliśmy – że wzrastająca liczba oszustw w nauce wynika prawdopodobnie z systemu jej finansowania, coraz bardziej wymagającego, coraz częściej opartego na zasadzie, że zwycięzca bierze wszystko. Wówczas przecież każdy chce być zwycięzcą, a gdy nagrodą jest wielomilionowy grant zrozumieć można, że przynajmniej niektórzy naukowcy nie cofną się przed nagięciem reguł tu i ówdzie. Casadavell kończy tak:

“We hope that the present study will prompt discussion among scientists and the society they serve to find measures to improve the quality and reliability of the scientific literature.”

“Mamy nadzieję, że niniejsza praca zainicjuje wśród badaczy oraz w społeczeństwie, któremu służą, dyskusję nad tym, jak poprawić jakość i rzetelność literatury naukowej.”

I cóż mogę dodać – ja też mam taką nadzieję.

1. Ferric C. Fang, R. Grant Steen, and Arturo Casadevall (2012). Misconduct accounts for the majority of retracted scientific publications Proceedings of the National Academy of Sciences of the United States of America : http://dx.doi.org/10.1073/pnas.1212247109

2. Wpis się we mnie kisi od dwóch tygodni i marna jest szansa, że dojdzie do niego zanim historia zamieni się w historię zaprzeszłą. Krótko więc powiem o co chodzi: pismo PLoS Pathogens wycofało jakieś dwa tygodni temu publikację bez należytej konsultacji z autorami, po czym próbowało honor ratować wstępniakiem. Praca – żeby nie było wątpliwości – prawdopodobnie powinna była zostać wycofana albo co najmniej oznaczona korektą. Wątpliwości jednak wzbudził sposób potraktowania skądinąd nie do końca winnych autorów, którzy zostali teraz napiętnowani – bo wycofanie publikacji jest swego rodzaju piętnem – bez możliwości jakiejkolwiek obrony. Więcej o sprawie można poczytać tutaj oraz w tekstach, do których ten linkuje.

3. Chociaż wyniki są oczywiście interesujące, wydaje mi się jednak, że jest zbyt mało danych w tej pracy, by tak naprawdę móc powiedzieć, że np. w Stanach jest więcej oszustów niż gdzie indziej. Podejrzewam bowiem, że „narodowość” autorów została określona na podstawie afiliacji, a ta nie ma przecież nic wspólnego z narodowością. Sądzę nawet, że w Stanach jest więcej publikujących w dobrych pismach Chińczyków, niż w całych Chinach…

4. Wydawcy pozwalają autorom zazwyczaj na zaproponowanie osoby, która mogłaby zrecenzować pracę. Wydaje mi się, że jest to relikt czasów zaprzeszłych – zanim jeszcze wystarczyło zapytać wujka googla, kto by się nadał. Niemniej wciąż się z tego korzysta i czasem zaprasza takie osoby. Pan profesor Moon zaproponował właściwą osobę – ale podał zły adres email do tego recenzenta. Ja bym taki adres sprawdził dwa razy, ale tutaj widać ktoś za bardzo zaufał i skorzystał z podanego. Na drugim końcu tego fałszywego maila czekał jednak profesor Moon, który sam siebie przecież krytykował nie będzie!