Oszukańczy badacze

Trend zmian przyczyn wycofywania prac - jak widać dramatycznie w ostatniej dekadzie wzrosła liczba retrakcji spowodowanych oszustwami w porównaniu z wszystkimi innymi przyczynami. /źródło: Casadevall et al., PNAS (2012)

Kilka dni temu jeden z czytelników nic prostszego zapytał na facebooku, a propos tekstu o modyfikowanej genetycznie kukurydzy i cierpiących na raka szczurów, „jak to jest możliwe, że taki paper został w ogóle zaakceptowany do publikacji?” Ja odpowiedziałem, że przyczyn może być tysiące. Pytanie to zbiegiem okoliczności pojawiło się w czasie, gdy czekałem na mail od autora publikacji, która ukazała się w tym tygodniu w PNAS1, dotyczącej przyczyn retrakcji artykułów naukowych.

Użyłem tutaj zanglicyzowanej formy tego pojęcia, żeby lepiej oddać techniczny charakter zjawiska, o którym mówię. Retrakcja to po prostu wycofanie opublikowanego już artykułu. Nie wszyscy jesteśmy bowiem święci, a oszuści wśród naukowców też się zdarzają, jak wiedzieć będą ci z Was, którzy pamiętają mój tekst o Janie Hendriku Schoenie oraz wzmiankę o Hwang Woo-Suku, Gdy zatem oszustwo tego czy innego kalibru wyjdzie na jaw, wówczas pismo, w którym praca została opublikowana, najczęściej wycofuje publikację – dokonuje tej tzw. retrakcji.  Ale oszustwo to nie jedyny możliwy powód wycofania pracy – może nim być też plagiat albo po prostu zwykły błąd, niewykryty przed publikacją pracy, który znacząco wpływa na jej wyniki i wnioski. Od kilku lat w internecie watchdogiem wycofań stał się blog Retraction Watch.

ResearchBlogging.orgTo, czy retrakcje stosowane są dzisiaj właściwie, i czy nie jest to narzędzie nadużywane przez żurnale, to dyskusja na inny wpis2. Najczęściej jednak autorowi się należy. Arturo Casadevall z uczelni w Princeton postanowił wraz z kolegami przyjrzeć się ogłoszeniom o wycofaniu publikowanym w serwisie PubMed. Każdy wydawca wycofując pracę okrasza ją bowiem mniej lub bardziej przejrzystym wyjaśnieniem co do przyczyn. Naukowcy postanowili zatem sprawdzić, ile z tych wycofań spowodowanych jest nieuczciwością badaczy, a ile czym innym, a także spojrzeć na inne towarzyszące tym wycofaniom trendy.

Praca, jak widać, dotyczyła głównie badań biomedycznych, bo takie indeksowane są w PubMedzie. Autorzy przejrzeli 2047 ogłoszeń o retrakcji dotyczących prac opublikowanych miedzy 1973 rokiem a początkiem maja 2012 roku.

Nasamprzód umieśćmy te wszystkie informacje w odpowiednim kontekście: w PubMedzie, w którym jak już wspomniałem indeksowane są tylko prace biomedyczne (z nielicznymi wyjątkami) między rokiem 1973 a 2011 zindeksowano w sumie ponad 17 i pół miliona prac! Zanim więc zaczniemy łapać się za głowę, jakimi to oszustami potrafią być naukowcy, pamiętajmy, że oszustw czy niedociągnięć poważnych na tyle, by doprowadzić do wycofania pracy dopuściło się raptem około 0.01% wszystkich autorów prac. I nawet to jest liczba zawyżona, bo większość publikacji biomedycznych ma autorów co najmniej 4-5, a często więcej, a wystarczy, że jedno z nich dokona jakiegoś szachrajstwa, aby praca została wycofana.

Casadavell z kolegami rzucili zatem okiem na to, jak liczba retrakcji zmieniała się w czasie. I oto co znaleźli:

Trend zmian przyczyn wycofywania prac – jak widać dramatycznie w ostatniej dekadzie wzrosła liczba retrakcji spowodowanych oszustwami w porównaniu z wszystkimi innymi przyczynami. /źródło: Casadevall et al., PNAS (2012)

Jak widać, liczba retrakcji wzrasta coraz szybciej. To jednak o niczym jeszcze nie świadczy. Po pierwsze, z roku na rok wzrasta także liczba publikowanych prac w ogóle. Poniżej moje zestawienie, podobnymi pięcioletnimi okresami, liczby prac indeksowanych w PubMedzie.

Wzrost liczby publikacji indeksowanych w PubMedzie – trzykrotny od lat 70. Innymi słowy, na każdą pracę opublikowaną między 1977 a 1981 przypadają trzy opublikowane między 2006 a 2011. /źródło: dane z PubMed, opracowanie własne

Jak podkreślają jednak autorzy pracy w PNAS, wzrost liczby publikacji nie jest jedynym czynnikiem wpływającym na liczbę retrakcji. Przy trzykrotnym bowiem wzroście liczby indeksowanych prac pomiędzy 1975 a 2005 rokiem, liczba retrakcji zwiększyła się dziesięciokrotnie!

Drugim ważnym spostrzeżeniem jest oczywiście wzrost liczby retrakcji pod koniec lat 90. I, moim zdaniem, nie dziwota – z nastaniem wszechobecnego internetu łatwiejszy stał się dostęp do prac innych badaczy i to, co 20 lat wcześniej mogło przemknąć się niezauważone – jeśli tylko nie było pracą na tyle wybitną i znaczącą, żeby rzeczywiście przyciągnąć znacznie więcej uwagi – dzisiaj poddane może być krytycznej ocenie przez niemalże każdego badacza, a jeśli opublikowane jest do tego w otwartym dostępie (początek którego w sensie wydawniczym także zbiega się z końcem lat 90.), to krytycznej ocenie poddane może być po prostu przez każdego.

Badacze dalej porównują też takie trendy, jak: jak zmienia się czas pomiędzy publikacją a wycofaniem (coraz bardziej się wydłuża, zwłaszcza w przypadku publikacji wycofanych z powodu oszustwa), z jakich państw pochodzili autorzy prac i czy widoczne były zmiany w zależności od przyczyny retrakcji (najwięcej oszustów jest w Stanach, najwięcej podwójnych publikacji pochodzi z Chin3).

Dwie najbardziej interesujące moim zdaniem analizy tej pracy dotyczą tego, w jakich pismach publikowane były wycofywane potem prace, a także tego, jakie były przyczyny retrakcji.

Co dla niektórych z Was będzie być może zaskoczeniem – chociaż dla czynnych badaczy jednak nie powinno – to to, że najwięcej prac jest wycofywanych z pism renomowanych, prestiżowych, tych, o których w prasie codziennej wspomina się najczęściej, bo ich nazwy są niemalże synonimiczne z dobrym pismem naukowym. Na szczycie listy z największymi liczbami wycofań znajdują się zatem Science, PNAS, The Journal of Biological Chemistry oraz Nature. Jeśli jednak zacznie się brać pod uwagę przyczynę wycofania, lista ta ulega znaczącym zmianom.

Jeśli patrzymy na retrakcje spowodowane oszustwami lub podejrzeniem oszustw, na szczyt wędruje wiele pism o bardzo medycznym profilu – tu sprawa jest prosta: pacjenci-duchy, brak porządnych kontroli, a nawet niepodpisana zgoda pacjenta mogą być powodem wycofania publikacji. Science jednak wciąż znajduje się w pierwszej trójce.

Za to także Science oraz PNAS i Nature znajdują się na szczycie listy, gdy przyczyną wycofania jest niewinny – niezamierzony – błąd. Co, jak podkreśliłem już, też się zdarza. Zanieczyszczony odczynnik, nadpisany plik – tego typu wypadki zdarzyć się mogą, i mogą przejść niezauważone, w każdym laboratorium. Milczeniem pominę żurnale publikujące plagiaty.

Przejdźmy zatem do tego, na co wszyscy czekają: na podsumowanie, ilu w nauce jest kłamczuchów. Autorzy pracy odwalili tutaj kawał dobrej roboty, bowiem ogłoszenia o wycofaniu są często pisane bardzo zakamuflowanym językiem – nikt w końcu nie lubi przyznawać się, że opublikował wyniki oszustwa, czy innej machlojki. Podane zatem przez wydawców przyczyny retrakcji zostały zweryfikowane względem innych dostępnych źródeł. Okazało się, że z powodu błędów wycofano zaledwie 21% prac. 14% z powodu podwójnej publikacji, niecałe 10% – z powodu plagiatu. Prawie 45% prac wycofanych przez wydawców została wycofana z powodu oszustwa lub podejrzenia oszustwa. To jest niemalże 890 publikacji. Co zapewne wyjaśnia, dlaczego Retraction Watch tak dobrze się ma…

Tu jednak muszę jeszcze raz podkreślić – zanim ktoś tu szybko wyliczy, że 9 na 20 badaczy jest oszustami – że oczywiście mowa o 45% ze wszystkich wycofanych prac. Które, jak już wcześniej wspomniałem, stanowią 0.01% wszystkich publikowanych prac w ogóle. Czyli bardziej coś jak: 1 na 20 tysięcy badaczy dopuścił się oszustwa. Co w niczym nie umniejsza winy tych autorów, ale przynajmniej nie plami skazą hochsztaplerstwa całej naukowej społeczności.

Zanim też pysznić zaczną się fizycy czy chemicy (bo ich prace nad wyraz rzadko w PubMedzie są indeksowane), to od razu przypomnę, że nie ma czym – Jan Hendrik Schoen był w końcu fizykiem, a nie przeszkodziło mu to w solidnym podbiciu statystki – wycofano w całości lub części ponad 20 jego publikacji. Zazwyczaj zresztą odkrycie, że kariera jakiegoś badacza oparta była w dużej mierze na kłamstwach, niedopowiedzeniach, błędnych analizach, podrobionych wynikach i czym tam jeszcze, prowadzi do wycofania wielu, jeśli nie większości, publikacji tej osoby. Ostatnio z wielkich hukiem upadły w ten sposób gwiazdy holenderskiego psychologa Diederika Stapela (na chwilę obecną ma on coś około 25 wycofanych prac z powodu sfabrykowania wyników) czy koreańskiego badacza roślin Hyung-In Moona, który oszukał system recenzji – do czasu4 (obecnie ma 35 wycofanych publikacji i nic nie wskazuje na to, żeby ta liczba jeszcze nie urosła. Chyba że mu się publikacje wcześniej skończą).

Najbardziej jednak martwiącą statystyką podaną przez autorów jest zestawienie prac, które wciąż są cytowane – często tak, jakby ich w ogóle nie wycofano. Tutaj, o zgrozo, prym wiedzie praca pana Wakefielda. O ile jednak pewne podejrzenia można mieć, co do tego, skąd się bierze to nagminne cytowanie pana W (profesor Majewska sama pewnie stoi za połową tych cytacji), o tyle znacznie bardziej martwi, gdy cytowane są prace wycofane z powodu przypadkowych błędów, wykrytych później przez autorów i wycofanych właśnie po to, aby uniknąć powielania tego samego błędu. Oznacza to bowiem, że albo ktoś cytuje, bo korzysta z zawartości – często na zasadzie stosowania metody czy protokołu, który egzystuje już gdzieś niezależnie od publikacji, pomimo tego, że jest całkowicie błędny – ale nie ma czasu, chęci, czy motywacji, żeby pracę oryginalną przeczytać. Co skutkuje właśnie tym: perpetuacją w nieskończoność czyjegoś fusa z kawy, który przypadkiem wylądował w zlewce z odczynnikiem. Po drugie, co gorsza, oznacza to, że ktoś cytuje pracę, nie korzystając z zawartości. Czyli albo powołuje się na to, co mu się wydaje, że w pracy jest, ale olewa jej czytanie, albo – i to chyba jest najbardziej przerażające – zdaje sobie doskonale sprawę z tego, że praca została wycofana i dlaczego, ale cytuje ją i tak, bo na przykład wyjaśnia jakieś nieprawdopodobne wyniki.

Na samym końcu autorzy tłumaczą, co wszyscy chyba podejrzewaliśmy – że wzrastająca liczba oszustw w nauce wynika prawdopodobnie z systemu jej finansowania, coraz bardziej wymagającego, coraz częściej opartego na zasadzie, że zwycięzca bierze wszystko. Wówczas przecież każdy chce być zwycięzcą, a gdy nagrodą jest wielomilionowy grant zrozumieć można, że przynajmniej niektórzy naukowcy nie cofną się przed nagięciem reguł tu i ówdzie. Casadavell kończy tak:

We hope that the present study will prompt discussion among scientists and the society they serve to find measures to improve the quality and reliability of the scientific literature.”

Mamy nadzieję, że niniejsza praca zainicjuje wśród badaczy oraz w społeczeństwie, któremu służą, dyskusję nad tym, jak poprawić jakość i rzetelność literatury naukowej.

I cóż mogę dodać – ja też mam taką nadzieję.

1. Ferric C. Fang, R. Grant Steen, and Arturo Casadevall (2012). Misconduct accounts for the majority of retracted scientific publications Proceedings of the National Academy of Sciences of the United States of America : http://dx.doi.org/10.1073/pnas.1212247109

2. Wpis się we mnie kisi od dwóch tygodni i marna jest szansa, że dojdzie do niego zanim historia zamieni się w historię zaprzeszłą. Krótko więc powiem o co chodzi: pismo PLoS Pathogens wycofało jakieś dwa tygodni temu publikację bez należytej konsultacji z autorami, po czym próbowało honor ratować wstępniakiem. Praca – żeby nie było wątpliwości – prawdopodobnie powinna była zostać wycofana albo co najmniej oznaczona korektą. Wątpliwości jednak wzbudził sposób potraktowania skądinąd nie do końca winnych autorów, którzy zostali teraz napiętnowani – bo wycofanie publikacji jest swego rodzaju piętnem – bez możliwości jakiejkolwiek obrony. Więcej o sprawie można poczytać tutaj oraz w tekstach, do których ten linkuje.

3. Chociaż wyniki są oczywiście interesujące, wydaje mi się jednak, że jest zbyt mało danych w tej pracy, by tak naprawdę móc powiedzieć, że np. w Stanach jest więcej oszustów niż gdzie indziej. Podejrzewam bowiem, że „narodowość” autorów została określona na podstawie afiliacji, a ta nie ma przecież nic wspólnego z narodowością. Sądzę nawet, że w Stanach jest więcej publikujących w dobrych pismach Chińczyków, niż w całych Chinach…

4. Wydawcy pozwalają autorom zazwyczaj na zaproponowanie osoby, która mogłaby zrecenzować pracę. Wydaje mi się, że jest to relikt czasów zaprzeszłych – zanim jeszcze wystarczyło zapytać wujka googla, kto by się nadał. Niemniej wciąż się z tego korzysta i czasem zaprasza takie osoby. Pan profesor Moon zaproponował właściwą osobę – ale podał zły adres email do tego recenzenta. Ja bym taki adres sprawdził dwa razy, ale tutaj widać ktoś za bardzo zaufał i skorzystał z podanego. Na drugim końcu tego fałszywego maila czekał jednak profesor Moon, który sam siebie przecież krytykował nie będzie!

7 Comments

    1. To nie jest tak, że nic nie zrobiono. Przynajmniej z punktu widzenia pism naukowych. Redakcja nie może bowiem wycofać pracy ot tak, bez konkretnej przyczyny i bez dowodów. W sierpniu podczytywałem sobie przypadki opisywane na stronie Committee on Publication Ethics – organizacji zrzeszającej wiele wydawnictw naukowych, której celem jest stanie na straży etycznego zachowania w tej dziedzinie, a także formowanie wytycznych dla redaktorów. COPE organizuje comiesięczne spotkania, na których przedstawiciele różnych wydawnictw (w Londynie, nie wiem, czy takie spotkania mają miejsce gdzie indziej, ale tutaj jest dość wydawnictw by kazusami obsłużyć wszystkich) prezentują „zanonimizowane” kazusy właśnie.

      I przeczytałem taką historię:
      http://publicationethics.org/case/suspect-author

      Kiedy kilka tygodni później przeczytałem ten news w Nature, to byłem pewien – nadal zresztą jestem – że kazus musiał opisywać właśnie przypadek Fujii. Jednak opis na stronie COPE powinien pomóc zrozumieć, że redaktorzy często mają związane ręce. Bo chociaż wiadomo, że autorzy często będą stawać okoniem, gdy się ich oskarży o oszustwo, i do tego jesteśmy przyzwyczajeni i przygotowani, znacznie trudniej jest walczyć z oporem materii ze strony instytucji, w której taki badacz pracuje. A już nie daj boziu, żeby był z jakiegoś egzotycznego kraju, i żeby doszła bariera językowa i bariery prawne i nie wiadomo co jeszcze…

      Lubię

  1. No tak, ale jak rozumiem, badnia Seraliniego nie zostały obalone, co sugeruje wstęp do tego skądinnąd ciekawego artykułu… są dyskutowane i bardzo dobrze. Swoją drogą dyskusja powinna się toczyć również wokół tgo jak EFSA weryfikuje badania koncernów biotechnologicznych, bo o ile mi wiadomo ich metody badań nie podlegały ocenie naukowej zespołów interdyscyplinarnych.

    Lubię

    1. Prace z naukowych pism nie są wycofywane, bo zostały obalone. Obalić to można coś, jeśli badania są w porządku, ale na przykład interpretacja jest błędna. Albo nie ma technicznych możliwości, żeby dowieść, że coś jest inaczej niż się wydaje, że jest.

      Natomiast retrakcje najczęściej mają miejsce wówczas, gdy do czynienia mamy z wierutnym oszustwem lub partactwem. Czyli nie ma czego obalać, bo badanie u swojej podstawy jest błędne (lub sfałszowane). Seraliniemu zarzucać oszustwa nie chcę, bo to jest oskarżenie poważne. Ale nie chcąc go w ten sposób oskarżać, na podstawie jego badania można jedynie zatem stwierdzić, że jest horrendalnym partaczem. I nie wiem w sumie, co gorsze.

      Lubię

  2. Statystyka 1 na 20 tysięcy jest na pewno zaniżona, bo jak sądzę wielu oszustów pozostaje nie złapanych. Łapie się moim zdaniem dwie kategorie. Jedna to chciwcy bez umiaru, którzy oszukują w pracach „przełomowych”, w prachch o których wiele się mówi (np w prasie popularnej), a więc w pracach które wiele osób bierze pod lupę czy próbuje powtórzyć wyniki, i nagle przestaje się zgadzać. Hwang Wo-suk, Hauser, Wakefield Seralini itd.

    Druga kategoria to nieudolni. Byłem na prezentacji NIHowskiego ORI (Office of Research Integrity czyli „detektywów” od takich spraw). Pokazywali przykłady złapanych, i okazuje się, że ci oszuści potknęli się na podstawowych błędach. Ot, ktoś zamiast dokonać pomiarów wygenerował wyniki z głowy tak, by pasowały do hipotezy. Ponieważ generował z głowy, ostatnie nieznaczące cyfry „wyników” miały silnie nierównomierny rozkład, w prawdziwych wynikach byłyby praktycznie losowe, więc rozłożone równomiernie. Naukowiec który po pierwsze nie wie, że takie człowiek nie nadaje się na generator losowy, a po drugie nie umie wygenerować rozkładu pseudolosowego choćby Excelem, to chyba nie należy do najświatlejszych. Kurde, ja w podstawówce na nudnych lekcjach bawiłem się zatrzymując stoper w zegarku. spisując cyfrę setnych sekundy, i oglądając rozkłady!

    Czy przeklejanie w fotoszopie ścieżek żelowych między ilustracjami wrzuconymi w tej samej publikacji. Jakby w labie nie było setek nigdy nie wykorzystanych żeli z których można coś użytecznego wyciąć.

    Mamy więc po jednej stronie tych co oszukiwali w superważnych (lub przynajmniej popularnych) sprawach, z drugiej tych nieudolnych. Pomiędzy jest jak sądzę całkiem szerokie pole dla tych, co wystarczająco zdolni by ukryć oszustwo, i oszukują w czymś co jest wystarczająco mało ważne żeby nigdy nie trafiło do CNN i żeby nikt sobie nie zadał trudu wnikania w szczegóły, a tenurę na pomniejszym uniwerku załatwi. Ciekawe ilu ich jest.

    Zgadzam się z przypisem 3.
    ORI bada oszustwa związane z funduszami przyznanymi poprzez NIH, więc wykrywa głównie popełnione w instytucjach amerykańskich (i wiele jest tam nazwisk oraz, co bardziej symptomatyczne, imion, nie anglosaskich), i zawyża średnią. Nie przypominam sobie podobnej instytucji w ramach KBN/Ministerstwa Nauki… I wątpię, czy Chiny takową mają.

    Żeby wykryć oszustwo, trzeba być na miejscu, zażądać dostępu do dzienników laboratoryjnych, przesłuchać ludzi. Więc kraje gdzie są mechanizmy jak ORI mają zawyżoną reprezentację. Plagiat czy podwójną publikację można łatwo wykryć z oddali, i tu statystyka może lepiej odzwieciedlać rzeczywistość.

    Lubię

    1. Zgadzam się i owszem, że ta liczba może być zaniżona. Z drugiej jednak strony podejrzewam, że balans wyrównują właśnie takie wspomniane orły, które się łapią na 20-30 retrakcji, podbijając statystykę wycofań. Więc jest szansa, że średnio by jednak wyszło to 1 na 20 tysięcy…

      Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s