Niekompetencja to nie zbrodnia

Mysz laboratoryjna/ źródło: wiki; Rama (CC BY-SA 2.0)

Jesienią 2012 roku francuski badacz, Eric Seralini, opublikował pracę, która miała wstrząsnąć środowiskiem naukowym badającym organizmy modyfikowane genetycznie: pokazywała bowiem (według autora), że kukurydza GM indukuje u myszy występowanie wszelakich nowotworów.

Praca zamieszanie wywołała i owszem, chociaż zasadniczo z innych powodów, niż kontrowersje sprzedawane mediom przez autora. Perypetie Seraliniego jednak dopiero się zaczęły – rok później, w listopadzie 2013 roku praca została wycofana z pisma przez redaktora naczelnego.

I tak jeden skandal (naukowy) został zastąpiony innym (etyczno-wydawczniczym).

Zacznę jednak od końca, czyli od dysklejmera. Ponieważ, wbrew zdrowemu rozsądkowi, w dzisiejszym poście zamierzam stanąć w obronie Seraliniego.

Tytułem wstępu

Nie chciałbym jednak, żeby zostało to odebrane jako moje poparcie dla jego badań, czy też dla wyników z wycofanej pracy. Bo, niezależnie od dalszego ciągu tego wpisu, nadal uważam, że praca Seraliniego była fuszerką. Bo jakiekolwiek nie byłyby dalsze losy tej pracy, nic nie zmieni faktu, że badanie było źle zaprojektowane, wyniki zaś zostały zinterpretowane w sposób skandaliczny, a możnaby nawet domniemywać, że nieetyczny – a co najmniej niekompetentny, bo tylko te dwie możliwości tłumaczą stosowanie w badaniach długoterminowych szczepu szczurów, u których występuje spontaniczna karcynogeneza w okresie pokrywającym się z okresem badania.

Podkreślić też pragnę po raz kolejny, że przez wzgląd na wszystkie problemy wyłuszczone przeze mnie w oryginalnym wpisie o pracy Seraliniego, nadal jestem święcie przekonany, że Francuz nie wykazał szkodliwości GMO. Nie dlatego, że mam takie widzimisię; ani nie dlatego, że popieram jakiś naukowy kult modyfikowanej żywności. Dlatego, że po prostu nie przedstawił na to przekonywujących dowodów.

Retrakcja w oczy kole

Dlaczego zatem chcę dzisiaj w obronie Seraliniego się wypowiadać? Taki zamiar kisił się we mnie od dłuższego czasu: odkąd przeczytałem szczegółowe uzasadnienie wycofania pracy Seralniego. W uzasadnieniu tym redaktor naczelny, A. Wallace Hayes, napisał:

Retrakcji dokonujemy po dokładnej i czasochłonnej analizie opublikowanego artykułu oraz danych w nim zawartych, oraz po audycie procesu recenzji tego artykułu. […]

Redaktor Naczelny nie znalazł dowodów na oszustwo, ani na celową błędną prezentację danych. Jednakże istnieją solidne podstawy do obaw w kwestii liczby zwierząt w poszczególnych grupach, a także co do wybranego szczepu zwierząt. […]

Wyniki opisane w pracy (chociaż nie błędne) nie mogą być uznane za rozstrzygające, i jako takie nie osiągają poziomu merytorycznego wymaganego przez pismo Food and Chemical Toxicology. […] Retrakcja dotyczy tylko nierozstrzygającego charakteru pracy.

Bladi-ble-bladi-bla. Polecam przeczytać list w całości (tutaj nie umieszczam, bo jest przydługi), bo warto. Czego się bowiem z niego dowiadujemy? Otóż dowiadujemy się, że:

    1. Czego byśmy o Seralinim nie myśleli, nie ma dowodów na jego oszusto lub próbę wprowadzenia czytelników w błąd;
    2. W trakcie procesu recenzji zwrócono uwagę na podstawowe problemy tej pracy: na to, że liczba zwierząt była za mała oraz na to, że wybrane do badań szczury Sprague-Dawley nie są odpowiednim szczepem;
    3. Retrakcji dokonano tylko i wyłącznie na podstawie tego, że wyniki nie były rozstrzygające (ang. inconclusive).

Pierwszy punkt jest bardzo ważny, ponieważ zazwyczaj do wycofania pracy potrzeba bardzo, ale to bardzo przekonywujących dowodów na to, że doszło do fałszerstwa, plagiatu, lub poważnego złamania zasad etycznych. Tutaj natomiast nie ma na to dowodów. Punkt drugi jest ważny, ponieważ pokazuje, że redaktorzy (dodam: akademiccy, zanim ktoś znowu zacznie przykładać profesjonalnym jako nie-badaczom) doskonale zdawali sobie sprawę z problemów pracy, a także z tego, że wyniki nie są rozstrzygające, a jednak postawili pracę opublikować. Trzeci punkt pokazuje, że gdy redakcja znalazła się pod szarżą rozsierdzonych badaczy, oburzonych, że nie dość, że opublikowano bubla, to jeszcze uczyniono to z rozmachem licznych konferencji prasowych, nie wytrzymała presji i postanowiła pracę wycofać.

Błędy redakcji były tu co najmniej trzy: po pierwsze, że pomimo tych sporych, i jak się potem okazało krytycznych, wątpliwości, postanowiono pracę zrecenzować w pełni; po drugie, że pomimo wyraźnych problemów z pracą postanowiono ją opublikować tylko dlatego, że recenzent uznał, że warto; po trzecie dlatego, że jak już się zdecydowano, że warto, to że nie wymuszono na autorach złagodzenia wniosków pracy tak, aby odzwierciedlały to, co się na pewno da na podstawie danych powiedzieć. A po czwarte – że pracę ostatecznie wycofano.

Wnioski niepoparte danymi

Bo wychodzi na to, że jedynym grzechem Seraliniego, który zapewnił mu tę retrakcję, były wnioski niepoparte danymi. Gdybyśmy jednak chcieli wycofywać każdą pracę, w której wnioski są niepoparte danymi, to musielibyśmy wycofać pewnie ze trzy czwarte istniejącej literatury naukowej. Bo w niemal każdej pracy jest element spekulacji, a w olbrzymiej ich części ten element nie jest zaznaczony (tzn. że spekulacje przedstawiane są jako prawdy objawione i poparte dowodami).

I podkreślić tu trzeba, że przytaczanie spekulacji w pracy naukowej nie jest błędem, ani oszustwem. Wręcz przeciwnie: jest po prostu stawianiem kolejnych hipotez. Ważne jest jednak oczywiście, aby ten hipotetyczny charakter stwierdzeń podkreślić.

Precz z cenzurą

Nie powinno zatem dziwić, że znaleźli się obrońcy Seralniego, którzy na stronie „End Science Censorship” zbierają podpisy pod petycją, której celem jest potępienie wycofania pracy przez Hayesa, a także doprowadzenie do przywrócenia pracy i retrakcji retrakcji…

Na stronie znajduje się długie FAQ wyjaśniające badania Seraliniego i tłumaczące, dlaczego jego wyniki są ważne, nawet jeśli kontrowersyjne. Dodam od razu, że niektóre z podanych tam przykładów tego, że badania Francuza były poprawne, wołają o pomstę do nieba (1) i przykro patrzeć, że podpisało się pod nimi ponad 115 badaczy. Chociaż przypuszczać należy, że to akurat nie są powody, dla których się podpisali. A jakie są?

Są takie, jak już wymieniłem: wzburza ich wycofanie pracy na podstawie tego, że wyniki są spekulatywne, pomimo braku dowodów na oszustwo; wzburza ich to, że retrakcji dokonano na skutek procesu, któremu jak niczego brakowało transparencji; wzburza ich retrospektywne stosowanie nowych standardów do pracy opublikowanej rok wcześniej; wzburza ich wreszcie to, że pismo, którego wydawca należy do COPE (organizacji zajmującej się etyką naukowego przemysłu wydawniczego), dokonało retrakcji pomimo braku podstaw, zdefiniowanych w wytycznych COPE.

O petycji dowiedziałem się tydzień temu i podczas gdy rozmyślałem, jak ten temat poruszyć, pojawił się ciąg dalszy. Environmental Health Perspectives opublikowało list trójki badaczy z Francji oraz USA, w którym potępili oni decyzję o wycofaniu pracy Seraliniego. Piszą w niej m.in. tak:

Literatura poświęcona wpływowi otoczenia na zdrowie publiczne [ang. environmental health] usiana jest kontrowersyjnymi publikacjami, które wiodą do wyrazów krytyki, bądź poparcia, a przede wszystkim do tego, że chcemy lepiej zrozumieć odkrycia opisane przez autorów. […]

Artykuł został zrecenzowany przez naukowców w imieniu FCT, a następnie opublikowany. Oznacza to, że [RM: wbrew zapewnieniom red. naczelnego] osiągnął on merytoryczny pułap publikacji  [zdefiniowany przez pismo]. Naszym zdaniem istnieć musi inny pułap, aby wycofać ten artykuł, i wierzymy, że pułap ten nie został osiągnięty. […]

Natura nauki jest taka, że pojedyncze artykuły są rzadko, jeśli w ogóle kiedykolwiek, rozstrzygające. W przypadku licznych opublikowanych badań okazywało się w późniejszym okresie, na skutek dalszych naukowych dociekań, że są błędne, co jest też i możliwe w przypadku pracy Seraliniego et al. O ile nam wiadomo, nie istnieje jednak precedens wycofania pracy przez Elseviera lub innego wydawcę tylko na podstawie „nie bycia rozstrzygającą”. Wyszczególnienie w ten sposób tej pracy jest więc niemal na pewno spowodowane kontrowersjami, jakie wzbudziła jej publikacja.

Moja obrona Seraliniego (która nie jest jego obroną)

Całkowicie zgadzam się z autorami tego ostatniego listu: niezależnie od tego, jakim bublem nie byłaby praca Seraliniego, jej wycofanie stoi w sprzeczności z zasadami, którymi kierują się redaktorzy naukowi na całym świecie. Bo jeśli zaczniemy wycofywać prace tylko dlatego, że wyniki są nie do końca poparte danymi, to po pierwsze, jak już napisałem, musielibyśmy wycofać połowę literatury, a po drugie, od takiej decyzji już tylko krok do wycofywania publikacji na podstawie widzimisię redaktora („a bo autor na konferencji na mnie krzywo spojrzał” albo „a bo po moim wystąpieniu zadał mi trudne pytanie”).

Po trzecie zaś, jeśli pracę naukową możnaby wycofać  z powodów innych, niż tylko etyczne (oszustwo, plagiat i kwestie etyczne związane z badaniami na zwierzętach/ludziach), to pojawia się nagle pytanie: po co w ogóle nam proces recenzji? Skoro zdanie recenzentów może zostać zupełnie zignorowane, albo – co gorsza – wstępnie uznane, a potem publicznie ośmieszone poprzez odwrócenie decyzji.

Nie bronię tutaj zatem samego Seralniego – bo owszem, jest on i może kozłem ofiarnym, ale poniekąd sam jest sobie winien (niektórzy czytelnicy pamiętać będą humbug towarzyszący oryginalnej publikacji, dziwaczne embargo dla prasy, umowę na książkę i tak dalej) – bronię tutaj jednak samej zasady: prac naukowych nie można wycofywać dlatego, że mamy na ich temat odmienne zdanie.

Można natomiast z nimi polemizować w kolejnych publikacjach, co na przykład czynią oponenci profesora Ratajczaka (historię wciąż-nie-wiadomo-czy-istniejących komórek macierzystych opisywałem w lecie), co także uczyniła Rosie Redfield w odpowiedzi na NASA-owskiego bubla o arsenowych bakteriach. Można też polemizować publicznie– co bardzo adekwatne byłoby w tym przypadku, aby po pierwsze nie spowalniać dostępu do istotnych informacji przez proces recenzji, a po drugie podkreślić, że błędy popełnione przez Seralniego są na poziomie błędów studenta. Trudno przewidzieć, czy jakiekolwiek pismo opublikowałoby taką oczywistą oczywistość, tutaj jednak wiemy na pewno, że miało to miejsce, gdyż przez miesiące pomiędzy publikacją a retrakcją FCT publikowało kolejne listy od rozentuzjazmowanej publiki na temat tego, jak niekompetentny jest Seralini.

Skoro zatem dało swoim czytelnikom możliwość zapoznanie się z obiekcjami w sprawie pracy, czemu zatem ostatecznie zdecydowano się na jej wycofanie? Jak powiedzieli autorzy listu z EHP: przyczyną najpewniej były towarzyszące publikacji kontrowersje. Redakcja zapomniała jednak najwyraźniej, że niekompetencja nie jest zbrodnią; można za nią stracić opinię rzetelnego badacza, ale nie powinno się za nią tracić całej publikacji. I dobrze by było, gdyby redaktor Hayes pamiętał o tym na przyszłość, gdyż tą jedną decyzją sam dał właśnie wyraz braku kompetencji.

Przypisy:

1. Przywoływana jest na przykład praca opisująca badania nad bezpieczeństwem tejże samej kukurydzy GM przeprowadzone przez Monsanto.  Seralini miał zastosować w swoim badaniu dokładnie ten sam protokół eksperymentalny, aby zreplikować wyniki i sprawdzić ich poprawność. Oznacza to, że Monsanto na przykład także stosowało do badań szczury Sprague-Dawley. Ponieważ jednak badanie firmy było krótsze (trwało jedynie trzy miesiące), a u szczurów z tego szczepu spontaniczna karcynogeneza pojawia się dopiero po czterech miesiącach, wybór ten nie budził wątpliwości. Trudno jednak usprawiedliwiać Seraliniego tym, że próbował zreplikować ten sam protokół, skoro dokonał w nim monumentalnej zmiany wydłużając badanie z 3 miesięcy do dwóch lat. Chwała mu za to, że mu się chciało, ale przy tak dramatycznej zmianie procedury jego psim obowiązkiem, jako osoby, która zaprojektowała badanie, było dopilnowanie, żeby kontrolowane wciąż były różne inne czynniki. Takie jak inherentna cecha szczurów Sprague-Dawley, jaką było spontanicze umierania na całą gamę nowotworów.

15 Comments

  1. Rafale, piszesz:

    „Pierwszy punkt jest bardzo ważny, ponieważ zazwyczaj do wycofania pracy potrzeba bardzo, ale to bardzo przekonywujących dowodów na to, że doszło do fałszerstwa, plagiatu, lub poważnego złamania zasad etycznych.”

    Jak zatem traktować tendencyjnie zaplanowane badania, których celem było „udowodnienie” z góry założonej tezy (GMO szkodzi). Tych 200 szczurów posłużyło nakręceniu spirali histerii wokół GMO. Nie mam co do tego wątpliwości, że Seralinii działał z premedytacją i wyrachowaniem (o czym świadczy jego postępowanie związane z publikacją wyników i tym co działo się później). Uważam, że te badania spełniają wymóg bycia bardzo nieetycznymi.

    Lubię

    1. Według osób stojących za „End Science Censorship”, projekt badania był oparty na podobnym badaniu przeprowadzonym przez Monsanto, w celu wykazania braku szkodliwości testowanej kukurydzy.

      Różnice były dwie. Po pierwsze, Monsanto zastosowało dwa razy więcej szczurów (tego samego szczepu) – jednak badano krew i mocz tylko połowy z nich, więc można powiedzieć, że Seralini stosował „efektywnie” tyle samo zwierząt.

      Po drugie zaś, badania Monsanto zakończyło się po trzech miesiącach, podczas gdy u szczurów Sprague-Dawley spontaniczna karcynogeneza rozpoczyna się zazwyczaj dopiero po czterech miesiącach lub później. I to jest różnica znacznie ważniejsza – ale nie wydaje mi się, żebyśmy mieli przesłanki do tego, aby sądzić, że Seralini z premedytacją nie uwzględnił tej nietypowej właściwości tego szczepu. Mógł być po prostu niekompetentny i nie zdawać sobie z tego sprawy.

      Natomiast co do tego całego szoł towarzyszącego publikacji wyników: chociaż domyślać się można wyrachowania, trudno powiedzieć, czy było to wyrachowanie naukowe (wiem, że moje wyniki są prawdopodobnie błędne, ale będę je promował i tak, bo podpierają moją z góry założoną tezę), czy wyrachowanie biznesowe (moje wyniki są kontrowersyjne, więc jest szansa nabić sobie kabzę książką, filmem i czym się jeszcze da).

      Gdybyśmy mieli do czynienia z pierwszą sytuacją, to rzeczywiście byłyby przesłanki do wycofania pracy. Problem polega jednak na tym, że – o ile ktoś nie odkryje dokumentów dowodzących, że Seralini miał kontrakt na książkę z tezą zanim się w ogóle zabrał do badań – nie da się ocenić, która sytuacja miała tutaj miejsce. A w takiej sytuacji wątpliwości powinny jednak chyba przemawiać na korzyść oskarżonego, niezależnie od tego, jak moralnie odrażającą może być w naszym mniemaniu osobą.

      Lubię

  2. Ja też miałam i dalej mam podobne odczucia, co więcej w retrakcji widzę niebezpieczeństwo jeszcze większego podgrzania atmosfery przez wszelkiej maści oszołomów od teorii spiskowych. Bo przecież to „lobby monsantowe” nacisnęło na periodyk by pracę usunięto, a nie było ku temu wystarczających powodów! Cenzura i spisek! Przerabiamy to ciągle z Wakefieldem…

    A na poważnie: zastanawia mnie ta szczurza grupa badana- niestety taka wielkość próby jest pokłosiem wszelkich obostrzeń dot. badań na zwierzętach. Teraz w zasadzie nie da się niczego na większą skalę w toksykologii zbadać i mamy takie efekty. Nawet gdyby autor nieszczęsnej pracy był bezstronny (w co akurat wątpię po tym, co pokazał później), to i tak mogłoby się okazać, że praca nie ma szans na żadną istotność statystyczna i wiarygodność.Tak więc odrobinę winy ponosi też dzisiejszy standard etyki badań na zwierzętach.

    Myślę że w tej sprawie cokolwiek zostałoby zrobione lub nie zrobione, nie dałoby się wyjść z tego z twarzą- gdyby praca została, fala krytyki ciągnęła by się za gazetą latami, a artykuł ciągle rozbudzałby wyobraźnię nowych pokoleń eko-terrorystów. Po retrakcji fala krytyki jest ostra, ale krótkotrwała, za to pokłosiem będzie trwające latami ujadanie lobby anty-GMO i kolejne teorie spiskowe. Niestety czasu cofnąć się nie da, a wystarczyłaby obiektywna ocena artykułu przed publikacją…

    Lubię

  3. Swietny tekst, w polskiej naukowej blogosferze zauwazylem do tej pory raczej tylko satysfakcje z retrakcji pracy Seraliniego, a brakowalo takiego glosu rozsadku! Tym wazniejszego, ze pochodzacego od redaktora naukowego :) Dziekuje!

    Gdy czytalem tekst Seraliniego (zmusilem sie przy drugim podejsciu, bo jej poziom odrzucal), nie moglem sie nadziwic ze to redakcja przepuscila. Tam przeciez nie uzyto statystyki, tylko zwiekszona smiertelnosc oceniono „na oko”! Pomyslalem, ze w toksykologii moze jest taka tradycja, to nie moja dzialka nauki…

    Tak czy siak – teraz, po tym jak redaktorzy zblaznili sie puszczajac ten artykul, jeszcze bardziej pograzaja sie ta retrakcja. Ba, jakby tego bylo malo, redaktor naczelny tlumaczy sie wlasnie wytycznymi COPE (tluamczenie sie wytycznymi jako przyzczyna nietrzymania sie wytycznych… pomyslowe!).

    Ciekaw jestem czy redaktorzy sprobuja z tego jakos wybrnac, czy zakoncza sprawe tak jak jest. Nie chcialbym zeby powstala nowa tradycja, ze o tym co akceptowalne w czasopismach decyduje to, kto glosniej krzyczy, oburza sie i robi wieksze zamieszanie…

    P.S.: A czy Pan podpisal sie pod apelem o wycofanie retrakcji? Bo z jednej strony retrakcja oburzajaca, a z drugiej troche glupio podpisywac sie pod tekstem popierajacym brednie z artykulu Seraliniego… :)

    Lubię

    1. Nie będę ukrywał, że początkowo też się ucieszyłem, jak zobaczyłem, że pracę wycofano. Do myślenia dało mi dopiero pełne uzasadnienie tej decyzji.

      Co oczywiście, jak już podkreśliłem, nie oznacza, że sama praca jest w porządku. Ale merytoryczność pracy powinna być w tym kontekście rozważana oddzielnie. Podejrzewam natomiast, że sprawa – ze strony pisma – na tym się zakończy, bo też i nic innego im nie pozostaje. Wycofanie retrakcji wyglądałoby bowiem jeszcze bardziej błazeńsko.

      Odpowiadając na ostatnie pytanie: nie, nie podpisałem. Między innymi i dlatego, że podpisałbym się w ten sposób pod innymi idiotyzmami na stronie z petycją zawartymi. A także dlatego, że mi nie wypada (bo pracuję dla konkurencji). Wreszcie też dlatego, że po prostu nie wierzę w zasadność tej petycji: wycofanie retrakcji byłoby rzeczywiście tylko po raz kolejny przyznanie racji większemu krzykaczowi.

      Lubię

      1. To i ja się nie podpiszę, bo jednak nazwisko ma się jedno i nie chcę nim firmować byle czego.. a nie miałbym nawet na obronę swojej naukowej renomy tego, że i Pan podpisał ;) No i faktycznie, starczy już tego krzykactwa.

        A co Pan, jako redaktor by zrobił w sytuacji redaktora naczelnego Food Chem Toxicol? Mi wydaje się, że wyjściem z twarzą po wpadce z opublikowaniem byłoby domaganie się erraty precyzującej że z wyników to a to wcale nie wynika i że są to jedynie spekulacje. Ewentualnie po odmowie dodania korekty, można by rozmawiać o retrakcji…

        Lubię

        1. Nie robiłbym nic ponad to, co redakcja już robiła – czyli publikowanie listów od czytelników polemizujących z wynikami. A jeśli już naprawdę chciałbym się wypowiedzieć, to może opublikowałbym op-ed komentujący zarówno pracę, jak i późniejsze do niej komentarze. Nie jestem nawet pewien, czy errata byłaby tu wymagana – nie spotkałem się z tym, żeby poprawiano w pracach interpretację (chociaż może się to zdarza, tego nie wiem).

          Lubię

  4. Moje najwyższe wyrazy uznania, za tę bezkompromisowość. Ba! Powstrzymanie się od – w pełni uzasadnionego – poznęcania się nad prawdziwymi winnymi tej sytuacji, tj. redakcji,w momencie publikowania.

    Lubię

  5. Zgadzam sie w calej rozciaglosci. Ta praca nie powinna zostac opublikowana, ze wzgledu na wymienione niedoskonalosci warsztatu. Ta cala historia pokazuje, ze nauka niestety sie troche tabloidyzuje, a journale przymykaja oko na sensacyjne tresci dla rozglosu.

    Lubię

    1. Problem tutaj polega na tym, że chociaż praca nie powinna zostać opublikowana (przynajmniej nie w formie, w której została), to nie oznacza to, że można ją ot tak „odpublikować”. To tak po prostu nie działa, zwłaszcza że w tym przypadku z samym badaniem nie było nic nie w porządku w tym sensie, że nie doszło do żadnego oszustwa. Nie w porządku za to była interpretacja wyników, ale o publikację tychże można już winić tylko redakcję…

      Lubię

      1. Oczywiscie masz racje. Wycofywanie publikacji pod presja tworzy niebezpieczne precednesy. Bardziej na miejscu bylby jakis list polemiczny, komentarz redakcji, komentarz do samego badania. W tym wypadku wydaje sie, ze journal podwinal ogon, gdyz wyszlo na jaw, ze jego sito recenzenckie ma troszke za duze oka.

        Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s