Niekompetencja to nie zbrodnia

Jesienią 2012 roku francuski badacz, Eric Seralini, opublikował pracę, która miała wstrząsnąć środowiskiem naukowym badającym organizmy modyfikowane genetycznie: pokazywała bowiem (według autora), że kukurydza GM indukuje u myszy występowanie wszelakich nowotworów.

Praca zamieszanie wywołała i owszem, chociaż zasadniczo z innych powodów, niż kontrowersje sprzedawane mediom przez autora. Perypetie Seraliniego jednak dopiero się zaczęły – rok później, w listopadzie 2013 roku praca została wycofana z pisma przez redaktora naczelnego.

I tak jeden skandal (naukowy) został zastąpiony innym (etyczno-wydawczniczym).

Zacznę jednak od końca, czyli od dysklejmera. Ponieważ, wbrew zdrowemu rozsądkowi, w dzisiejszym poście zamierzam stanąć w obronie Seraliniego.

Tytułem wstępu

Nie chciałbym jednak, żeby zostało to odebrane jako moje poparcie dla jego badań, czy też dla wyników z wycofanej pracy. Bo, niezależnie od dalszego ciągu tego wpisu, nadal uważam, że praca Seraliniego była fuszerką. Bo jakiekolwiek nie byłyby dalsze losy tej pracy, nic nie zmieni faktu, że badanie było źle zaprojektowane, wyniki zaś zostały zinterpretowane w sposób skandaliczny, a możnaby nawet domniemywać, że nieetyczny – a co najmniej niekompetentny, bo tylko te dwie możliwości tłumaczą stosowanie w badaniach długoterminowych szczepu szczurów, u których występuje spontaniczna karcynogeneza w okresie pokrywającym się z okresem badania.

Podkreślić też pragnę po raz kolejny, że przez wzgląd na wszystkie problemy wyłuszczone przeze mnie w oryginalnym wpisie o pracy Seraliniego, nadal jestem święcie przekonany, że Francuz nie wykazał szkodliwości GMO. Nie dlatego, że mam takie widzimisię; ani nie dlatego, że popieram jakiś naukowy kult modyfikowanej żywności. Dlatego, że po prostu nie przedstawił na to przekonywujących dowodów.

Retrakcja w oczy kole

Dlaczego zatem chcę dzisiaj w obronie Seraliniego się wypowiadać? Taki zamiar kisił się we mnie od dłuższego czasu: odkąd przeczytałem szczegółowe uzasadnienie wycofania pracy Seralniego. W uzasadnieniu tym redaktor naczelny, A. Wallace Hayes, napisał:

Retrakcji dokonujemy po dokładnej i czasochłonnej analizie opublikowanego artykułu oraz danych w nim zawartych, oraz po audycie procesu recenzji tego artykułu. […]

Redaktor Naczelny nie znalazł dowodów na oszustwo, ani na celową błędną prezentację danych. Jednakże istnieją solidne podstawy do obaw w kwestii liczby zwierząt w poszczególnych grupach, a także co do wybranego szczepu zwierząt. […]

Wyniki opisane w pracy (chociaż nie błędne) nie mogą być uznane za rozstrzygające, i jako takie nie osiągają poziomu merytorycznego wymaganego przez pismo Food and Chemical Toxicology. […] Retrakcja dotyczy tylko nierozstrzygającego charakteru pracy.

Bladi-ble-bladi-bla. Polecam przeczytać list w całości (tutaj nie umieszczam, bo jest przydługi), bo warto. Czego się bowiem z niego dowiadujemy? Otóż dowiadujemy się, że:

1. Czego byśmy o Seralinim nie myśleli, nie ma dowodów na jego oszusto lub próbę wprowadzenia czytelników w błąd;
2. W trakcie procesu recenzji zwrócono uwagę na podstawowe problemy tej pracy: na to, że liczba zwierząt była za mała oraz na to, że wybrane do badań szczury Sprague-Dawley nie są odpowiednim szczepem;
3. Retrakcji dokonano tylko i wyłącznie na podstawie tego, że wyniki nie były rozstrzygające (ang. inconclusive).

Pierwszy punkt jest bardzo ważny, ponieważ zazwyczaj do wycofania pracy potrzeba bardzo, ale to bardzo przekonywujących dowodów na to, że doszło do fałszerstwa, plagiatu, lub poważnego złamania zasad etycznych. Tutaj natomiast nie ma na to dowodów. Punkt drugi jest ważny, ponieważ pokazuje, że redaktorzy (dodam: akademiccy, zanim ktoś znowu zacznie przykładać profesjonalnym jako nie-badaczom) doskonale zdawali sobie sprawę z problemów pracy, a także z tego, że wyniki nie są rozstrzygające, a jednak postawili pracę opublikować. Trzeci punkt pokazuje, że gdy redakcja znalazła się pod szarżą rozsierdzonych badaczy, oburzonych, że nie dość, że opublikowano bubla, to jeszcze uczyniono to z rozmachem licznych konferencji prasowych, nie wytrzymała presji i postanowiła pracę wycofać.

Błędy redakcji były tu co najmniej trzy: po pierwsze, że pomimo tych sporych, i jak się potem okazało krytycznych, wątpliwości, postanowiono pracę zrecenzować w pełni; po drugie, że pomimo wyraźnych problemów z pracą postanowiono ją opublikować tylko dlatego, że recenzent uznał, że warto; po trzecie dlatego, że jak już się zdecydowano, że warto, to że nie wymuszono na autorach złagodzenia wniosków pracy tak, aby odzwierciedlały to, co się na pewno da na podstawie danych powiedzieć. A po czwarte – że pracę ostatecznie wycofano.

Wnioski niepoparte danymi

Bo wychodzi na to, że jedynym grzechem Seraliniego, który zapewnił mu tę retrakcję, były wnioski niepoparte danymi. Gdybyśmy jednak chcieli wycofywać każdą pracę, w której wnioski są niepoparte danymi, to musielibyśmy wycofać pewnie ze trzy czwarte istniejącej literatury naukowej. Bo w niemal każdej pracy jest element spekulacji, a w olbrzymiej ich części ten element nie jest zaznaczony (tzn. że spekulacje przedstawiane są jako prawdy objawione i poparte dowodami).

I podkreślić tu trzeba, że przytaczanie spekulacji w pracy naukowej nie jest błędem, ani oszustwem. Wręcz przeciwnie: jest po prostu stawianiem kolejnych hipotez. Ważne jest jednak oczywiście, aby ten hipotetyczny charakter stwierdzeń podkreślić.

Precz z cenzurą

Nie powinno zatem dziwić, że znaleźli się obrońcy Seralniego, którzy na stronie „End Science Censorship” zbierają podpisy pod petycją, której celem jest potępienie wycofania pracy przez Hayesa, a także doprowadzenie do przywrócenia pracy i retrakcji retrakcji…

Na stronie znajduje się długie FAQ wyjaśniające badania Seraliniego i tłumaczące, dlaczego jego wyniki są ważne, nawet jeśli kontrowersyjne. Dodam od razu, że niektóre z podanych tam przykładów tego, że badania Francuza były poprawne, wołają o pomstę do nieba (1) i przykro patrzeć, że podpisało się pod nimi ponad 115 badaczy. Chociaż przypuszczać należy, że to akurat nie są powody, dla których się podpisali. A jakie są?

Są takie, jak już wymieniłem: wzburza ich wycofanie pracy na podstawie tego, że wyniki są spekulatywne, pomimo braku dowodów na oszustwo; wzburza ich to, że retrakcji dokonano na skutek procesu, któremu jak niczego brakowało transparencji; wzburza ich retrospektywne stosowanie nowych standardów do pracy opublikowanej rok wcześniej; wzburza ich wreszcie to, że pismo, którego wydawca należy do COPE (organizacji zajmującej się etyką naukowego przemysłu wydawniczego), dokonało retrakcji pomimo braku podstaw, zdefiniowanych w wytycznych COPE.

O petycji dowiedziałem się tydzień temu i podczas gdy rozmyślałem, jak ten temat poruszyć, pojawił się ciąg dalszy. Environmental Health Perspectives opublikowało list trójki badaczy z Francji oraz USA, w którym potępili oni decyzję o wycofaniu pracy Seraliniego. Piszą w niej m.in. tak:

Literatura poświęcona wpływowi otoczenia na zdrowie publiczne [ang. environmental health] usiana jest kontrowersyjnymi publikacjami, które wiodą do wyrazów krytyki, bądź poparcia, a przede wszystkim do tego, że chcemy lepiej zrozumieć odkrycia opisane przez autorów. […]

Artykuł został zrecenzowany przez naukowców w imieniu FCT, a następnie opublikowany. Oznacza to, że [RM: wbrew zapewnieniom red. naczelnego] osiągnął on merytoryczny pułap publikacji  [zdefiniowany przez pismo]. Naszym zdaniem istnieć musi inny pułap, aby wycofać ten artykuł, i wierzymy, że pułap ten nie został osiągnięty. […]

Natura nauki jest taka, że pojedyncze artykuły są rzadko, jeśli w ogóle kiedykolwiek, rozstrzygające. W przypadku licznych opublikowanych badań okazywało się w późniejszym okresie, na skutek dalszych naukowych dociekań, że są błędne, co jest też i możliwe w przypadku pracy Seraliniego et al. O ile nam wiadomo, nie istnieje jednak precedens wycofania pracy przez Elseviera lub innego wydawcę tylko na podstawie „nie bycia rozstrzygającą”. Wyszczególnienie w ten sposób tej pracy jest więc niemal na pewno spowodowane kontrowersjami, jakie wzbudziła jej publikacja.

Moja obrona Seraliniego (która nie jest jego obroną)

Całkowicie zgadzam się z autorami tego ostatniego listu: niezależnie od tego, jakim bublem nie byłaby praca Seraliniego, jej wycofanie stoi w sprzeczności z zasadami, którymi kierują się redaktorzy naukowi na całym świecie. Bo jeśli zaczniemy wycofywać prace tylko dlatego, że wyniki są nie do końca poparte danymi, to po pierwsze, jak już napisałem, musielibyśmy wycofać połowę literatury, a po drugie, od takiej decyzji już tylko krok do wycofywania publikacji na podstawie widzimisię redaktora („a bo autor na konferencji na mnie krzywo spojrzał” albo „a bo po moim wystąpieniu zadał mi trudne pytanie”).

Po trzecie zaś, jeśli pracę naukową możnaby wycofać  z powodów innych, niż tylko etyczne (oszustwo, plagiat i kwestie etyczne związane z badaniami na zwierzętach/ludziach), to pojawia się nagle pytanie: po co w ogóle nam proces recenzji? Skoro zdanie recenzentów może zostać zupełnie zignorowane, albo – co gorsza – wstępnie uznane, a potem publicznie ośmieszone poprzez odwrócenie decyzji.

Nie bronię tutaj zatem samego Seralniego – bo owszem, jest on i może kozłem ofiarnym, ale poniekąd sam jest sobie winien (niektórzy czytelnicy pamiętać będą humbug towarzyszący oryginalnej publikacji, dziwaczne embargo dla prasy, umowę na książkę i tak dalej) – bronię tutaj jednak samej zasady: prac naukowych nie można wycofywać dlatego, że mamy na ich temat odmienne zdanie.

Można natomiast z nimi polemizować w kolejnych publikacjach, co na przykład czynią oponenci profesora Ratajczaka (historię wciąż-nie-wiadomo-czy-istniejących komórek macierzystych opisywałem w lecie), co także uczyniła Rosie Redfield w odpowiedzi na NASA-owskiego bubla o arsenowych bakteriach. Można też polemizować publicznie– co bardzo adekwatne byłoby w tym przypadku, aby po pierwsze nie spowalniać dostępu do istotnych informacji przez proces recenzji, a po drugie podkreślić, że błędy popełnione przez Seralniego są na poziomie błędów studenta. Trudno przewidzieć, czy jakiekolwiek pismo opublikowałoby taką oczywistą oczywistość, tutaj jednak wiemy na pewno, że miało to miejsce, gdyż przez miesiące pomiędzy publikacją a retrakcją FCT publikowało kolejne listy od rozentuzjazmowanej publiki na temat tego, jak niekompetentny jest Seralini.

Skoro zatem dało swoim czytelnikom możliwość zapoznanie się z obiekcjami w sprawie pracy, czemu zatem ostatecznie zdecydowano się na jej wycofanie? Jak powiedzieli autorzy listu z EHP: przyczyną najpewniej były towarzyszące publikacji kontrowersje. Redakcja zapomniała jednak najwyraźniej, że niekompetencja nie jest zbrodnią; można za nią stracić opinię rzetelnego badacza, ale nie powinno się za nią tracić całej publikacji. I dobrze by było, gdyby redaktor Hayes pamiętał o tym na przyszłość, gdyż tą jedną decyzją sam dał właśnie wyraz braku kompetencji.

Przypisy:

1. Przywoływana jest na przykład praca opisująca badania nad bezpieczeństwem tejże samej kukurydzy GM przeprowadzone przez Monsanto.  Seralini miał zastosować w swoim badaniu dokładnie ten sam protokół eksperymentalny, aby zreplikować wyniki i sprawdzić ich poprawność. Oznacza to, że Monsanto na przykład także stosowało do badań szczury Sprague-Dawley. Ponieważ jednak badanie firmy było krótsze (trwało jedynie trzy miesiące), a u szczurów z tego szczepu spontaniczna karcynogeneza pojawia się dopiero po czterech miesiącach, wybór ten nie budził wątpliwości. Trudno jednak usprawiedliwiać Seraliniego tym, że próbował zreplikować ten sam protokół, skoro dokonał w nim monumentalnej zmiany wydłużając badanie z 3 miesięcy do dwóch lat. Chwała mu za to, że mu się chciało, ale przy tak dramatycznej zmianie procedury jego psim obowiązkiem, jako osoby, która zaprojektowała badanie, było dopilnowanie, żeby kontrolowane wciąż były różne inne czynniki. Takie jak inherentna cecha szczurów Sprague-Dawley, jaką było spontanicze umierania na całą gamę nowotworów.