Naukowe piekło

Perspectives on Psychological Science stało się w tym tygodniu pierwszym recenzowanym pismem naukowym, które opublikowało artykuł podpisany ksywką blogera. Neuroskeptic (blogujący tutaj) stał się natomiast pierwszym blogerem, któremu udało się opublikować w piśmie recenzowanym pracę bez podpisywania jej imieniem i nazwiskiem.

Przełom w naukowym przemyśle wydawniczym? Nie do końca.

Tekst Neuroskeptica jest bowiem typową opinią – a te nie są poddawane recenzji, a do tego często mają charakter blogowego bajdurzenia (odesłałbym do esejów publikowanych co miesiąc w Genome Biology, ale te niestety są za paywallem). Nie umniejsza to jednak w niczym tego osiągnięcia – być może już za rogiem znajdują się prace naukowe, które podpisywane będą przez autorów pseudonimami. Jestem w stanie sobie wyobrazić taką sytuację przynajmniej w niektórych dziedzinach.

O czym jest zaś sam tekst? Opinia nosi tytuł Dziewięć Kręgów Naukowego Piekła i opatrzona jest ilustracją wzorowaną na komiksach xkcd (w podpisie ilustracji Neuroskeptic przeprasza zarówno autora xkcd, jak i Dantego). Neuroskeptic opisuje w nim losy naukowców, którzy dopuścili się grzechom przeciw tzw. dobrej laboratoryjnej/ badawczej praktyce.

Dziewięć kręgów naukowego piekła wg Neuroskeptica.

Autor podkreśla, że podobnie jak u Dantego, u którego wszyscy, nawet ci dobrzy, ludzie szli do któregoś z kręgów piekła, tak i w tej jego naukowej adaptacji swoje miejsce znajdują niemal wszyscy naukowcy. I tak na przykład pierwszym kręgiem naukowego piekła jest otchłań (ang. limbo), która – jak mówi autor – jest nie tyle miejscem kary, co żalu i rozczarowania. Jest to miejsce dla tych naukowców, którzy sami żadnych grzechów nie popełnili, ale w ten czy inny sposób dali przyzwolenie na popełnianie ich przez innych, czy to przez bierną akceptację, czy to przez przyznawanie grantów.

Bardzo urzekł mnie krąg czwarty: poławianie wartości p. Odnosi się to do statystycznej miary, która oznacza graniczny poziom istotności wyników. W badaniach naukowych wszystkie wyniki, które dają wartość p powyżej pewnej liczby (zazwyczaj 0.05, ale z tym różnie bywa) uznaje się za statystycznie nieistotne. Dlatego analiza statystyczna wyników, która daje p<0.05 jest spełnieniem marzeń każdego badacza. W czym tkwi haczyk? Otóż testów statystycznych jest tysiąc pińcet sto dziwińcet i jak się je bezkrytycznie wykonuje (bo nie każdy przecież nadaje się do każdej analizy – gdyby tak było, wystarczyłby nam jeden), to w końcu któryś prędzej czy później da wartość p<0.05. To właśnie Neuroskeptic nazwał poławianiem wartości p (ang. p-value fishing). W tym kręgu naukowego piekła grzeszni badacze zmuszeni są do poławiania swojego pożywienia. Mają do tego wiele rodzajów sieci i wędek, których marki uwzględniają m.in. Bayesa, Studenta i Spearmana (co po niektórzy rozpoznają w nich nazwy testów statystycznych). Niestety tylko jedna na każde 20 ryb jest jadalna, więc grzesznicy z tego kręgu ciągle chodzą głodni.

Krąg piąty: kreatywne użycie punktów skrajnych, czyli takich, które nie pasują do odkrytego trendu. Tutaj pokutę odbywają grzesznicy, którzy swoje dane upięknili przez wykluczenie z analiz tych niewygodnych punktów pomiarowych. Demony piekieł karzą ich wyrywając im z głowy włosy po jednym na raz i wyjaśniając za każdym razem, że grzesznikowi lepiej jest bez tego włosa, bo coś z nim było nie tak.

Najniższe kręgi przeznaczone zaś są dla plagiatorów, badaczy, którzy swoim danych nie publikują, bądź publikują je tylko częściowo (bo w końcu nauka opublikowanymi danymi stoi – gdyby było inaczej, wciąż tkwilibyśmy w średniowieczu. Dosłownie). Ostatni, dziewiąty krąg dedykowany jest tym naukowcom, którym zachciało się fabrykować dane. Szatan we własnej osobie spędza tam z nimi czas, uwięziony w bloku lodu. Zamarznięta na kamień przed oczami grzeszników jest także publikacja wyjaśniająca, że woda w tej części piekła nie ma prawa zamarzać. Niestety dane w tej publikacji zostały sfabrykowane.

Neuroskeptic daje popis wyobraźni, ale także wylicza w bardzo obrazowy sposób największe – prawdziwe i nierzadko spotykane – grzechy naukowców. Bo chociaż większość z nas (chcę bardzo wierzyć) nigdy w życiu nie sfabrykowała danych, to na przykład o nieopublikowaniu takich czy innych wyników tego samego powiedzieć już nie można. A takie grzechy, jak przereklamowanie swoich wyników utrzymując, że mają większe znaczenie niż naprawdę mają, poławianie wartości p, czy bajkopisanie post-hoc (dorabianie teorii do posiadanych danych), to już raczej są sprawy na porządku dziennym.

Tu chciałbym zatem na koniec umieścić krótkie przykazanie dla młodych badaczy lub przyszłych badaczy, którzy być może ten tekst przeczytają: proszę na tekst Neuroskeptica rzucić okiem, a potem spisać te 9 przykazań i przestrzegać ich do końca naukowej kariery. Żebyście pod jej koniec mogli sobie z czystym sumieniem spojrzeć w oczy.

1. Nie będziesz przystawał na deprawowanie nauki
2. Nie będziesz przeceniał swoich wyników.
3. Nie będziesz naginał teorii do faktów.
4. Nie będziesz poławiał wartości p.
5. Nie będziesz usuwał niewygodnych punktów wedle własnego widzimisię.
6. Jak ognia strzegł się będziesz plagiatu.
7. Nie będziesz chował danych do szuflady.
8. Zawsze będziesz publikował pełne dane.
9. Nie będziesz fabrykował danych.

Edit: W odpowiedzi na komentarz uważnego Czytelnika (komentarz pana Piotra Goldsteina poniżej), zmodyfikowałem punkt trzeci z Nie będziesz dorabiał teorii do faktów, na Nie będziesz naginał teorii do faktów. Wyjaśnienie: dorabianie teorii sugerowało tworzenie teorii na nowo. Jak zauważył pan Piotr, tak się jednak przecież często dzieje – gdy istniejące teorie nie wyjaśniają obserwowanych faktów, trzeba wówczas stworzyć nowe, które je będą wyjaśniać. Z drugiej jednak strony nie wydaje mi się, żeby naginanie faktów do teorii było częste – fakt to fakt i bez fałszowania danych nagiąć się go raczej nie da. Można go oczywiście zignorować i tutaj patrz punkt 5.

Co natomiast można zrobić, to teorię już istniejącą do faktów nagiąć i próbować udawać, że tak miało być od początku i że tego się spodziewaliśmy. I o to, wydaje mi się, w „post-hoc storytelling” chodzi i stąd też taka, a nie inna, zmiana.