Naukowe piekło

Dziewięć kręgów naukowego piekła wg Neuroskeptica.

Perspectives on Psychological Science stało się w tym tygodniu pierwszym recenzowanym pismem naukowym, które opublikowało artykuł podpisany ksywką blogera. Neuroskeptic (blogujący tutaj) stał się natomiast pierwszym blogerem, któremu udało się opublikować w piśmie recenzowanym pracę bez podpisywania jej imieniem i nazwiskiem.

Przełom w naukowym przemyśle wydawniczym? Nie do końca.

Tekst Neuroskeptica jest bowiem typową opinią – a te nie są poddawane recenzji, a do tego często mają charakter blogowego bajdurzenia (odesłałbym do esejów publikowanych co miesiąc w Genome Biology, ale te niestety są za paywallem). Nie umniejsza to jednak w niczym tego osiągnięcia – być może już za rogiem znajdują się prace naukowe, które podpisywane będą przez autorów pseudonimami. Jestem w stanie sobie wyobrazić taką sytuację przynajmniej w niektórych dziedzinach.

O czym jest zaś sam tekst? Opinia nosi tytuł Dziewięć Kręgów Naukowego Piekła i opatrzona jest ilustracją wzorowaną na komiksach xkcd (w podpisie ilustracji Neuroskeptic przeprasza zarówno autora xkcd, jak i Dantego). Neuroskeptic opisuje w nim losy naukowców, którzy dopuścili się grzechom przeciw tzw. dobrej laboratoryjnej/ badawczej praktyce.

Dziewięć kręgów naukowego piekła wg Neuroskeptica.

Autor podkreśla, że podobnie jak u Dantego, u którego wszyscy, nawet ci dobrzy, ludzie szli do któregoś z kręgów piekła, tak i w tej jego naukowej adaptacji swoje miejsce znajdują niemal wszyscy naukowcy. I tak na przykład pierwszym kręgiem naukowego piekła jest otchłań (ang. limbo), która – jak mówi autor – jest nie tyle miejscem kary, co żalu i rozczarowania. Jest to miejsce dla tych naukowców, którzy sami żadnych grzechów nie popełnili, ale w ten czy inny sposób dali przyzwolenie na popełnianie ich przez innych, czy to przez bierną akceptację, czy to przez przyznawanie grantów.

Bardzo urzekł mnie krąg czwarty: poławianie wartości p. Odnosi się to do statystycznej miary, która oznacza graniczny poziom istotności wyników. W badaniach naukowych wszystkie wyniki, które dają wartość p powyżej pewnej liczby (zazwyczaj 0.05, ale z tym różnie bywa) uznaje się za statystycznie nieistotne. Dlatego analiza statystyczna wyników, która daje p<0.05 jest spełnieniem marzeń każdego badacza. W czym tkwi haczyk? Otóż testów statystycznych jest tysiąc pińcet sto dziwińcet i jak się je bezkrytycznie wykonuje (bo nie każdy przecież nadaje się do każdej analizy – gdyby tak było, wystarczyłby nam jeden), to w końcu któryś prędzej czy później da wartość p<0.05. To właśnie Neuroskeptic nazwał poławianiem wartości p (ang. p-value fishing). W tym kręgu naukowego piekła grzeszni badacze zmuszeni są do poławiania swojego pożywienia. Mają do tego wiele rodzajów sieci i wędek, których marki uwzględniają m.in. Bayesa, Studenta i Spearmana (co po niektórzy rozpoznają w nich nazwy testów statystycznych). Niestety tylko jedna na każde 20 ryb jest jadalna, więc grzesznicy z tego kręgu ciągle chodzą głodni.

Krąg piąty: kreatywne użycie punktów skrajnych, czyli takich, które nie pasują do odkrytego trendu. Tutaj pokutę odbywają grzesznicy, którzy swoje dane upięknili przez wykluczenie z analiz tych niewygodnych punktów pomiarowych. Demony piekieł karzą ich wyrywając im z głowy włosy po jednym na raz i wyjaśniając za każdym razem, że grzesznikowi lepiej jest bez tego włosa, bo coś z nim było nie tak.

Najniższe kręgi przeznaczone zaś są dla plagiatorów, badaczy, którzy swoim danych nie publikują, bądź publikują je tylko częściowo (bo w końcu nauka opublikowanymi danymi stoi – gdyby było inaczej, wciąż tkwilibyśmy w średniowieczu. Dosłownie). Ostatni, dziewiąty krąg dedykowany jest tym naukowcom, którym zachciało się fabrykować dane. Szatan we własnej osobie spędza tam z nimi czas, uwięziony w bloku lodu. Zamarznięta na kamień przed oczami grzeszników jest także publikacja wyjaśniająca, że woda w tej części piekła nie ma prawa zamarzać. Niestety dane w tej publikacji zostały sfabrykowane.

Neuroskeptic daje popis wyobraźni, ale także wylicza w bardzo obrazowy sposób największe – prawdziwe i nierzadko spotykane – grzechy naukowców. Bo chociaż większość z nas (chcę bardzo wierzyć) nigdy w życiu nie sfabrykowała danych, to na przykład o nieopublikowaniu takich czy innych wyników tego samego powiedzieć już nie można. A takie grzechy, jak przereklamowanie swoich wyników utrzymując, że mają większe znaczenie niż naprawdę mają, poławianie wartości p, czy bajkopisanie post-hoc (dorabianie teorii do posiadanych danych), to już raczej są sprawy na porządku dziennym.

Tu chciałbym zatem na koniec umieścić krótkie przykazanie dla młodych badaczy lub przyszłych badaczy, którzy być może ten tekst przeczytają: proszę na tekst Neuroskeptica rzucić okiem, a potem spisać te 9 przykazań i przestrzegać ich do końca naukowej kariery. Żebyście pod jej koniec mogli sobie z czystym sumieniem spojrzeć w oczy.

    1. Nie będziesz przystawał na deprawowanie nauki
    2. Nie będziesz przeceniał swoich wyników.
    3. Nie będziesz naginał teorii do faktów.
    4. Nie będziesz poławiał wartości p.
    5. Nie będziesz usuwał niewygodnych punktów wedle własnego widzimisię.
    6. Jak ognia strzegł się będziesz plagiatu.
    7. Nie będziesz chował danych do szuflady.
    8. Zawsze będziesz publikował pełne dane.
    9. Nie będziesz fabrykował danych.

Edit: W odpowiedzi na komentarz uważnego Czytelnika (komentarz pana Piotra Goldsteina poniżej), zmodyfikowałem punkt trzeci z Nie będziesz dorabiał teorii do faktów, na Nie będziesz naginał teorii do faktów. Wyjaśnienie: dorabianie teorii sugerowało tworzenie teorii na nowo. Jak zauważył pan Piotr, tak się jednak przecież często dzieje – gdy istniejące teorie nie wyjaśniają obserwowanych faktów, trzeba wówczas stworzyć nowe, które je będą wyjaśniać. Z drugiej jednak strony nie wydaje mi się, żeby naginanie faktów do teorii było częste – fakt to fakt i bez fałszowania danych nagiąć się go raczej nie da. Można go oczywiście zignorować i tutaj patrz punkt 5.

Co natomiast można zrobić, to teorię już istniejącą do faktów nagiąć i próbować udawać, że tak miało być od początku i że tego się spodziewaliśmy. I o to, wydaje mi się, w „post-hoc storytelling” chodzi i stąd też taka, a nie inna, zmiana. 

10 Comments

  1. Reblogged this on Badaczka. Na tropie doktoratu and commented:
    PONIEWAŻ PISZĘ (TAK, NAPRAWDĘ PISZĘ, POMIMO PIASKU W OCZY I ŚWIATA SPRZYSIĘŻENIA SIĘ PRZECIW MOJEJ OSOBIE), TYMCZASEM POLECAM TEKST Z INNEGO BLOGA – O GRZECHACH I GRZESZKACH NAUKOWCÓW. W TRAKCIE PISANIA WIELOKROTNIE ZALECENIA JEGO PRZYDAJĄ SIĘ, ABY TRZYMAĆ SIĘ PIONU! TEKST NA LICENCJI CC BY-NC-SA.

    Lubię

  2. „Być może już za rogiem znajdują się prace naukowe, które podpisywane będą przez autorów pseudonimami.” Ten róg minęliśmy dawno temu, jednego takiego piszącego pod pseudonimem nawet zacytował Pan w swoim poście. William Gosset (przełom XIX/XX w) pisywał pod pseudonimem, bo uważał, że jeszcze nie jest dość dobry, żeby używać własnego nazwiska. Stąd rozkład – t jest rozkładem Studenta.

    Lubię

    1. 1. Z tego, co wiem, Gosset podpisywał swoje prace pseudonimem, bo nie miał innego wyjścia. Pracownikom browaru Guinnessa nie wolno było niczego publikować (podobno wcześniej przeciekły do prasy jakieś tajemnice produkcji i stąd ten zakaz).

      2. Punkt 3 powinien chyba brzmieć: „Nie będziesz dorabiał (a raczej – naginał) faktów do teorii”. Dorabianie teorii do faktów jest głównym zajęciem każdego teoretyka.

      Lubię

      1. Naniosłem poprawkę a propos punktu trzeciego i mam nadzieję, że wyjaśniłem w miarę przejrzyście, o co mi chodziło w notce pod tekstem. Oczywiście istnieje zawsze możliwość, że całkiem źle zrozumiałem Neuroskeptica (on się niestety nie rozgadywał specjalnie, żeby wyjaśnić poszczególne kręgi, więc pole do manewru jest tutaj dla każdego ;)).

        Lubię

  3. Bardzo selektywnie: punkt trzeci wydaje mi się kontrowersyjny. Jeżeli w badaniu pojawiły się dane, które nie pasują do hipotez, to zwykle chętnie zapoznałbym się z pomysłami eksperta (autora artykułu) na temat tego, skąd te dane mogły się wziąć. Życzyłbym sobie, aby takie wyjaśnienia podawane były w odpowiednio hipotetycznym tonie i najlepiej z odwołaniem do literatury przedmiotu, ale ich przekreślanie z założenia jest – moim zdaniem – pewną przesadą.

    A może coś źle zrozumiałem?

    Lubię

    1. Nie chodzi o to, żeby nie próbować wyjaśniać niezrozumiałych wyników poprzez formułowanie nowych hipotez. Chodzi tylko o to, że trzeba mieć jakąś hipotezę wyjściową; że badania powinny mieć jakiś cel, tzn podejrzewamy, że coś się dzieje w ten czy inny sposób i próbujemy to zweryfikować eksperymentalnie. I albo nam się udaje albo nie, ale przynajmniej wiadomo, skąd się wziął cały eksperyment.

      Za często jednak w nauce pojawiają się dzisiaj takie prace, w których od razu widać, że doświadczenie zrobiono bez pomysłu, na zasadzie, że „a czemu nie?„, a potem dorabia się do wyników interpretację, która jest całkowicie z palca wyssana – bo na przykład nie uwzględnia tego, że eksperyment był po prostu źle zaplanowany, że nie miał odpowiednich kontroli, wystarczająco dużej próby i co tam bądź jeszcze.

      Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s