Szufladowa nauka

źródło: https://xkcd.com/892/

Jednym ze zjawisk nabardziej wypaczających obraz nauki jest tak zwany efekt szuflady, który znany będzie każdemu badaczowi staremu i młodemu. Polega on na tym, że wyniki, które naukowcy decydują się publikować, stanowią jedynie maleńki wyimek ich badawczego dorobku.

Niepublikowanie wyników przez akademików nie wynika jednak z braku chęci, ale raczej z tego, że pisma naukowe na publikację decydują się wybiórczo, kierując się nie tylko tym, czy praca jest poprawna (to jest kryterium absolutne), ale też tym, jak bardzo jest interesująca, jak bardzo oryginalna, jak nietypowe czy niesamowite odkrycia opisuje. Redaktorzy chętniej decydują się na publikację prac, których wyniki potwierdzają hipotezę autorów (która to hipoteza musi być rewelacyjna, bo inaczej nie byłaby przecież wystarczająco ciekawa), niż te, które nie znajdują niczego interesującego. Fenomen ten określa się też mianem tendencyjności publikacyjnej (ang. publication bias).

O problemie pisałem dwa lata temu; tłumaczyłem wówczas, że jednym z możliwych rozwiązań jest publikacja pracy w piśmie, które jako podstawowe kryterium publikacji stosuje metodologiczną poprawność prac (takich jak PLoS ONE lub Scientific Reports). Wydaje mi się jednak, że wciąż istnieje rodzaj bariery mentalnej powstrzymujących wielu badaczy przez publikacją wyników negatywnych. Nie wspominając o tym, że szkodliwy jest też akademicki system gratyfikacji badaczy, który promuje naukowców publikujących w pismach wysokoprofilowych – a te pisma są znacznie bardziej selektywne, co oznacza, że i prezentowane wyniki muszą być niesamowicie ciekawe.

To prowadzi oczywiście do nadużyć, a koronnym przykładem tego, jak szybko można się zameldować po ciemnej stronie mocy, jest historia holenderskiego psychologa społecznego Diederika Stapela. Psychologia społeczna jest w ogóle nauką, która jest pełna takich wpadek – rewelacyjnych prac opisujących zjawiska, które okazały się w najlepszym razie mieć znacznie mniejszy wymiar niż ten opisywany przez badaczy, a w najgorszym razie być kompletnie sfałszowane.

W zeszłym roku pismo Science (które, paradoksalnie, opublikowało także bardzo wiele z tych sfałszowanych, niereprodukowalnych prac) opublikowało wyniki badania przeprowadzonego przez grupę badaczy zrzeszonych w Open Science Collaboration. Celem OSC była replikacja stu eksperymentów opisanych w trzech czołowych pismach psychologicznych – poprzez odtworzenie protokołu badawczego przez niezależną grupę naukowców i próbę pokazania, że zaobserwowany efekt może być powtórzony w nowej grupie respondentów.

Projekt ujawnił, że olbrzymiej liczby badań w psychologii nie da się odtworzyć – a w tych, które się da, wyniki często nie są aż tak rewelacyjne, jak donosiły oryginalne prace. Projekt znalazł się co prawda sam szybko pod ostrzałem – autorom zarzucono stosowanie błędnej i stronniczej metodologii, dyskusja wrzała, głosy były po części opublikowane w Science, po części przeniosły się w inne połacie internetu. Wymianę ciosów podsumował bloger i dziennikarz naukowy Ed Yong podkreślając, że czego by nie mówić o tej konkretnej inicjatywie, nie jest ona bynajmniej jedynym przykładem tego, że psychologia ma problem z powtarzalnością wyników.

W zeszłym roku pismo Comparative Political Studies zadało następujące pytanie: czy naukę można poprawić zmieniając motywację autorów. Gdyby zamiast oceniania pracy w pierwszej kolejności przez pryzmat wyników oceniano ją tylko i wyłącznie na podstawie poprawności i oryginalności metodologii oraz planu analizy, badacze nie musieliby się martwić tym, że wyniki okażą się negatywne, bo nie miałoby to wpływu na publikację pracy.

W lipcu pismo opublikowało numer specjalny, który jest rezultatem pilotażowego projektu, w ramach którego autorzy byli zaproszeni do składania prac nie posiadających jeszcze wyników. De facto zatem złożona praca była odpowiednikiem pre-rejestracji prób klinicznych (w ramach takiej wstępnej rejestracji do bazy danych prób klinicznych trafia właśnie cały plan próby zanim jeszcze jest ona przeprowadzana).

Różnica między pracami składanymi do CPS a próbami klinicznymi była jednak taka, że prace, których recenzja była pozytywna, zostały ostatecznie opublikowane w numerze specjalnym – to nie jest bynajmniej zjawiskiem powszechnym w przypadku prób klinicznych. Na początku tego roku pismo BMC Medicine opublikowało analizę, która pokazała, że mniej niż połowa pre-rejestrowanych prób klinicznych jest publikowana (w ciągu 30 miesięcy od ich ukończenia).

Ostatecznie z 19 złożonych prac w numerze specjalnym CPS ukazały się trzy. W jednej potwierdzona została hipoteza zerowa (czyli badacze uzyskali to, co najzwalibyśmy wynikiem negatywnym), w kolejnej hipoteza zerowa została potwierdzona po części. Profesor Mike Findley, który był jednym z redaktorów gościnnych numeru, w wywiadzie dla bloga Retraction Watch podkreślił, że pomimo oczywistej trudności, jaką jest próba oceny wkładu pracy naukowej bez możliwości oceny jej wyników, recenzenci nie byli wcale bardziej pobłażliwi i bardzo duży nacisk kładli na teoretyczną wartość pracy – czyli na przykład dobrze zaplanowane metody testowania hipotezy pracy. Czyli można powiedzieć, że wyniki programu pilotażowego były bardzo obiecujące.

Niestety wygląda na to, że póki co dla Comparative Political Studies był to jednorazowy wyskok – pismo nie planuje w najbliższej przyszłości rozpatrywania prac bez wyników na zasadach takich, jakie zastosowano w numerze specjalnym. Co jest przyczyną takiego stanowiska? Możemy tylko zgadywać. Podejrzewać można na przykład (cynicznie), że doprowadziłoby to do publikacji coraz większej liczby prac nie wnoszących wiele nowego do stanu naszej wiedzy – to zaś przekładać się będzie na licznę cytowań tych prac, a to z kolei na wskaźnik wpływu pisma. A niestety wskaźnik wpływu jest wciąż głównym czynnikiem, na podstawie którego uczeni decydują, dokąd składać swoje badania.

Mniej cynicznie można też spekulować, że być może recenzja takich prac jest po prostu bardziej wymagająca: potrzeba na nią więcej czasu, to przekłada się na produktywność redaktorów, która przekłada się na to, ile czasu średnio mija pomiędzy złożeniem pracy a jej publikacją. Zaś „czas do publikacji” jest kolejnym czynnikiem wpływającym na decyzję o złożeniu pracy (wielu badaczy wierzy, że im szybciej, tym lepiej).

Coś się jednak w środowisku jednak rusza we właściwym kierunku. Chociaż CPS nie ma planów standardowego rozpatrywania bezwynikowych prac, Mike Findley zwraca uwagę, że dokładnie taką inicjatywę ogłosiło niedawno inne pismo z zakresu nauk politycznych, The Journal of Experimental Political Science. Możnaby natomiast spytać, czy podobna inicjatywa potrzeba jest naukom naturalnym i biomedycznym, czy w wystarczającym stopniu tę samą funkcję wypełniają już pisma PLoS ONE, Scientific Reports i kolejne, pojawiajace się jak grzyby po deszczu megapisma (przynajmniej te, których standardom redaktorskim wciąż ufamy).

3 Comments

  1. Co ciekawe w naukach społecznych, gdzie powtarzalność wyników jest żadna, również istnieje problem publikowana tylko takich prac, gdzie hipoteza została zweryfikowana pozytywnie. Taki trochę akademicki keep smiling zabijający innowacyjność i oryginalność badawczą.

    Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s