Badacze o cudzych badaniach mówią zazwyczaj dobrze

newspaper

O olbrzymiej roli cytowań prac naukowych nie muszę chyba przekonywać stałych czytelników bloga. Ale wyłóżmy kawę na ławę, żeby było jasne. Przez cytowanie publikacji rozumiemy powołanie się na nią przez badacza w jego lub jej własnej recenzowanej pracy naukowej. Z formalnego punktu widzenia rozróżnienie to – że praca musi być cytowana przez inną pracę naukową – jest istotne.

Wiele prac jest bowiem cytowane w mediach, czasem nawet – jeśli autor lub jego instytucja pospieszy się z notką prasową – zanim praca jest w zasadzie opublikowana. Na wiele prac powołują się autorzy w mediach społecznościowych – na blogach, vlogach i w ćwierknięciach. Wiele też publikacji znajduje wreszcie drogę do oficjalnych raportów różnego rodzaju. I chociaż wszystkie te formy cytowania odzwierciedlają oczywiście zainteresowanie badaniami, są jednak niekoniecznie dobrym wskaźnikiem tego, jak duży wpływ na innych badaczy ma dana publikacja.

I chociaż istotne jest oczywiście to, jak duży wpływ badania naukowe mają nie na naukę, ale po prostu na nasze życie (myślcie: badanie donoszące o odkryciu nowego leku na raka), to jednak na dłuższą metę badania naukowe mają znaczenie tylko wtedy, gdy w ten czy inny sposób pozwalają nam powiększać podwaliny naszej wiedzy, na której budować mogą przyszłe pokolenia. Nie wspominając też o takim małym szczególe jak to, że w przypadku bardzo wielu (niewątpliwie ważnych) badań podstawowych ich zastosowanie praktyczne jest nieoczywiste. Co w niczym nie umniejsza ich znaczenia.

Najlepszą zaś miarą tego, jak duży wpływ dane badanie ma na innych naukowców, są zaś właśnie cytowania naukowe. Prace, które mają olbrzymi wpływ na innych, lub takie, które są niezwykle użyteczne, są po prostu cytowane częściej (nawiasem mówiąc, Nature rok temu miało znakomity materiał na ten temat – bardzo polecam, jeśli jesteście ciekawi, jaka praca jest najczęściej cytowaną pracą w historii).

Jednym z nielicznych argumentów przytaczanych przez krytyków stosowania cytowań jako wskaźników czegokolwiek, poza wiecznym narzekaniem na reżim wskaźnika wpływu (czy jest to narzekanie słuszne to temat na inną okazję), jest to, że prace cytowane mogą być w wielorakich kontekstach. Badacze mogą się na nie powoływać dlatego, że czegoś się z nich dowiedzieli, że stosują opisaną w nich po raz pierwszy metodykę, że zgadzają się – lub nie – z interpretacją wyników.

Mogą też, jak czasem ma to miejsce, cytować prace po to, aby je po prostu zjechać jako nierzetelne, źle zaprojektowane gnioty, których obecność w literaturze fachowej po prostu szkodzi nauce. Jak to zapewne miało miejsce w niesławnym przypadku arsenowych bakterii, czy też niedawno opisanej nowej metodzie STAP do otrzymywanie komórek macierzystych, która po publikacji w styczniu 2014 roku przyciągnęła tak wiele uwagi i zasłużonej krytyki, że praca – która okazały się przepuszczonym przez recenzenckie sito bublem – została wycofana w czerwcu 2014.

Troje badaczy z MIT, Georgia Tech i Uniwersytetu Toronto postanowiło sprawdzić, jak często jednak prace naukowe cytowane są krytycznie – i jaka jest w nauce rola takich negatywnych cytowań. Wyniki ich badań opublikowane zostały niedawno w PNAS.

Prawdopodobnie najciekawszym aspektem tej pracy, który tutaj jednak całkowicie pominę, było opracowanie metody do rozpoznawania cytowań, które kwestionowały cytowaną pracę. Autorzy stworzyli taką właśnie metodę, a następnie zastosowali ją do analizy ponad 750 tysięcy cytowań z prawie 16 tysięcy artykułów opublikowanych w Journal of Immunology w latacg 1998 – 2007. Około 2.4% – nieco ponad 18 tysięcy cytowań – zidentyfikowali jako cytowania negatywne. 750 tysięcy cytowań powoływało się na 146 tysięcy artykułów (czyli niektóre były w tym piśmie cytowane wielokrotnie), spośród których około 7% – 10,405 artykułów – było cytowane negatywnie.

Pierwszą ciekawą oberwacją tutaj jest to, że chociaż cytowania negatywne stanowią niewielki procent wszystkich cytowań, to dotyczą one znacznie większej frakcji prac. Autorzy spekulują, że przyczyny, dla których cytowania negatywne nie są stosowane często, mogą być dwojakie. Po pierwsze, cytowania takie mogą – w większości przypadków – nie mieć wielkiego znaczenia, bo mają po prostu małą siłę przebicia. Po drugie, używanie cytowań negatywnych może się wiązać z dużym kostem społecznych – badacze, którzy piętnują cudze publikacje sami ryzykuję stanie się pariasami.

Z drugiej strony jest jednak oczywiste, że takie cytowania mogą pełnić ważną rolę korekcyjną w nauce – zwłaszcza gry uwzględni się to, jak wielkiej porcji wszystkich publikacji dotyczą. Autorzy przeanalizowali kilka aspektów tych negatywnych cytowań: po jakim czasie od publikacji prace były negatywnie cytowane, jakość (i popularność) prac cytowanych negatywnie, czy autorzy cytujący negatywnie byli specjalistami w dziedzinach, których dotyczyły cytowania. Sprawdzili też wreszcie, jaka była szansa na to, że praca cytowana negatywnie zostaje wycofana z publikacji.

Większość wyników tych analiz była raczej spodziewana. Okazuje się na przykład, że większą szansę na negatywne cytowanie mają prace popularne, takie które odbiły się w danej dziedzinie szerokim echem, bo opisują odkrycia w tej dziedzinie niezwykle ważne. Teoria głosi, że prace o wysokim profilu mają większą szansą na negatywne cytowanie, bo po prostu więcej osób je czyta. Autorzy odkryli też, że naukowcy cytujący negatywnie są znacznie częściej specjalistami w dziedzinie, której dotyczy oryginalna praca – i t onie jest zaskoczeniem, bo aby rozumieć, co może być z badaniem nie w porządku, trzeba być w danym polu ekspertem.

Interesujące jest jednak to, że negatywne cytowania miały niewielki natychmiastowy efekt na cytowane prace. Na dłuższą metę jednak prace takie notowały spadek cytowań wyraźniejszy od prac, które cytowane negatywnie nie były – czyli jednak środowiska tematami zainteresowane dostrzegają, że coś z oryginalnym badaniem jest nie tak. To pokazuje, że tego rodzaju cytowania są nam w nauce potrzebne.

Praca ma oczywiście pewne ograniczenia. Dotyczy tylko prac immunologicznych z jednego pisma (chociaż autorzy przeanalizowali też niewielką próbkę prac matematycznych opublikowanych w PLOS ONE i podają, że wyniki są podobne). Trudno więc powiedzieć, czy obserwowane trendy byłyby zachowane dla innych dyscyplin, chociaż można podejrzewać, że odpowiedź brzmi: tak. Ponieważ metodę analizy opisano w PNAS, spodziewać się można, że naukowcy badający inne dyscypliny ruszą wkrótce tym samym tropem.

Chociaż to rola negatywnych cytowań jest podstawowym obiektem badania, jeden z pobocznych wyników stanowi powód do zadowolenia. Jest bowiem pocieszającym w pewnym sensie to, że zaledwie 2.5% cytowań (dla prac z matematyki było to nawet mniej niż 2%) to cytowania negatywne. Oznacza to bowiem, że w znakomitej olbrzymiej większości przypadków cytowane badania naukowe mają jednak pozytywny efekt na naszą rzeczywistość, na naukę i jej postęp. I tym miłym akcentem tutaj zakończę.

2 Comments

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s