Jak naprawić zepsuty system recenzji? (III)

źródło: flickr; Gisela Giardino (CC BY-SA 2.0)

Jak sprostać oczekiwaniom

W XXI wieku proces recenzji jest już od dekad sformalizowanym procesem. Niezależnie od tego, czy redakcja pisma składa się z profesjonalnych redaktorów naukowych (jak w Nature, Science czy Cell), czy też prowadzona jest przez czynnych akademików, pierwszym etapem recenzji jest zawsze wstępna ocena pracy pod kątem jej zawartości, aby sprawdzić czy po pierwsze, pasuje ona w ogóle do profilu pisma, a po drugie, czy zawarte w niej wyniki są nowe, czy tylko potwierdzają wcześniejsze badania. Po pokonaniu tej pierwszej przeszkody przychodzi czas na recenzję właściwą, dokonywaną przez obywateli współbadaczy tej samej dziedziny. I to jest moment, gdy oczekiwania poszczególnych stron uwikłanych w recenzję zaczynają się powoli rozmijać.

Zacznijmy jednak od tego, jak – z technicznego punktu widzenia – wygląda recenzja, i jak ją postrzega przeciętny redaktor. Znakomita większość czasopism naukowych przeprowadza recenzję w trybie pojedynczo ślepym: to znaczy, że autorzy nie wiedzą, kto jest recenzentem, ale recenzenci wiedzą, kim są autorzy [1].

Ta metoda, chociaż najbardziej praktyczna, od samego początku wprowadza istotną asymetrię w relacjach pomiędzy autorami a recenzentem. Recenzent znajduje się w bardzo komfortowej sytuacji: może bez przeszkód krytykować pracę, nie obawiając się, że autorzy spróbują się odegrać przy pierwszej nadarzającej się okazji. Taki system zapewnia z jednej strony, że recenzent do swoich obowiązków podejdzie bez obaw i nie będzie odczuwał skrupułów przed wyłuszczeniem wszystkich wątpliwości, jakie może mieć w stosunku do pracy.

Z drugiej jednak strony sytuacja stwarza oczywiście pole do nadużyć – niesamowicie ważną rolę spełnia tutaj redaktor, który musi upewnić się, że po pierwsze autorzy nie są niesprawiedliwie traktowani przez recenzenta, a po drugie, że jeśli recenzent nie jest w stosunku do autorów i ich pracy uczciwy, np. próbując dewaluować wartość badań, to decyzja w sprawie pracy jest rzetelna i nie uwzględnia krytyki opartej na ukrytym konflikcie interesów.

Czego od recenzji oczekuje redaktor? Chociaż wstępna decyzja o tym, czy tematyka pracy jest adekwatna, a jej poziom wystarczający do dalszej recenzji, redakcja wciąż polega na recenzentach, aby te założenia potwierdzić. Bo badanie, które redaktorowi może wydawać się przełomowe, może po prostu przełomowe nie być: wystarczy, że autorzy (nierzetelnie) nie wspomną podobnych badań, a nawet najbardziej detalicznie przeszukiwanie baz danych nie jest zawsze skuteczne. Wówczas polegać musimy na ocenie recenzenta, który będąc specjalistą w tej samej dziedzinie ma najlepsze pojęcie o aktualnym stanie wiedzy. Większość jednak oczekiwań wiąże się z merytoryczną zawartością pracy, oceną metodologii i prawidłowości analizy [2].

O co więc my, redaktorzy, pytamy? [3] Po pierwsze o to, czy eksperyment był odpowiednio zaprojektowany i czy posiadał odpowiednie kontrole: czyli na przykład, gdy badamy, jak na szczęśliwość osób wpływa wygrana w totolotka, musimy najpierw sprawdzić, jak bardzo szczęśliwa jest taka osoba w ogóle. Gdy badamy, jaki wpływ na organizm ma wprowadzenie do niego nowego genu, musimy sprawdzić, czy reakcja, którą obserwujemy, jest wywołana genem, czy może tylko nośnikiem, na którym gen do komórki dostarczono.

Po drugie pytamy o to, czy eksperyment został wykonany na wystarczająco dużej próbie: bo jedna jaskółka wiosny nie czyni. A im bardziej skomplikowany system, tym większa musi być próba, aby mieć pewność, że to, co widzimy, nie jest tylko przypadkową fluktuacją szumów. Tak więc w prostych systemach biologicznych testujących nieskomplikowaną zależność obserwacja zjawiska na próbie kilku, kilkunastu komórek może być wystarczająca. Eksperymenty psychologiczne, w których bada się złożone zależności, na które wpływ ma nie tylko sama fizjologiczna struktura mózgu, ale wpływy kulturowe, wychowanie, czy nastrój, w jakim danego dnia są poszczególni partycypanci badania, wymagają znacznej liczby uczestników [4].

Niemniej ważne od pytań o poprawność metodologii badania są pytania o sposób interpretacji wyników. Czy przestawione wnioski znajdują oparcie w opisanych danych? Czy też stanowią spekulacje? Jeśli są spekulacją, to czy zostało to prawidłowo opisane? Czy przedstawiona interpretacja wyników jest w jakikolwiek sposób ograniczona projektem badania? Czy ograniczeniem może być zastosowana technika pomiarowa? Czy w analizie wyników zastosowano właściwe metody statystyczne, a jeśli nie, to jaki wpływ na wyniki miał błędny rachunek błędu? Czy badanie zostało przedstawione w kontekście aktualnej literatury tak, aby było jasne, które z opisanych odkryć są odkryciami autorów, a które tylko potwierdzeniem tego, co już wiemy?

Recenzentowi zadaje się też wiele pytań czysto technicznych: czy opis zastosowanej metody jest na tyle szczegółowy, aby umożliwić duplikację badania? Czy dane przedstawione w pracy są przedstawione w sposób zalecany przez daną społeczność badawczą? Ten ostatni punkt, chociaż wydawać się może błahy, takim bynajmniej nie jest: jeśli bowiem z powodu nieodpowiedniego bądź niestandardowego formatu z danych nie mogą skorzystać nawet osoby, które się na temacie znają i są nim zainteresowane, to z całą pewnością nie należy oczekiwać, że będą to w stanie zrobić osoby spoza danego środowiska. Udostępnienie zaś danych, materiałów, szczegółowych metod i protokołów badania powinno być „obowiązkiem psim” każdego badacza, którego badania finansowane są ze środków publicznych – czyli tak naprawdę znakomitej większości naukowców.

Recenzentów można pytać wreszcie o aspekty etyczne ich pracy, chociaż te uważny redaktor powinien zazwyczaj wychwycić sam. A przynajmniej w niektórych rodzajach badań istotnym będzie, czy w pracy znajduje się informacja o zgodzie odpowiedniego komitetu etycznego na badania na zwierzętach lub ludziach, czy metody pracy zgodne są z tzw. Deklaracją Helsińską. Warto też zwrócić uwagę, czy autorzy zadeklarowali jakikolwiek konflikt interesów: bo z pewnym dystansem podchodzić będziemy na przykład do pracy potwierdzającej, że palenie papierosów jest absolutnie nieszkodliwe, jeśli autorzy okażą się być pracownikami działu badawczego firmy tytoniowej.

Autorzy od recenzenta mogą i powinni oczekiwać jeszcze jednego: tego, że krytyka będzie konstruktywna, a także że wraz z nią do ręki otrzymają też listę poprawek, które pomogą im pracę ulepszyć. Często jednak trafiają się recenzenci z piekła rodem – z tymi muszą radzić sobie autorzy. Jeszcze częściej trafiają się z piekła rodem autorzy – i z tymi radzić musi sobie redaktor.

Recenzent święty Recenzent z piekła rodem

• Recenzję zwraca po dwóch dniach, gdy termin ma na za dwa tygodnie.

• Odpowiada rzeczowo na wszystkie zapytania redakcji.

• Udziela konstruktywnej krytyki; wskazuje nie tylko, gdzie w metodologii są błędy, ale także podpowiada, jak je naprawić.

• Jeśli praca jest za „słaba” dla danego pisma, doradza, w jaki sposób można poprawić wyniki poprzez dodanie nowych eksperymentów lub analiz.

• Nie ma jednak wygórowanych wymagań: dodatkowe doświadczenia lub analizy zawsze są w granicach finansowego i czasowego rozsądku.

• Jest kolegą po fachu (ang. peer), ale bywa też nauczycielem.

• Recenzję zwraca wiele tygodni po terminie, po licznych emailach i telefonach.

• W recenzji stosuje język obraźliwy, ubliżając autorom.

• Żąda poprawek, które są nierealne: albo wymagają zbyt dużych nakładów finansowych, albo są całkiem poza tematyką główną pracy.

• Żąda nadmiernego cytowania własnych prac, nawet gdy nie jest to uzasadnione.

• Zataja konflikt interesów.

• Dzieli się nadesłanych poufnym manuskryptem z kolegami.

• Bywa kolegą po fachu (ang. peer), ale zawsze jest katem.

Powyższe listy nie są oczywiście wyczerpujące, ale wyraźnie podkreślają różnicę pomiędzy tym, jaki recenzent powinien być (zgodnie z oczekiwaniami redakcji oraz autorów), a jaki często, niestety bywa. Jednak podczas gdy w przypadku niesfornych recenzentów radzić sobie z nimi muszą zarówno redaktorzy jak i autorzy, w przypadku niesfornych autorów cały ciężar spada już na redaktora.

Autor święty

Autor z piekła rodem

• Składając pracę w piśmie załącza list wyjaśniający, o czym praca jest, jak jej wyniki wpisują się w obecną literaturę i dlaczego redakcja powinna chcieć tę pracę w ogóle rozpatrywać.

• Nie pyta co drugi dzień, czy praca już jest w recenzji, albo kiedy będzie decyzja.

• Decyzję odmowną przyjmuje ze zrozumieniem – nie musi się z nią zgadzać, może się od niej odwoływać, ale czyni to poprzez prezentację argumentacji za pracę, a nie przeciw redaktorom lub recenzentom.

• W liście do recenzentów i redakcji (przy powtórnym nadesłaniu pracy po poprawkach) dziękuje za wkład i pomoc w ulepszeniu pracy.

• Przy poprawianiu pracy stara się odnieść do wszystkich komentarzy i przeprowadzić – w miarę możliwości – sugerowane przez recenzentów doświadczenia i analizy.

• Jest kolegą po fachu, ale bywa też pilnym i pojętnym uczniem.

• W liście załączonym do pracy przekleja abstrakt.

• Domaga się, aby jego/jej praca była rozpatrzona już, teraz, natychmiast, a najlepiej to wczoraj.

• Zawsze uważa, że ma rację, nawet gdy jej nie ma. Złożona praca to samo złoto, a redakcja powinna kłaniać się do kolan za sam fakt jej nadesłania.

• W pracy nagminnie cytuje tylko i wyłącznie sam(ą) siebie, ale na zarzut, że praca jest tematycznie wąska, obraża się śmiertelnie.

• Zła recenzja, w jego/jej oczach jest zawsze tylko i wyłącznie winą recenzenta. W najlepszym przypadku może też być winą redaktora. Nigdy jednak nie wynika z tego, że praca jest po prostu słaba.

• Odwołując się od negatywnej decyzji unika odpowiedzi na pytania merytoryczne; skupia się na dyskredytacji recenzentów i podkreśleniu, jak ważna jest praca dla wszystkich zainteresowanych. Nie precyzuje, że wszyscy zainteresowani to autorzy i ten jeden pan na końcu sali, który nieopatrznie zadał pytanie na wydziałowym seminarium.

• Bywa kolegą po fachu, ale jest przede wszystkim arogantem i megalomaniakiem.

Tak naprawdę nie ma zestawu wskazówek, które pomogły by autorom bardziej niż następująca: zawsze szanuj swoich czytelników. Czy są nimi redaktorzy pisma, czy recenzenci, czy wreszcie czytelnicy opublikowanej pracy. Czytelnicy nienawidzą bowiem, gdy marnuje się ich czas lub obraża. Poza tymi dwoma punktami, większość innych przywar tolerują.

Recenzentom rad można dać więcej: tutaj z pomocą przychodzi poradnik [5] opublikowany już blisko dekadę temu przez pismo PLoS Computational Biology. W tej zwięzłej pracy zaproponowano dziesięć prostych zasad, których powinni trzymać się badacze recenzujący prace swoich kolegów. Niektóre z rad są zdroworozsądkowym skutkiem opisanych powyżej oczekiwań wobec recenzentów. Inne zwracają jednak uwagę na pewne ciekawe a często przez recenzentów niedoceniane aspekty ich pracy, jak na przykład ten, że proces recenzji jest procesem współtworzenia publikacji, czyniąc recenzenta przynajmniej po części odpowiedzialnym za produkt końcowy. Albo ten, że recenzent w trakcie oceny cudzej pracy powinien sam uczyć się czegoś nowego. Warto zaś zawsze pamiętać o starej prostej zasadzie: nie czyń drugiemu, co tobie niemiłe, czyli recenzuj tak, że gdybyś sam był autorem publikacji, doceniłbyś tę recenzję jako wartościowy wkład w rozwój twojej pracy.

Nie naprawiaj, jeśli nie zepsute

Nawet jednak założywszy, że zarówno autorzy, jak i recenzenci, zachowują się jak święci, pytania o stan procesu recenzji nie straci na ważności: przy najlepszych bowiem nawet chęciach przez recenzencką sieć przemykać się będą mniej lub bardziej spektakularne buble.

Czy możemy temu przeciwdziałać? Tak postawione pytanie mija się z celem – wychodzi bowiem z błędnego założenia, że po recenzji przed publikacją nie ma już nic, że recenzja przed publikacją jest ostateczną wyrocznią. W istocie jest zaś inaczej: recenzja przed publikacją, chociaż potrzebna, jest jedynie zaczątkiem procesu ewaluacji i weryfikacji badań naukowych. Przepięknym tego przykładem jest przywołana przeze mnie na wstępie historia arsenowych bakterii, których nie było: tam proces recenzji przed publikacją zawiódł; nie oznacza to jednak, że dzisiaj będziemy zmieniać treść podręczników, bo arsenowe bakterie były opisane w piśmie recenzowanym. Wręcz przeciwnie, zadziałał bowiem kolejny mechanizm: recenzja po publikacji, na skutek której udało się wykryć fundamentalne błędy w pracy, a następnie pokazać, że wyniki są niepowtarzalne, a co za tym idzie – niewiarygodne.

Opisujący tę historię drugi z braci Eisenów, Jonathan [6], na swoim blogu podsumował proces recenzji następującą wyliczanką

„1. Proces recenzji to nie magia

2. Proces recenzji nie jest systemem zero-jedynkowym

3. Proces recenzji nie jest statyczny.”

Słowa te zakończył apelem, aby przestać przekreślać proces recenzji za każdym razem, gdy do druku trafia praca wadliwa. Bo proces recenzji nie jest zepsuty: proces recenzji jest niezrozumiany. Zapominamy o tym, że recenzja nie kończy się na opiniach formalnych recenzentów: recenzentem staje się każdy potrafiący pracę krytycznie przeanalizować czytelnik. Zapominamy o tym, że recenzent to nie wyrocznia delficka: nie zawsze musi mieć rację, gdyż jest tylko człowiekiem, w dodatku działającym i oceniającym na podstawie dostępnych w danym momencie danych, bieżącej wiedzy oraz doświadczenia. Nowe, wyprodukowane po publikacji dane, mogą całkowicie zmienić interpretację wyników, czy też światło w jakim tym wynikom przyglądał się będzie recenzent.

W binarnym szale filozofii publish or perish zapominamy też o tym, że decyzja o publikacji bardzo rzadko zostaje podjęta w oparciu o przekonanie, że dana praca nie może być jeszcze lepsza; najczęściej podejmowana jest ponieważ praca jest tak dobra, jak jest to możliwe w danym momencie, przy określonym wkładzie pracy i w określonej skali czasowej.

Skoro zatem proces recenzji nie jest zepsuty, nie silmy się na to, aby go naprawiać. To, co możemy jednak zrobić, to praca nad jego ulepszeniem. Co każda osoba zaangażowana w ten proces może zrobić po prostu starając się jak najrzetelniej wypełniać powierzone jej autorsko-recenzencko-redaktorskie obowiązki.

***

Przeczytaj jeszcze raz pierwszą, oraz drugą część tekstu. Możesz też przejrzeć pozostałe publikacje w numerze Biuletynu EBIB poświęconym pismom naukowym.

Przypisy:

1. Niewielka liczba pism wykorzystuje inne systemy. Recenzja podwójnie ślepa oznacza, że autorzy nie znają recenzentów, a recenzenci autorów. Ten tryb jest niezbyt efektywny, gdyż recenzenci bardzo często mogą domyślić się tożsamości autorów na podstawie treści: po pierwsze, ponieważ pracując w tej samej dziedzinie mają zazwyczaj jakie takie pojęcie o tym, nad czym pracuje ich konkurencja. Po drugie zaś, ponieważ autorzy często odwoływać się będą do swoich wcześniejszych prac – więc ich tożsamość zdradzona będzie przez bibliografię pracy.

Na przeciwnym końcu recenzenckiego spektrum jest recenzja otwarta. Tutaj wszyscy znają swoje wzajemne tożsamości. W ekstremalnych przypadkach, jak przytoczony w poprzednim wpisie przykład pisma Biology Direct, recenzje są też publikowane, wraz z nazwiskami recenzentów, razem z pracą, której dotyczą.

2. Tu chciałbym zaznaczyć, że słowa te piszę z punktu widzenia redaktora w piśmie z zakresu nauk przyrodniczych. Inne kryteria mogą być brane pod uwagę na przykład w pismach humanistycznych – niemniej jednak zawsze jakaś lista kryteriów, które recenzent musi ocenić, będzie brana pod uwagę.

3. Hames, I. (2014). Peer review at the beginning of the 21st century Science Editing, 1 (1), 4-8 DOI: 10.6087/kcse.2014.1.4

4. Warto tutaj dodać, że chociaż problem badań prowadzonych na zbyt małych próbach wraca ostatnio ze zdwojonym echem, to sprawa nie jest nowa: w psychologii o tym, że badania są statystycznie niewiarygodne właśnie przez wzgląd na zbyt małą liczbę uczestników, dyskutowano już co najmniej ćwierć wieku temu.

5. Bourne, P., & Korngreen, A. (2006). Ten Simple Rules for Reviewers PLoS Computational Biology, 2 (9) DOI: 10.1371/journal.pcbi.0020110

6. Jonathan Eisen, podobnie jak jego brat Michael, także jest mocno zaangażowany w działalność Public Library of Science oraz w ruch Open Access.

4 Comments

  1. Również dziękuję autorowi. Kolejny świetny tekst przybliżający funkcjonowanie systemu od środka. I do tego interesujące źródła! Mam tylko nadzieję, iż ochota na dzielenie się własnymi przemyśleniami nie przejdzie.

    Lubię

  2. Świetny tekst – dzięki za jasne zestawienie kontekstu/argumentów, trochę się dyskusji nad tym przetoczyło i takie podsumowanie jest bardzo przydatne.

    Ciekawy punkt widzenia – racja że system nie jest może do końca zepsuty, ale z drugiej strony (mam wrażenie) oponentom chodzi też o zwrócenie uwagi na istotność recenzji post-pub; po publikacji otrzepuje się ręce i mówi „zrobione!”, choć nie na tym powinno się kończyć. Obecnie znacznie ważniejsza wydaje się ta pierwsza recenzja, przed publikacją – może waga powinna być jednak po tej drugiej stronie?

    Zgadzam się z tym jednak, że nie warto wylewać dziecka z kąpielą – jest dużo do naprawienia i niektórzy próbują wprowadzać ciekawe rozwiązania (choćby http://www.frontiersin.org/about/reviewsystem), więc pole do manewru z pewnością jest.

    Lubię

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s