Vi fick just en vetenskaplig artikel accepterad. En rad till som kan strykas från "artiklar att publicera"-listan. Det tog sin tid dock, och bjöd på en del annorlunda varianter inom det så kallade peer review-systemet.
Vi skickade in artikeln första gången i december 2009. Det tog lång tid att få första omgången kommentarer. Detta är särskilt märkligt då det var uppenbart att reviewerna (ursäkta den förfärliga svengelskan) visserligen hade läst men knappast förstått. En av dem, den som var mest kritisk, föreslog "publish with minor revisions". Problemet var bara att han* inte föreslog några förändringar, alls. Däremot uttryckte han stark skepsis mot våra experimentella data. Den andra reviewern föreslog att vi skulle 1) publicera en längre artikel och 2) helst i annan tidskrift och gav samtidigt en lång lista på saker som, enligt hans mening, borde åtgärdas. När reviewerna inte är ense, eller kanske inte är så tydliga som man kunde önska, brukar ofta redaktören för tidskriften skicka med sina egna kommentarer (i slutänden är det alltid redaktören som fattar beslut om en artikel ska publiceras eller inte) och tala om vad han/hon tycker är viktigast, och vad man bör fokusera på. Så icke i detta fall.
Efter lite diskussioner inom författargruppen valde vi att försöka åtgärda de flesta av kommentarerna, och skicka tillbaka till samma tidskrift. I normala fall händer då följande: Redaktören skickar det reviderade manuskriptet till samma granskare som innan, som kollar förändringarna och skriver ett nytt omdöme: antingen anser de att det är publicerbart i nuvarande skick, eller att det inte alls ska publiceras i den aktuella tidskriften. Men tydligen tyckte vår redaktör att detta var ett förlegat förhållningssätt. Så istället skickade han manuskriptet till två nya reviewers. Och vi väntade, och väntade, och väntade. Slutligen kom kommentarerna tillbaka till oss. Igen utan någon som helst indikation från redaktören om hans prioriteringar. En av reviewerna var konstruktiv, fast eftersom han* inte förstått poängen varken med studien eller den aktuella tidskriften var det svårt att använda hans kommentarer på något vettigt sätt. Den andra reviewern känner sannolikt inte till konceptet "att vara konstruktiv", men har kompenserat detta genom att vara riktigt bra på förolämpningar istället. Man fick också en tydlig känsla av att han* helst ville fördröja publiceringen av dessa resultat med några månader till. F.d. chefen lackade ur litegrann** och skrev ett riktigt surt mail till redaktören ifråga, med resultatet att vi fick ett goddag yxskaft-svar tillbaka. Plus en bisats om att redaktören inte var expert inom området och därför var tvungen att lita på reviewerna. Märkligt då, kan man tycka, att redaktören ifråga på senare år publicerat en hel del inom området.
I det här läget bestämmer vi oss för att dra tillbaka manuskriptet och skicka det till en annan tidskrift. Tillsammans med alla tidigare review-kommentarer och alla våra kommentarer till desamma skickade vi in manuskriptet igen. 36 timmar senare får vi beskedet att vi 1) måste lägga till två referenser och 2) fixa till en del redaktionella saker och gör vi detta så kommer redaktören att "consider the manuscript for publication". Sagt och gjort. 48 h efter det kommer beskedet att redaktören väljer att publicera baserat på de tidigare review-kommentarerna och vår respons på dem. Ytterligare 36h senare hade vi fått våra "galley proofs" som det heter på forskningssvengelska. (Slutkorrektur är kanske ett bra svenskt ord för det?)
Nu är det inte särskilt synd om oss för den här hanteringen, de flesta forskare råkar ut för liknande saker då och då under karriären. Anledningarna till det är flera förstås - att en del människor helt enkelt är idioter, att andra inte gör sitt jobb så noggrant som man kunde önska, och ibland att vissa vill vara först med ett resultat. (I sanningens namn ska dock tilläggas att det ibland också går smidigt och man får konstruktiva och insiktsfulla review-kommentarer från första början.) I grund och botten finns många fördelar med peer review-systemet, men det finns också nackdelar. En av dem är att eftersom reviewerna vet vilka som har författat ett manuskript är det lätt att färgas av redan existerande uppfattningar om vem som är bra och inte är det, vem som "förtjänar" att publiceras i bra tidskrifter och vem som är en allvarlig konkurrent som man gärna vill hålla tillbaka lite. En annan är att eftersom författarna aldrig, svart på vitt, får veta vem som "review-at" är incitamenten för att hålla tillbaka otrevliga (icke konstruktiva) kommentarer små.
Själv tror jag att det som kallas för "double blind-review", dvs att reviewerna inte får veta vilka som författat manuskriptet, kan vara värt att pröva. Det finns förstås nackdelar med det också, inte minst att det i många fall går att gissa sig fram till vem som är sistaförfattare på en artikel (genom att kolla på stil, referenser och forskningsområde) och att incitamenten för att vara trevlig inte direkt ökar heller. Men å andra sidan kan man komma tillrätta med en del förutfattade meningar, som förstås existerar hos forskare, precis som hos alla andra människor, om vem som är bra och vem som inte är det.
*Teoretiskt sett kan det förstås ha varit en hon, men jag betvivlar det...
**Så mycket att jag var tvungen att föreslå att han kanske skulle sova en natt på saken innan han skickade vårt svar till editorn...
Subscribe to:
Post Comments (Atom)
9 comments:
Dubbelblind peer-review skulle även hjälpa till i ett annat, nästan viktigare, fall. Nämligen det som drabbar unga forskare som försöker sig på sina första publikationer utan "chefen". Har man inget bekant namn sist i författarlistan drabbas man ofta av betydligt mer kritisk bedömning än annars.
Eller också är problemet kanske egentligen det omvända; om en känd forskare skickar in ett manus så accepteras det utan tillräcklig granskning. Man litar på att namnet borgar för kvalitet (eller kanske sannare, tidskriften litar på att namnet borgar för citeringar som drar upp IF).
Jag tycker helt klart att peer-review borde vara dubbelblind och har svårt att se några nackdelar med det.
Somliga skulle se din första punkt som en nackdel... Men nej, jag håller med dig. Jag har visserligen hört massor av argument emot, men de flesta av de kokar ner till att de mer välkända forskarna skulle bli tvungna att bli bedömda på samma villkor som vi andra, och det betraktar jag inte som ett giltigt argument.
Det finns ju några fysiktidskrifter som var rätt progressiva beträffande open access, vågar man hoppas att någon av dem går före?
Tja, när det gäller de två forskningsområden (CMS och cirkadiska klockan i raps respektive arabidopsis - växtforskning med andra ord) jag har sysslat med och sysslar med så är "double blind-review" mer som:
sila mygg men svälja kameler
eller
skjuta mygg med kanoner...
I de allra flesta växtartiklar jag har läst går det rätt lätt att räkna ut från vilken forskargrupp artikeln kommer från (om man nu är road av att göra det) av den enkla anledning att man bör (och ska) referera tillbaka till ursprungsartiklarna för när gruppen beskrev sin linje, gen eller vad sjutton man nu studerar. Dessutom är vi ett antal människor som har ganska små forskningsfält. Har man väl läst de flesta artiklarna inom sitt eget fält i de engelskspråkiga tidskrifterna (de kinesiska tidskrifterna är ett stort svart hål, då jag inte kan något av de språk som talas i Kina) då vet man vem som jobbar med vad (och man bör lämpligen ha koll på sitt forskningsfält).
Ja, ja... med andra ord, jag tror inte att "double blind-review" gör någon skillnad. Vi kommer att ha kvar alla problem och fördelar med nuvarande system. Men för all del inför det gärna, det kan ju inte gärna bli sämre.
/J
Fick uppleva en liknande sak för några år sedan. En av review var riktigt bra, konstruktiv och ...positiv. En annan var helt enkelt sur, utan förklarningar och tydde på att personen inte har fattat vad vi skrev. Min dåvarande handledare skrev ett riktigt irriterat svar som han bad mig att gå igenom innan den skickades iväg. Så jag fick ta bort alla hårda uttryck och ord :-)
woho! för att få publikationer! alltid skojigt. Jag hoppas på att få igång mitt med.... snart... typ...
dubbelblind är ju ett förslag ibland. I mitt fält vore det extra roligt om man kapade bort "affiliation" eftersom det är naivt att tro att man inte lägger märke till Harvard vs mindre labb i Frankrike. Jag tror dock att det mest är att större lab inte får lika noggranna granskningar "eftersom man vet att dom är bra" medan mindre lab måste lägga in mer bevis?!
Lycka till med jobbansökningar och andra ansökningar också!!
En rätt kul liknelse är ju vi som skriver rapporter efter en beställningsmall från en kund. Rapporten och mallen stämmer överrens men kunden är inte nöjd... Kritiken omvandlar rapporten till en ny tappning och kunden är fortfarande inte nöjd. Pengarna för projektet är slut och "kunden" stampar i golvet efter sin rapport. Tjohooo!
Ah, nämde jag att jag måste presentera innehållet för hela industrigrenen nästa vecka?
(Ja é inte bitter alls!)
Jag menade bara att det där med dubbel blind "review" låter inte helt fel just nu!
J: Mycket möjligt att du har rätt beträffande dina forskningsfält. Å andra sidan är jag ganska säker på att det finns en del att vinna inom "mina", för en del går igenom alltför lättvindigt bara för att somliga namn finns med på dem.
Chall: Tack! Nu är det bara tre eller nåt sånt kvar... Och beträffande blindheten så tänker jag mig nog att både namn och institutionstillhörighet bör döljas för reviewerna...
Matte: Låter sådär skoj, men det går förhoppningsvis bra i slutänden ändå.
Halv-anonym manuskript-granskning vore bättre.
Det stora problemet är inte att nybakade forskare har svårare att publicera när de inte har en etablerad forskare bland författarna, det stora problemet är att så många etablerade forskare släpper igenom skitforskning. Om man som granskare säger ja till ett manuskript skall man ta ansvaret för det och låta sitt namn tryckas i artikeln. Om man säger nej måste man få vara anonym annars får vi bara ja-sägare.
Jag väljer vara anonym av sagda skäl.
Post a Comment