Conta Natura

Parece-me que os reviewers mais críticos acabavam por receber mais queixas, independentemente da sua qualidade

É dificil imaginar a maior parte dos autores serem suficientemente objectivos para escrever: As críticas do revisor A parecem-me correctas e de facto o artigo não tem a qualidade necessária para ser publicado nesta revista científica. As experiências sugeridas pelo revisor B seriam essenciais para testar a hipótese sugerida. Submeteremos o artigo novamente dentro de 12 a 18 meses quando estas tiverem concluídas.



Acho que tem de haver um controlo sobre a qualidade e boa fé dos revisores mas tal qual o sistema está isso deverá ser obrigação dos editores. Por outro lado deveria haver um mecanismo para tratar casos óbvios de abuso. Por exemplo, reter um artigo em revisão enquanto se publica o próprio artigo no mesmo assunto. Nesta situação acho que o editor tem a obrigação de expor o revisor.

Em parte concordo contigo mas uma solucao possivel seria formalizar a hipotese do 3 ou 4 referee ter explicitamente como funcao avaliar o trabalho dos outros referees. Parece-me que ia melhorar o sistema e evitar algumas situacoes mais injustas.

A minha opiniao é que quando há coisas tão simples como manter anónimo o nº e o nome de autores dos papers sujeitos a peer-review, andar o discutir o resto é hipocrisia.

BA

Desculpa Bruno, esta historia de manter o nome dos autores anonimo e' uma ideia algo ingenua. Quando eu sou referee gosto de saber de onde o artigo vem. Existem labs com excelentes reputacoes em termos da qualidade do seu trabalho passado e labs com pessimas reputacoes. Como tudo na vida o historial de um lab tambem conta...

Devo concluir, a contrario, que os nomes dos autores dos artigos são revelados aos referees?

MRS:

Sim! Os reviewers sabem quem são os autores do artigo.
Eu concordo com o Rui. Na pratica, aliás, é facílimo de perceber que grupo é que escreveu o artigo (pelo tema, pela abordagem, pelas referências, etc). Recordo-me que em tempos a FCT teve essa ideia peregrina de esconder dos avaliadores as equipes que submetiam os projectos... foi ridiculo (toda a gente soube bem de quem se tratava) e eles não repetiram a brincadeira.

Quanto à carta na Nature: É profundamente ingénuo pensar que os Editores precisam desse feedback para poderem "avaliar" os reviewers.
Editores lêem todos os reviews. Sabem bem do estilo e da profundidade de análise que esperam daqueles a quem mandam papers. Garanto-vos que não repetem um reviewer ao engano...

Não me convenço da bondade dessa solução (os autores estarem identificados) -- em que é que o historial de um laboratório deve influenciar a apreciação do revisor?

Atentos o comentário de Luís Teixeira e a opinião de Santiago, é difícil não concordar com a sugestão de Rui Martinho. Venho de uma instituição que sempre promoveu a avaliação dos docentes pelos discentes sem que dela retirasse as devidas consequências e onde a mesma era intrumento de vingança do corpo discente para com os docentes mais exigentes ou menos descontraídos.

"Quando eu sou referee gosto de saber de onde o artigo vem. Existem labs com excelentes reputacoes em termos da qualidade do seu trabalho passado e labs com pessimas reputacoes."

E precisamente por isso que nao o devias saber. A avaliacao de un paper deve ser SO desse paper e nao de tudo o que foi produzido anteriormente pelos autores. Conheceres o nome imediatamente poe-te um enviezamento (ainda que subconsciente) na tua avaliacao objectiva do trabalho. Tens razao quando dizes que uma vez lido, pelo trablho e pelas referencias e relativamente facil identificar os autores. Mas e mais provavel que o teu cerebro antes de chegar a essa identificacao tenha tido tempo de estabelecer uma ideia inicial do trabalho que tens em maos, com menos preconceitos. Quanto ao referee dos referees parece me agora a mim uma ideia ingenua. Estas a por nas maos de uma pessoa a sugestao/decisao de qual referee deve ser escutado, iff any. Ora isso tanto quanto percebo da coisa e o papel do editor. Ou seja, em abstracto a tua proposta ja e como funciona o sistema pq o editor e o referee de referees.

"E precisamente por isso que nao o devias saber. A avaliacao de un paper deve ser SO desse paper e nao de tudo o que foi produzido anteriormente pelos autores."

Discordo. Quando uma pessoa e' referee tem um acesso muito limitado aos resultados originais pelo que no fundo tem que assumir a honestidade de interpretacao dos resultados obtidos. O referee tem tambem que assumir que o autores nao ignoraram experiencias falhadas importantes. Ora tal honestidade nao se manifesta apenas no artigo submetido, regra geral manifesta-se tambem em boa parte dos artigos previamente publicados. O sistema nao e' perfeito e pode criar algumas injusticas pontuais, mas como um todo funciona muito bem.

Nesse caso eu como autor, tambem quero ter acesso aos papers do meu referee e as avaliacoes previas de papers que ele/ela reviu para assegurar me de que e um referee que tenha qualidade e que alem de ter qualidade, tem um historial que comprova que e adequado para referendar o paper. Tens de concordar que se tu como referee tens pouco acesso aos dados anteriores entao tu como autor tens ainda menos acesso as qualificacoes do referee. O que leva a outra alternativa para uma melhora incremental do sistema, que e em vez de deixar de identificar os autores, passar a identificar os referees (como alias ja se faz nalguns jornais que vao aparecendo).

Tal e' trabalho do editor da revista. Ele e' que escolheu o referee e ele e' que vai avaliar a qualidade da opiniao do referee. Quem recusa artigos e' o editor e nao referee.

Sou no entanto mais sensivel a este argumento que acabei de ouvir de um posdoc aqui do lab onde trabalho que concorda com o anonimato dos autores.

Ela diz que no fundo e' uma opcao de qual e' o mal menor. No sistema actual e' dificil fazer de uma maneira consistente pequenas "burlas", mas leva a que pessoas de laboratorios mais pequenos ou menos populares tenham mais dificuldades em publicar.

Num sistema em que os autores sao anonimos tal poderia facilitar as aldrabices, mas iria tambem facilitar a publicacao de boa ciencia vinda de laboratorios menos conhecidos.

Ela prefere a segunda opcao por ser um mal menor e por acreditar que a longo prazo os maus artigos sao eliminados do sistema.

Rui parece me que estas a entrar em contradicao. Entao se o trabalho do editor e avaliar o trablho de referee, pq e necessario un referee de referees? A verdade e que todas as solucoes tem defeitos e qualidades. E a verdade e que se os referees se identificassem se calhar inibiam se mais atitudes de este trabalho nao e meu de harvard ou yale ou donde seja e por isso e uma merda. Mas de qqr maneira estamos a comecar a argumentar em circulos e por mim ja chega que e fim de semana... inte

o referee dos referee's era algo que iria apenas funcionar como um sistema de controlo de qualidade a que os autores podiam apelar caso se sentissem "injustiçados". No entanto tal referee não iria eliminar a função do editor como juiz último de uma decisão.

Obviamente nenhum sistema e' perfeito, mas vale a pena assumir as vantagens e desvantagens de cada um deles. Depois cada pessoa pode escolher a opção que mais lhe agrada.