Para prevenir novas crises
Março de 2018 | Pesquisa FAPESP

Documento propõe mudanças em práticas de pesquisa a fim de reduzir a publicação de artigos cujos resultados ninguém consegue repetir

A Real Academia de Artes e Ciências da Holanda lançou um documento propondo mudanças em práticas de pesquisa a fim de enfrentar o que se convencionou chamar de “crise da reprodutibilidade” – uma sucessão de casos de artigos científicos que caíram em descrédito por seus resultados não terem sido confirmados em experimentos subsequentes. As recomendações do relatório divulgado em janeiro, intitulado Estudos de replicação – Melhorando a reprodutibilidade nas ciências empíricas, buscam aumentar o rigor com que o trabalho científico é realizado e apoiar pesquisadores interessados em verificar resultados obtidos por colegas. Uma das propostas apresentadas consiste em estimular o financiamento de estudos voltados para ratificar outros estudos, seguindo o exemplo da Organização Holandesa para Pesquisa Científica (NWO), que destinou no ano passado € 3 milhões a um programa-piloto para projetos dessa natureza. As sugestões também incluem reforçar o treinamento de cientistas e estudantes em tópicos como desenho de experimentos e análise estatística, e incentivar periódicos científicos a publicar pesquisas que não confirmaram as hipóteses testadas ou então chegaram a resultados nulos.

“O conhecimento só avança se os pesquisadores puderem confiar nos resultados de estudos feitos anteriormente”, escreveu, no prefácio do relatório, a presidente da Real Academia, José van Dijck, pesquisadora de mídia e cultura da Universidade de Utrecht. Na avaliação da entidade, produzir dados fidedignos é essencial para evitar o desperdício de recursos na pesquisa e garantir a confiança do público na ciência. “O relatório conclui que estudos para reproduzir outros estudos devem ser conduzidos de forma mais frequente e sistemática, o que exige um esforço conjunto de agências de fomento, pesquisadores, periódicos e instituições científicas”, afirmou Van Dijck.

O panorama da “crise da reprodutibilidade” apresentado no relatório mostra a relevância do problema. À procura de novos medicamentos contra o câncer, a empresa farmacêutica Amgen tentou confirmar os achados de 53 estudos pré-clínicos publicados que pareciam ter grande potencial. Apenas 11% dos resultados foram corroborados. A Bayer fez um esforço semelhante para tentar validar dados sobre alvos potenciais de novos remédios, obtidos por 67 projetos de pesquisa, e só teve sucesso em 25% dos casos. Uma colaboração internacional para investigar estudos de psicologia experimental, área que foi palco de escândalos envolvendo manipulações e fraudes, só conseguiu ratificar resultados obtidos em 36 dos 100 artigos avaliados. No final do ano passado, as Academias Nacionais de Ciências, Engenharias e Medicina dos Estados Unidos criaram um comitê de 15 membros para estudar estratégias que previnam a publicação de estudos não confirmáveis – as conclusões devem ser divulgadas em 2019.

Embora a crise se manifeste de modo aberto em medicina, ciências da vida e psicologia, o documento propõe que as demais áreas investiguem a extensão do problema em suas comunidades. “Quando observamos o conhecimento existente sobre causas da irreprodutibilidade, fica claro que muitas delas estão presentes em todas as disciplinas”, disse à revista Science Johan Mackenbach, pesquisador da área de saúde pública do Centro Médico Erasmus, em Roterdã, chefe do painel que organizou o relatório. Ele se refere a causas genéricas apontadas pelo documento, como a pressão para que pesquisadores publiquem novidades ou achados de impacto da forma mais rápida possível, caso contrário ficam em desvantagem na competição por financiamento e oportunidades de trabalho.

O relatório enumera 20 diferentes razões para uma pesquisa chegar a resultados não confirmáveis. A maioria está relacionada a questões metodológicas, como falhas no controle de vieses, conclusões baseadas em amostras restritas ou falta de rigor estatístico na interpretação de dados. Na origem do problema, também há vícios na forma de reportar resultados, como selecionar dados favoráveis à hipótese da pesquisa, omitindo os
negativos, ou modificar a proposta original de modo a adaptá-la às conclusões obtidas.

Fraudes são o jeito mais extremo de gerar resultados inválidos, mas também existem ameaças à reprodutibilidade que são parte natural da atividade científica, como falhas humanas, erros técnicos inesperados ou mudanças não detectadas nas condições de amostras. Nem todos os estudos não ratificados estão equivocados. Há situações em que não é possível alcançar o resultado obtido porque o autor da pesquisa deixou de informar detalhes do experimento essenciais para sua replicação. Para evitar essas situações, diz o relatório, periódicos e agências de fomento devem exigir que pesquisadores disponibilizem em repositórios públicos seus dados brutos de pesquisa e informações sobre as metodologias que adotaram.

Há propostas de caráter prático para prevenir desvios, como determinar que o pesquisador, ao propor seu projeto, registre antecipadamente e de forma transparente sua hipótese, o protocolo de pesquisa e o plano de análise a serem adotados. Esse tipo de precaução já é exigido por agências de fomento, mas vem sendo aprimorado. Em uma iniciativa articulada pela Royal Society, do Reino Unido, varios periódicos já publicam sistematicamente os chamados relatórios registrados, um tipo de paper que apresenta os métodos e planos de análise de uma pesquisa ainda não iniciada, mas que foram avaliados por pares. Mais tarde,
as revistas publicam os resultados obtidos, mesmo que sejam nulos.

O relatório é explícito sobre a importância de divulgar estudos com resultados nulos. Propõe que agências de fomento incentivem os pesquisadores a reportar tais conclusões e as revistas a publicá-las. “Instituições de pesquisa, agências de fomento e periódicos devem oferecer aos pesquisadores incentivos para a condução de estudos rigorosos e a produção de resultados de pesquisa reproduzíveis, em vez de recompensá-los principalmente por publicações de ‘alto impacto’, estudos ‘inovadores’ e afirmações infladas”, afirma o documento.

Fonte: Pesquisa FAPESP

Kid co-authors in South Korea spur government probe
Fevereiro de 2018 | nature

See the full article here.

Radiografia das retratações no mundo
Fevereiro de 2018 | Pesquisa FAPESP

008 boas-praticas 264 info01-300x166Lançado em 2010 pelos jornalistas norte-americanos especializados em ciência Adam Marcus e Ivan Oransky, o site Retraction Watch tornou-se uma fonte de informação sobre a ocorrência de casos de má conduta científica no mundo. Sua especialidade são as retratações de artigos científicos, ou seja, o cancelamento de papers após a publicação devido à descoberta de fraudes ou erros. A novidade é que o acervo de informações do site começa a abastecer estudos sobre a correção da literatura científica. Um artigo publicado em janeiro na revista Scientometrics analisou 1.623 retratações divulgadas entre 2013 e 2015 com base em parâmetros como país de origem, área do conhecimento e causa da retratação. O trabalho foi coordenado por Sonia Vasconcelos, pesquisadora da Universidade Federal do Rio de Janeiro (UFRJ), em coautoria com sua aluna de mestrado Mariana Ribeiro no Programa de Educação, Gestão e Difusão em Biociências do Instituto de Bioquímica Médica Leopoldo de Meis.

Observou-se que as retratações divulgadas no site estavam distribuídas por 71 países, mas a análise teve como foco as 15 nações responsáveis pela maior parte (85%) dos casos (ver quadro). Em comum, são países bastante produtivos em termos de publicações científicas. O Brasil não figura nessa lista, apesar de em 2015 ter ficado em 13º lugar no ranking das nações com maior número de artigos indexados na base de dados SCImago Journal & Country Rank. Segundo Sonia Vasconcelos, a ausência do país provavelmente se deve ao fato de a quantidade de artigos brasileiros no PubMed, banco de dados com a literatura da área biomédica, ser mais baixa que a de outros países.

A pesquisa mostra que as ciências biomédicas, médicas e clínicas responderam por mais de 60% do total de retratações entre 2013 e 2015. As chamadas ciências duras, como a física, representaram 17% das retratações; áreas multidisciplinares, 12%, e ciências humanas e sociais, 8%. Sonia chama a atenção para o fato de que o Retraction Watch tende a publicar mais notícias sobre casos nas ciências biomédicas pela maior familiaridade dos criadores do site com essas áreas. “Também não podemos ignorar que, historicamente, as áreas biomédicas vêm sendo as mais ativas no âmbito das ações em integridade científica e ética em pesquisa”, diz. As ciências humanas e sociais tiveram uma quantidade de retratações (118) menor que a de outros campos. Mas 58% delas se referiram a casos de má conduta científica, uma proporção superior à observada nas demais disciplinas. Segundo Sonia Vasconcelos, isso pode ser parcialmente explicado pela existência de pesquisadores de ciências humanas e sociais reincidentes, cada um deles com vários artigos retratados por deslizes éticos.

Cada paper retratado discutido no Retraction Watch foi creditado a apenas um país, aquele a que pertence o autor correspondente, em geral responsável pelo conjunto dos resultados. Juntos, Estados Unidos e China representaram cerca de 41% do total de retratações, com 376 e 283 artigos cancelados, respectivamente. Os Estados Unidos também tiveram o maior número de retratações por má conduta (225), seguidos por Japão (75) e Índia (61). Um caso peculiar foi observado no Japão: apenas dois autores, o endocrinologista Shigeaki Kato, ex-pesquisador da Universidade de Tóquio, e o cirurgião Yoshitaka Fujii, da Universidade de Toho, foram responsáveis por 28 e 20 retratações, respectivamente – isso representa 48% de todos os casos japoneses no período analisado.

008 boas-praticas 264 info02-300x225Sonia observa que o Retraction Watch exibe apenas uma fração das retratações, aquelas relacionadas a periódicos de maior prestígio, indexados em bancos de dados internacionais. Para ampliar seu alcance, o site criou no ano passado um banco de dados abrangente, com uma cobertura mais ampla que a oferecida pelo acervo de notícias. “Essa base ajudará a ampliar a compreensão sobre o cenário de correção da literatura científica e permitirá um aprofundamento das considerações que fizemos no artigo publicado em janeiro”, afirma Sonia. Em nota publicada em agosto de 2017, a equipe do Retraction Watch informou que o banco de dados já havia catalogado aproximadamente 8 mil retratações. Estima-se que esse número chegue a 15 mil nos próximos meses.

Práticas questionáveis
No estudo publicado na Scientometrics, as autoras identificaram que 47% das retratações foram causadas por formas mais graves de má conduta científica, como fraudes e manipulação de dados. Já erros em que não há indícios de má-fé dos autores foram responsáveis por 11% dos cancelamentos. Também houve registro de práticas questionáveis que nem sempre caracterizam má conduta. “Mas algumas delas colocam em risco a confiabilidade do artigo, como, por exemplo, distorções na atribuição de autoria e conflitos de interesse não declarados”, explica Mariana Ribeiro.

As autoras alertam que os resultados podem ter vieses. “A predominância de casos de má conduta pode significar que o Retraction Watch discute muito mais episódios motivados por falhas graves ou intencionais, porque isso atrai maior atenção dos leitores”, explica Sonia. Mesmo assim, diz ela, o estudo reflete um cenário já indicado em trabalhos anteriores. Outro estudo, publicado na Scientometrics em 2013, mostrou que a porcentagem de todas as retratações envolvendo alegações de má conduta cresceu de 55%, do total em 2007, para 71%, em 2010.

Embora o Brasil não tenha sido contemplado na análise, em um estudo publicado em 2016 na revista Science and Engineering Ethics, Sonia e outros autores mostraram que houve crescimento no número de casos de má conduta científica detectados envolvendo autores brasileiros nos últimos anos (ver Pesquisa FAPESP nº 240). O trabalho analisou mais de 2 mil papers indexados na biblioteca virtual brasileira SciELO e na base de dados latino-americana de informações em ciências da saúde (Lilacs) entre 2009 e 2014. Ele indicou que as retratações estão em ascensão nas duas bases de dados: entre 2004 e 2009, foram identificadas de uma a duas retratações por ano; já entre 2011 e 2012, a média subiu para sete. O plágio foi a principal razão para as retratações dos artigos brasileiros, sendo responsável por 46% do total.

Fonte:  Pesquisa FAPESP

Renúncia no conselho editorial
Janeiro de 2018 | Pesquisa FAPESP

Dezenove pesquisadores, na maioria ligados à Universidade Johns Hopkins, nos Estados Unidos, abandonaram em novembro o conselho editorial da revista Scientific Reports, publicada pelo grupo Springer Nature. A renúncia foi um protesto contra a decisão da revista de não retratar um artigo que descreve um método de identificação de sequências reguladoras de DNA sobre o qual pesa uma acusação de plágio. Segundo o biomédico Michael Beer, da Johns Hopkins, o trabalho reproduz de forma disfarçada trechos de um artigo de sua autoria publicado em 2014 na PLOS Computational Biology e apresenta equações idênticas às que ele desenvolveu para o algoritmo de um software. Em vez de retratar o artigo, a revista optou por republicá-lo, dando mais crédito ao trabalho de Beer. Um dos autores do paper acusado é Liu Bin, do Instituto de Tecnologia Harbin, em Shenzhen, China, que também faz parte do conselho editorial da Scientific Reports.

De acordo com Richard White, editor da publicação, “as imprecisões e ambiguidades do artigo não justificam sua retratação”. Steven Salzberg, pesquisador da Universidade Johns Hopkins que conclamou seus colegas a renunciar, diz que ficou muito desapontado com a postura do periódico. “Quando um estudante comete plágio, não lhe damos a chance de revisar e republicar seu trabalho. Ele é alvo de sanções disciplinares fortes, que podem chegar à expulsão. A Scientific Reports está dando um exemplo muito ruim.”

Fonte:  Pesquisa FAPESP

A marca do escândalo na carreira
Janeiro de 2018 | Pesquisa FAPESP

Um grupo de pesquisadores do Massachusetts Institute of Technology (MIT) e da Universidade Harvard, nos Estados Unidos, mensurou o prejuízo que a retratação de um artigo científico causa à reputação de seus autores. De acordo com um trabalho publicado na revista Research Policy, um ano depois da retratação há um decréscimo médio de 10% na taxa esperada de citações dos outros papers publicados pelos mesmos autores. Se for evidente que o artigo foi cancelado não por erro, mas por má conduta, a queda na taxa de citações pode chegar a 20%, especialmente na produção científica de pesquisadores de renome e alta produtividade.

“A pergunta que fizemos foi: será que as retratações desencadeiam no âmbito individual algum tipo de mecanismo de infecção por meio do qual o autor é punido ou desacreditado por ter sido desonesto ou incompetente?”, disse ao site do MIT o economista Alessandro Bonatti, professor da MIT Sloan School of Management, que escreveu o trabalho juntamente com Pierre Azoulay, também do MIT, e Joshua Krieger, da Harvard Business School. “Constatamos que esse mecanismo de fato existe e se manifesta por meio das citações”, conclui Bonatti. Segundo ele, a comunidade científica aparentemente reavalia o conceito dos pesquisadores após um episódio de retratação, fazendo menos menções a seus trabalhos em novos artigos.

Para chegar a essa conclusão, a equipe do MIT e de Harvard analisou a produção científica de 376 pesquisadores norte-americanos do campo das ciências da vida que publicaram trabalhos, mais tarde retratados, entre os anos de 1977 e 2007. O desempenho deles, em termos de citações, foi comparado com o de um grupo de controle formado por 759 pesquisadores que não sofreram retratação e haviam publicado trabalhos nas mesmas edições dos periódicos em que ocorreram as retratações do primeiro grupo. É certo que artigos científicos têm um declínio natural no número de citações à medida que o tempo passa. O estudo mostrou, contudo, que os artigos ainda válidos dos pesquisadores tiveram um decréscimo adicional de 10% nas citações após o episódio da retratação, que não se relaciona com o processo de obsolescência dos artigos. O trabalho publicado na Research Policy utilizou a mesma base de dados de uma pesquisa de 2014 do mesmo grupo, segundo o qual escândalos causados por retratações têm impacto negativo em artigos sobre temas correlatos, ainda que assinados por outros autores (ver Pesquisa FAPESP nº 202).

Fonte: Pesquisa Fapesp