Transparência sobre artigos retratados
Abril de 2017 | Pesquisa FAPESP

O Journal of Process Management – New Technologies International, periódico de acesso aberto sediado na Sérvia, disponibilizou em sua página na internet uma lista com os seus artigos que foram alvo de retratação, ou seja, que tiveram a publicação cancelada por conter erros ou irregularidades. De acordo com o blog Retraction Watch, que divulga casos de má conduta em vários países, a decisão de criar um espaço exclusivo para reunir suas retratações é inédita e busca coibir novos abusos. A revista existe desde 2013 e não está indexada no banco de dados Web of Science (WoS).

Até o final de março, a lista continha cinco artigos, todos retratados em 2016, juntamente com as notificações de retratação e os links remetendo ao paper original. Os casos são de plágio. Questionado pelo Retraction Watch sobre as razões de listar artigos retratados, Predrag Trajković, editor-chefe do periódico, disse que a lista é uma tentativa de dissuadir os autores de cometer plágio. “Uma lista é algo que os pesquisadores podem facilmente acessar e visualizar. Eles não vão submeter artigos com plágio sabendo que tais trabalhos poderão ser expostos no site”, disse Trajković.

Fonte: Pesquisa FAPESP

“Dra. Fraude” se candidata para vaga de editora
Abril de 2017 | Pesquisa FAPESP

008 boas-práticas 254-1-300x160Representantes de conselhos editoriais de 360 revistas científicas de acesso aberto receberam em 2015 um e-mail de uma certa Anna Olga Szust, jovem professora do Instituto de Filosofia da Universidade Adam Mickiewicz, na Polônia. Na mensagem, ela se dispunha a atuar como editora das publicações, embora oferecesse escassas credenciais acadêmicas: no currículo, havia apenas alguns trabalhos apresentados em conferências e um capítulo de livro, cujo título sugeria que jovens mulheres nascidas na primavera seriam mais atraentes fisicamente do que as outras. Em pouco tempo, vieram respostas. Anna foi aceita como editora por 48 periódicos e quatro chegaram a convidá-la para assumir o posto de editora-chefe “sem responsabilidades”, como escreveu um dos interlocutores. Houve também uma oferta para ela ajudar a criar uma nova revista.

A facilidade com que a inexperiente e desconhecida professora foi atendida já seria grave. O caso, porém, revela algo muito pior: Anna Olga Szust não existe. A inicial do nome do meio e o sobrenome, juntos, formam a palavra polonesa oszust, que pode ser traduzida como fraudador ou trapaceiro. A personagem foi criada por pesquisadores de universidades da Polônia, da Alemanha e do Reino Unido, que a apelidaram de “Dra. Fraude”, numa investigação sobre o modo de operar das chamadas revistas predatórias, como são conhecidas as publicações que divulgam papers sem submetê-los a uma genuína revisão por pares – basta pagar para ver o artigo publicado.

“Anna foi criada justamente para ser uma péssima opção como editora”, disse à revista The New Yorker Katarzyna Pisanski, professora da Escola de Psicologia da Universidade de Sussex, no Reino Unido, uma das organizadoras do teste, coordenado por Piotr Sorokowski, pesquisador da Universidade de Wroclaw, na Polônia. O grupo publicou um artigo em março na Nature narrando a experiência – sem, contudo, revelar o nome das revistas. A frequência com que pesquisadores recebem convites por e-mail para integrarem o corpo editorial até mesmo de periódicos fora de sua área de especialização motivou o grupo a investigar o que havia de errado na forma de recrutamento. Os e-mails assinados pela “Dra. Fraude” foram enviados a 360 periódicos escolhidos aleatoriamente, parte deles indexados no Journal of Citation Reports (JCR), ligado ao Web of Knowledge, e parte no Diretório de Revistas de Acesso Aberto (Doaj, em inglês). Também serviu como base uma lista de revistas de acesso aberto suspeitas compilada por pesquisadores da Universidade do Colorado, nos Estados Unidos.

Nenhuma revista indexada no JCR respondeu ao e-mail. O estudo mostra que, dos periódicos que responderam à mensagem, poucos questionaram Anna O. Szust sobre sua experiência. E nenhum fez qualquer tentativa de entrar em contato com a instituição com a qual a falsa pesquisadora manteria vínculo. O currículo da“Dra. Fraude” foi cuidadosamente construído pelos autores do estudo. O e-mail continha seus interesses acadêmicos, dentre os quais história da ciência e ciências cognitivas, endereço eletrônico, uma fotografia e link para sua página hospedada no site da Universidade Adam Mickiewicz. Também foram criadas contas em redes sociais, como o Google+, o Twitter e o Academia.edu. Pelo menos uma dúzia de revistas condicionaram a indicação de Anna como editora a alguma forma de pagamento ou doação. Em alguns casos, foi exigido pagamento de uma taxa. Um periódico chegou a cobrar US$ 750, depois reduziu o valor para “apenas US$ 650”.

Outros periódicos pediram à personagem que organizasse uma conferência e informaram que os trabalhos submetidos ao evento seriam publicados desde que os autores pagassem uma taxa. Um editor chegou a sugerir a partilha dos lucros: 60% para a revista e 40% para Anna. De acordo com a pesquisa, das oito revistas do Doaj que aceitaram Anna como editora, seis permanecem no diretório.

Publicar em uma revista de acesso aberto de prestígio não custa barato. Revistas da Public Library of Science (PLOS), por exemplo, podem cobrar de US$ 1.495 a US$ 2.900 para publicar um artigo. “Já as revistas predatórias cobram muito menos, entre US$ 100 e US$ 400”, disse em entrevista a The New York Times Jeffrey Beall, bibliotecário da Universidade do Colorado, criador de uma lista de publicações predatórias utilizadas no estudo. Na avaliação de Beall, a responsabilidade não deve recair apenas sobre os editores predatórios, pois a maioria dos pesquisadores que paga para publicar em revistas de baixo nível sabe exatamente o que está fazendo. “Acredito que há inúmeros pesquisadores que conseguiram emprego ou promoções valendo-se de artigos que publicam nesse tipo de revista, atribuindo essa produção científica como parte de suas credenciais acadêmicas”, criticou.

David Crotty, diretor da editora Oxford University Press, concorda que as revistas predatórias se tornaram mais presentes porque satisfazem uma necessidade de mercado. “Os editores predatórios de fato agem de maneira desonesta e enganosa, mas, ao mesmo tempo, atendem ao desejo de alguns autores de enganar os responsáveis pela avaliação de seu desempenho”, escreveu Crotty em artigo publicado em fevereiro no portal The Scholarly Kitchen. Enquanto os periódicos considerados legítimos, que se baseiam na revisão por pares, costumam demorar meses ou até mais de um ano para analisar e aceitar ou rejeitar um artigo para publicação, as revistas predatórias reduzem esse tempo a poucas semanas, ao adotarem um sistema de seleção frouxo ou inexistente.

Algumas instituições começam a propor ações para coibir o avanço das revistas predatórias. A Associação Mundial de Editores Médicos (Wame) divulgou no dia 18 de fevereiro um alerta no qual afirma que instituições científicas e centros de pesquisa precisam começar a monitorar pesquisadores que atuem como editores ou membros de conselhos editoriais de publicações suspeitas. Como medida punitiva, sugere às instituições o afastamento deles.

Um estudo recentemente publicado na revista BMC Medicine também destacou a necessidade de organizações científicas e de ensino serem mais rígidas com pesquisadores que corroboram as práticas das publicações predatórias. No estudo, os autores, entre eles Virginia Barbour, presidente do Committee on Publication Ethics (Cope), chama a atenção para os perigos da ação dessas revistas na área médica. “Quando não submetida ao escrutínio rigoroso da revisão por pares, a pesquisa clínica de baixa qualidade pode ter seus resultados incluídos, por exemplo, em um trabalho de revisão, poluindo o registro científico. Em biomedicina, isso pode resultar em danos aos pacientes”, conclui o estudo.

Fonte: Pesquisa FAPESP

Stop binning negative results, researchers told

waste paper binA new Europe-wide code of research conduct has ordered academics and journals to treat negative experimental results as being equally worthy of publication as positive ones.

There have been long-standing concerns that, when scientists fail to find evidence for an effect they expected or wanted, publishing the results is seen as uninteresting or more difficult, particularly in journals seen as prestigious.

By binning experimental results because they are negative, researchers fail to alert their colleagues to false leads, wasting lab time, and experiments that challenge well-known positive results go unpublished, critics have argued.

The new European Code of Conduct for Research Integrity frames the bias against negative results as an issue of research conduct, stipulating that “authors and publishers [must] consider negative results to be as valid as positive findings for publication and dissemination”.

It has been drawn up by All European Academies (Allea), a network of academic organisations including the British Academy, Germany's Leopoldina and the French Académie des Sciences.

The new code will apply to researchers using grants from the European Union’s Horizon 2020 programme, but it is hoped that it can also be adopted as a model by other organisations.

It maintains many of the stipulations made by a previous version, created in 2011, although it has been slimmed down. But this earlier code does not mention the issue of negative results.

The new code also puts more emphasis on research organisations themselves to prevent and detect misconduct; for example, universities should reward “open and reproducible practices” when it comes to hiring and promoting researchers, it says.

From: The World University Rankings

Antídotos contra notícias falsas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-3

Um dos temas que movimentaram a reunião anual da Associação Americana para o Avanço da Ciência, realizada em Boston em fevereiro, foi a proliferação de notícias falsas na internet. Uma palestra de Kevin Elliott, professor de ética da Universidade do Estado de Michigan, mostrou que o fenômeno, que ganhou destaque no mundo político dos Estados Unidos desde a última campanha eleitoral, é um antigo conhecido da ciência. Elliott mencionou os estudos enviesados patrocinados durante décadas pela indústria do tabaco para mascarar os efeitos deletérios do cigarro para a saúde, além de casos recentes, como a manipulação de testes de emissão de poluentes promovida pela Volkswagen, descoberta em 2015.

Um bom antídoto contra as notícias científicas falsas, segundo o pesquisador, é manter algum ceticismo quando o responsável pela pesquisa tem algum interesse direto no resultado favorável. O mais seguro, quando se deseja saber o que a ciência tem a dizer sobre um problema específico, é consultar os relatórios temáticos que sociedades científicas respeitadas costumam produzir. “Assim, evitam-se interpretações excêntricas”, afirmou Elliott.

Já a apresentação de Dominique Brossard, profressora da Universidade de Wisconsin-Madison, propôs que, na divulgação de fatos científicos, é tênue a linha que separa a fraude pura e simples e os efeitos do jornalismo de má qualidade. A falsa informação, disse, é disseminada com o intuito de enganar e influenciar pessoas. Ela citou um estudo que realizou com um aluno da Universidade Yale sobre as notícias bizarras publicadas num tabloide sensacionalista distribuído em supermercados nos Estados Unidos, como recém-nascidos com 15 quilos de peso, ataques
de alienígenas e insetos gigantes. Segundo o estudo, a maioria das informações é inventada, mas uma parte é composta por histórias reais inusitadas, sem que o leitor possa separar uma coisa da outra.

Já o jornalismo científico de má qualidade produz situações nebulosas. Dominique citou um estudo que ganhou repercussão nas redes sociais, segundo o qual a cafeína preveniria o câncer, mas que se baseava num ensaio com apenas 10 indivíduos. “Os jornalistas não são treinados para aferir a validade de um estudo. Eles tentam enfatizar o lado humano da notícia em manchetes como: ‘Novos estudos trazem esperança para familiares de vítimas do mal de Alzheimer’”, comentou, de acordo com o serviço de notícias EurekAlert. Como isso gera expectativas, espalha-se nas redes sociais.

Dominique sugeriu três estratégias para enfrentar o problema. A primeira é uma convocação para que cientistas se disponham a explicar melhor o que estão fazendo e a ajudar jornalistas a avaliar os achados científicos. A segunda é envolver instituições científicas no monitoramento nas redes sociais de notícias falsas envolvendo suas pesquisas, divulgando esclarecimentos sempre que necessário. A terceira é convencer as ferramentas de busca na internet a retirar de seus registros referências a trabalhos científicos que sofreram retratação.

Fonte: Pesquisa FAPESP

Antídotos contra notícias falsas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-3

Um dos temas que movimentaram a reunião anual da Associação Americana para o Avanço da Ciência, realizada em Boston em fevereiro, foi a proliferação de notícias falsas na internet. Uma palestra de Kevin Elliott, professor de ética da Universidade do Estado de Michigan, mostrou que o fenômeno, que ganhou destaque no mundo político dos Estados Unidos desde a última campanha eleitoral, é um antigo conhecido da ciência. Elliott mencionou os estudos enviesados patrocinados durante décadas pela indústria do tabaco para mascarar os efeitos deletérios do cigarro para a saúde, além de casos recentes, como a manipulação de testes de emissão de poluentes promovida pela Volkswagen, descoberta em 2015.

Um bom antídoto contra as notícias científicas falsas, segundo o pesquisador, é manter algum ceticismo quando o responsável pela pesquisa tem algum interesse direto no resultado favorável. O mais seguro, quando se deseja saber o que a ciência tem a dizer sobre um problema específico, é consultar os relatórios temáticos que sociedades científicas respeitadas costumam produzir. “Assim, evitam-se interpretações excêntricas”, afirmou Elliott.

Já a apresentação de Dominique Brossard, profressora da Universidade de Wisconsin-Madison, propôs que, na divulgação de fatos científicos, é tênue a linha que separa a fraude pura e simples e os efeitos do jornalismo de má qualidade. A falsa informação, disse, é disseminada com o intuito de enganar e influenciar pessoas. Ela citou um estudo que realizou com um aluno da Universidade Yale sobre as notícias bizarras publicadas num tabloide sensacionalista distribuído em supermercados nos Estados Unidos, como recém-nascidos com 15 quilos de peso, ataques
de alienígenas e insetos gigantes. Segundo o estudo, a maioria das informações é inventada, mas uma parte é composta por histórias reais inusitadas, sem que o leitor possa separar uma coisa da outra.

Já o jornalismo científico de má qualidade produz situações nebulosas. Dominique citou um estudo que ganhou repercussão nas redes sociais, segundo o qual a cafeína preveniria o câncer, mas que se baseava num ensaio com apenas 10 indivíduos. “Os jornalistas não são treinados para aferir a validade de um estudo. Eles tentam enfatizar o lado humano da notícia em manchetes como: ‘Novos estudos trazem esperança para familiares de vítimas do mal de Alzheimer’”, comentou, de acordo com o serviço de notícias EurekAlert. Como isso gera expectativas, espalha-se nas redes sociais.

Dominique sugeriu três estratégias para enfrentar o problema. A primeira é uma convocação para que cientistas se disponham a explicar melhor o que estão fazendo e a ajudar jornalistas a avaliar os achados científicos. A segunda é envolver instituições científicas no monitoramento nas redes sociais de notícias falsas envolvendo suas pesquisas, divulgando esclarecimentos sempre que necessário. A terceira é convencer as ferramentas de busca na internet a retirar de seus registros referências a trabalhos científicos que sofreram retratação.

Fonte: Pesquisa FAPESP

Dúvidas estatísticas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-1

Em agosto de 2016, um conjunto de cerca de 50 mil artigos científicos do campo da psicologia passou pelo escrutínio de um software capaz de detectar inconsistências estatísticas, desenvolvido por pesquisadores da Universidade de Tilburg, na Holanda. Batizado de statcheck, o programa refaz cálculos e observa se os resultados são robustos e correspondem ao que está publicado no manuscrito. Em metade dos papers foi detectado algum tipo de problema, desde erros de digitação e simples arredondamentos até resultados equivocados com potencial para comprometer conclusões de estudos. Os achados dessa gigantesca verificação foram comunicados de forma automática por e-mail aos autores de cada artigo e divulgados no PubPeer, plataforma on-line na qual qualquer usuário pode escrever comentários sobre papers já publicados e apontar eventuais falhas, num tipo de avaliação por pares realizado depois da divulgação do artigo.

O caráter da auditoria é inédito, tanto por ter sido feita por computador quanto pelo volume de dados conferido – praticamente todos os pesquisadores em psicologia que publicaram papers nos últimos 20 anos passaram pelo crivo do statcheck. A divulgação dos resultados provocou ondas de choque. A Sociedade de Psicologia da Alemanha publicou uma declaração, no dia 20 de outubro, reclamando da forma como a comunicação dos resultados foi feita. Segundo o texto, muito pesquisadores ficaram incomodados com a exposição sem que tivessem tido chance de se defender. “Vários colegas estão profundamente preocupados com o fato de que, obviamente, é muito difícil remover um comentário no PubPeer após um erro ‘detectado’ pelo statcheck revelar-se um falso positivo”, consta no texto divulgado.

Num tom mais elevado, Susan Fiske, professora da Universidade de Princeton e ex-presidente da norte-americana Associação de Ciências Psicológicas, classificou como “uma nova forma de assédio” o trabalho de “polícia” que investiga dados de pesquisa de forma voluntarista. “Me senti um pouco assustado e exposto”, disse ao jornal britânico The Guardian o psicólogo alemão Mathias Kauff, que recebeu um e-mail do statcheck avisando que havia inconsistências num artigo que escreveu em 2013 sobre multiculturalismo e preconceito, publicado no Personality and Social Psychology Bulletin. Ele afirma que os erros eram fruto de arredondamentos que não comprometiam as conclusões.

Muitos artigos na área de psicologia utilizam testes estatísticos padronizados, cujos resultados precisam ser averiguados. O statcheck identifica e inspeciona os testes que calculam os valores de p, uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados. Um valor de p menor ou igual a 0,05 é utilizado frequentemente como um indicador de significância estatística, pois sugere que os resultados são robustos.

Há, de fato, evidências de que o software ainda não está maduro e alardeia problemas que não chegam a ser erros estatísticos. Em artigo depositado no repositório ArXiv, Thomas Schmidt, professor de psicologia experimental da Universidade de Kaiserslautern, na Alemanha, criticou a qualidade da análise que o statcheck fez em dois artigos de sua autoria. Segundo ele, o software encontrou 35 resultados estatísticos potencialmente incorretos, mas apenas cinco continham incongruências que, de acordo com o autor, não comprometiam os resultados finais.

A metodologia utilizada pelo software já era conhecida desde 2015, quando um artigo sobre o assunto foi publicado no site da revista Behavior Research Methods, assinado pela estudante de doutorado Michèle Nuijten e colegas do Centro de Metapesquisa da Escola de Ciências Sociais e do Comportamento da Universidade de Tilburg. No paper, o grupo mostrou que metade dos 16.695 artigos analisados pelo software apresentou algum tipo de inconsistência em suas análises estatísticas e 12% deles traziam conclusões comprometidas por erros. “O statcheck pode ser uma ferramenta de apoio à revisão por pares. A revista Psychological Science, por exemplo, já adotou o software para procurar inconsistências estatísticas nos manuscritos que recebe”, disse Michèle à Pesquisa FAPESP.

A iniciativa de analisar os 50 mil artigos e tornar públicos os resultados no PubPeer foi do estudante de doutorado Chris Hartgerink, de 25 anos. Segundo ele, a intenção foi gerar benefícios imediatos para o campo da psicologia, que não seriam alcançados se apenas resultados gerais fossem divulgados. O fato de também detectar falsos positivos e erros sem importância, disse o pesquisador, não compromete esse objetivo. Hartgerink e o professor Marcel van Assen tentam agora desenvolver outro tipo de software, capaz de detectar se um artigo científico contém dados fabricados. Para testar a eficiência do método, a dupla pediu a colegas para enviar versões de seus papers com dados deliberadamente alterados, que estão sendo avaliados.

Entre os pesquisadores de psicologia, há também quem considere o statcheck uma ferramenta útil para melhorar a qualidade das publicações científicas. Simine Vazire, pesquisadora do Departamento de Psicologia da Universidade da Califórnia em Davis, prevê que os autores de artigos nessa área serão ainda mais cuidadosos com suas análises estatísticas agora que sabem da existência de um programa capaz de identificar descuidos, erros e fraudes.

A Universidade de Tilburg, onde o programa foi desenvolvido, foi o cenário de um escândalo de má conduta científica. Em setembro de 2011, a instituição demitiu um de seus mais produtivos pesquisadores, o professor de psicologia social Diederik Stapel, acusado de fraudar mais de 30 artigos científicos ao longo de oito anos – uma investigação provou que ele fabricava dados, enganava coautores e até mesmo intimidava quem desconfiasse dele (ver Pesquisa FAPESP nº 190).

Chris Hartgerink foi aluno de graduação de Stapel e tinha o professor como uma espécie de mentor – fora inclusive seu assistente de pesquisa. Ficou, na época, desorientado. “Era uma figura inspiradora e foi o responsável pelo meu entusiasmo em fazer pesquisa”, disse ao jornal The Guardian. A experiência amarga do escândalo levou parte do grupo de pesquisadores que investigou suas fraudes a montar o Centro de Metapesquisa, interessado no estudo de má conduta científica. Hartgerink uniu-se ao grupo em 2013, em seu projeto de doutorado sobre métodos para detectar a fabricação de dados de pesquisa.

Fonte: Pesquisa FAPESP