Stop binning negative results, researchers told

waste paper binA new Europe-wide code of research conduct has ordered academics and journals to treat negative experimental results as being equally worthy of publication as positive ones.

There have been long-standing concerns that, when scientists fail to find evidence for an effect they expected or wanted, publishing the results is seen as uninteresting or more difficult, particularly in journals seen as prestigious.

By binning experimental results because they are negative, researchers fail to alert their colleagues to false leads, wasting lab time, and experiments that challenge well-known positive results go unpublished, critics have argued.

The new European Code of Conduct for Research Integrity frames the bias against negative results as an issue of research conduct, stipulating that “authors and publishers [must] consider negative results to be as valid as positive findings for publication and dissemination”.

It has been drawn up by All European Academies (Allea), a network of academic organisations including the British Academy, Germany's Leopoldina and the French Académie des Sciences.

The new code will apply to researchers using grants from the European Union’s Horizon 2020 programme, but it is hoped that it can also be adopted as a model by other organisations.

It maintains many of the stipulations made by a previous version, created in 2011, although it has been slimmed down. But this earlier code does not mention the issue of negative results.

The new code also puts more emphasis on research organisations themselves to prevent and detect misconduct; for example, universities should reward “open and reproducible practices” when it comes to hiring and promoting researchers, it says.

From: The World University Rankings

Antídotos contra notícias falsas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-3

Um dos temas que movimentaram a reunião anual da Associação Americana para o Avanço da Ciência, realizada em Boston em fevereiro, foi a proliferação de notícias falsas na internet. Uma palestra de Kevin Elliott, professor de ética da Universidade do Estado de Michigan, mostrou que o fenômeno, que ganhou destaque no mundo político dos Estados Unidos desde a última campanha eleitoral, é um antigo conhecido da ciência. Elliott mencionou os estudos enviesados patrocinados durante décadas pela indústria do tabaco para mascarar os efeitos deletérios do cigarro para a saúde, além de casos recentes, como a manipulação de testes de emissão de poluentes promovida pela Volkswagen, descoberta em 2015.

Um bom antídoto contra as notícias científicas falsas, segundo o pesquisador, é manter algum ceticismo quando o responsável pela pesquisa tem algum interesse direto no resultado favorável. O mais seguro, quando se deseja saber o que a ciência tem a dizer sobre um problema específico, é consultar os relatórios temáticos que sociedades científicas respeitadas costumam produzir. “Assim, evitam-se interpretações excêntricas”, afirmou Elliott.

Já a apresentação de Dominique Brossard, profressora da Universidade de Wisconsin-Madison, propôs que, na divulgação de fatos científicos, é tênue a linha que separa a fraude pura e simples e os efeitos do jornalismo de má qualidade. A falsa informação, disse, é disseminada com o intuito de enganar e influenciar pessoas. Ela citou um estudo que realizou com um aluno da Universidade Yale sobre as notícias bizarras publicadas num tabloide sensacionalista distribuído em supermercados nos Estados Unidos, como recém-nascidos com 15 quilos de peso, ataques
de alienígenas e insetos gigantes. Segundo o estudo, a maioria das informações é inventada, mas uma parte é composta por histórias reais inusitadas, sem que o leitor possa separar uma coisa da outra.

Já o jornalismo científico de má qualidade produz situações nebulosas. Dominique citou um estudo que ganhou repercussão nas redes sociais, segundo o qual a cafeína preveniria o câncer, mas que se baseava num ensaio com apenas 10 indivíduos. “Os jornalistas não são treinados para aferir a validade de um estudo. Eles tentam enfatizar o lado humano da notícia em manchetes como: ‘Novos estudos trazem esperança para familiares de vítimas do mal de Alzheimer’”, comentou, de acordo com o serviço de notícias EurekAlert. Como isso gera expectativas, espalha-se nas redes sociais.

Dominique sugeriu três estratégias para enfrentar o problema. A primeira é uma convocação para que cientistas se disponham a explicar melhor o que estão fazendo e a ajudar jornalistas a avaliar os achados científicos. A segunda é envolver instituições científicas no monitoramento nas redes sociais de notícias falsas envolvendo suas pesquisas, divulgando esclarecimentos sempre que necessário. A terceira é convencer as ferramentas de busca na internet a retirar de seus registros referências a trabalhos científicos que sofreram retratação.

Fonte: Pesquisa FAPESP

Antídotos contra notícias falsas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-3

Um dos temas que movimentaram a reunião anual da Associação Americana para o Avanço da Ciência, realizada em Boston em fevereiro, foi a proliferação de notícias falsas na internet. Uma palestra de Kevin Elliott, professor de ética da Universidade do Estado de Michigan, mostrou que o fenômeno, que ganhou destaque no mundo político dos Estados Unidos desde a última campanha eleitoral, é um antigo conhecido da ciência. Elliott mencionou os estudos enviesados patrocinados durante décadas pela indústria do tabaco para mascarar os efeitos deletérios do cigarro para a saúde, além de casos recentes, como a manipulação de testes de emissão de poluentes promovida pela Volkswagen, descoberta em 2015.

Um bom antídoto contra as notícias científicas falsas, segundo o pesquisador, é manter algum ceticismo quando o responsável pela pesquisa tem algum interesse direto no resultado favorável. O mais seguro, quando se deseja saber o que a ciência tem a dizer sobre um problema específico, é consultar os relatórios temáticos que sociedades científicas respeitadas costumam produzir. “Assim, evitam-se interpretações excêntricas”, afirmou Elliott.

Já a apresentação de Dominique Brossard, profressora da Universidade de Wisconsin-Madison, propôs que, na divulgação de fatos científicos, é tênue a linha que separa a fraude pura e simples e os efeitos do jornalismo de má qualidade. A falsa informação, disse, é disseminada com o intuito de enganar e influenciar pessoas. Ela citou um estudo que realizou com um aluno da Universidade Yale sobre as notícias bizarras publicadas num tabloide sensacionalista distribuído em supermercados nos Estados Unidos, como recém-nascidos com 15 quilos de peso, ataques
de alienígenas e insetos gigantes. Segundo o estudo, a maioria das informações é inventada, mas uma parte é composta por histórias reais inusitadas, sem que o leitor possa separar uma coisa da outra.

Já o jornalismo científico de má qualidade produz situações nebulosas. Dominique citou um estudo que ganhou repercussão nas redes sociais, segundo o qual a cafeína preveniria o câncer, mas que se baseava num ensaio com apenas 10 indivíduos. “Os jornalistas não são treinados para aferir a validade de um estudo. Eles tentam enfatizar o lado humano da notícia em manchetes como: ‘Novos estudos trazem esperança para familiares de vítimas do mal de Alzheimer’”, comentou, de acordo com o serviço de notícias EurekAlert. Como isso gera expectativas, espalha-se nas redes sociais.

Dominique sugeriu três estratégias para enfrentar o problema. A primeira é uma convocação para que cientistas se disponham a explicar melhor o que estão fazendo e a ajudar jornalistas a avaliar os achados científicos. A segunda é envolver instituições científicas no monitoramento nas redes sociais de notícias falsas envolvendo suas pesquisas, divulgando esclarecimentos sempre que necessário. A terceira é convencer as ferramentas de busca na internet a retirar de seus registros referências a trabalhos científicos que sofreram retratação.

Fonte: Pesquisa FAPESP

Dúvidas estatísticas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-1

Em agosto de 2016, um conjunto de cerca de 50 mil artigos científicos do campo da psicologia passou pelo escrutínio de um software capaz de detectar inconsistências estatísticas, desenvolvido por pesquisadores da Universidade de Tilburg, na Holanda. Batizado de statcheck, o programa refaz cálculos e observa se os resultados são robustos e correspondem ao que está publicado no manuscrito. Em metade dos papers foi detectado algum tipo de problema, desde erros de digitação e simples arredondamentos até resultados equivocados com potencial para comprometer conclusões de estudos. Os achados dessa gigantesca verificação foram comunicados de forma automática por e-mail aos autores de cada artigo e divulgados no PubPeer, plataforma on-line na qual qualquer usuário pode escrever comentários sobre papers já publicados e apontar eventuais falhas, num tipo de avaliação por pares realizado depois da divulgação do artigo.

O caráter da auditoria é inédito, tanto por ter sido feita por computador quanto pelo volume de dados conferido – praticamente todos os pesquisadores em psicologia que publicaram papers nos últimos 20 anos passaram pelo crivo do statcheck. A divulgação dos resultados provocou ondas de choque. A Sociedade de Psicologia da Alemanha publicou uma declaração, no dia 20 de outubro, reclamando da forma como a comunicação dos resultados foi feita. Segundo o texto, muito pesquisadores ficaram incomodados com a exposição sem que tivessem tido chance de se defender. “Vários colegas estão profundamente preocupados com o fato de que, obviamente, é muito difícil remover um comentário no PubPeer após um erro ‘detectado’ pelo statcheck revelar-se um falso positivo”, consta no texto divulgado.

Num tom mais elevado, Susan Fiske, professora da Universidade de Princeton e ex-presidente da norte-americana Associação de Ciências Psicológicas, classificou como “uma nova forma de assédio” o trabalho de “polícia” que investiga dados de pesquisa de forma voluntarista. “Me senti um pouco assustado e exposto”, disse ao jornal britânico The Guardian o psicólogo alemão Mathias Kauff, que recebeu um e-mail do statcheck avisando que havia inconsistências num artigo que escreveu em 2013 sobre multiculturalismo e preconceito, publicado no Personality and Social Psychology Bulletin. Ele afirma que os erros eram fruto de arredondamentos que não comprometiam as conclusões.

Muitos artigos na área de psicologia utilizam testes estatísticos padronizados, cujos resultados precisam ser averiguados. O statcheck identifica e inspeciona os testes que calculam os valores de p, uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados. Um valor de p menor ou igual a 0,05 é utilizado frequentemente como um indicador de significância estatística, pois sugere que os resultados são robustos.

Há, de fato, evidências de que o software ainda não está maduro e alardeia problemas que não chegam a ser erros estatísticos. Em artigo depositado no repositório ArXiv, Thomas Schmidt, professor de psicologia experimental da Universidade de Kaiserslautern, na Alemanha, criticou a qualidade da análise que o statcheck fez em dois artigos de sua autoria. Segundo ele, o software encontrou 35 resultados estatísticos potencialmente incorretos, mas apenas cinco continham incongruências que, de acordo com o autor, não comprometiam os resultados finais.

A metodologia utilizada pelo software já era conhecida desde 2015, quando um artigo sobre o assunto foi publicado no site da revista Behavior Research Methods, assinado pela estudante de doutorado Michèle Nuijten e colegas do Centro de Metapesquisa da Escola de Ciências Sociais e do Comportamento da Universidade de Tilburg. No paper, o grupo mostrou que metade dos 16.695 artigos analisados pelo software apresentou algum tipo de inconsistência em suas análises estatísticas e 12% deles traziam conclusões comprometidas por erros. “O statcheck pode ser uma ferramenta de apoio à revisão por pares. A revista Psychological Science, por exemplo, já adotou o software para procurar inconsistências estatísticas nos manuscritos que recebe”, disse Michèle à Pesquisa FAPESP.

A iniciativa de analisar os 50 mil artigos e tornar públicos os resultados no PubPeer foi do estudante de doutorado Chris Hartgerink, de 25 anos. Segundo ele, a intenção foi gerar benefícios imediatos para o campo da psicologia, que não seriam alcançados se apenas resultados gerais fossem divulgados. O fato de também detectar falsos positivos e erros sem importância, disse o pesquisador, não compromete esse objetivo. Hartgerink e o professor Marcel van Assen tentam agora desenvolver outro tipo de software, capaz de detectar se um artigo científico contém dados fabricados. Para testar a eficiência do método, a dupla pediu a colegas para enviar versões de seus papers com dados deliberadamente alterados, que estão sendo avaliados.

Entre os pesquisadores de psicologia, há também quem considere o statcheck uma ferramenta útil para melhorar a qualidade das publicações científicas. Simine Vazire, pesquisadora do Departamento de Psicologia da Universidade da Califórnia em Davis, prevê que os autores de artigos nessa área serão ainda mais cuidadosos com suas análises estatísticas agora que sabem da existência de um programa capaz de identificar descuidos, erros e fraudes.

A Universidade de Tilburg, onde o programa foi desenvolvido, foi o cenário de um escândalo de má conduta científica. Em setembro de 2011, a instituição demitiu um de seus mais produtivos pesquisadores, o professor de psicologia social Diederik Stapel, acusado de fraudar mais de 30 artigos científicos ao longo de oito anos – uma investigação provou que ele fabricava dados, enganava coautores e até mesmo intimidava quem desconfiasse dele (ver Pesquisa FAPESP nº 190).

Chris Hartgerink foi aluno de graduação de Stapel e tinha o professor como uma espécie de mentor – fora inclusive seu assistente de pesquisa. Ficou, na época, desorientado. “Era uma figura inspiradora e foi o responsável pelo meu entusiasmo em fazer pesquisa”, disse ao jornal The Guardian. A experiência amarga do escândalo levou parte do grupo de pesquisadores que investigou suas fraudes a montar o Centro de Metapesquisa, interessado no estudo de má conduta científica. Hartgerink uniu-se ao grupo em 2013, em seu projeto de doutorado sobre métodos para detectar a fabricação de dados de pesquisa.

Fonte: Pesquisa FAPESP

AAAS CEO Champions the Merit of Scientific Integrity in House Testimony
7 de fevereiro de 2017 | AAAS

AAAS CEO Rush Holt delivered on February 7 a forceful defense of the integrity of the scientific process, saying public policy efforts that interfere with the way science is practiced would make the United States less attractive to the world’s brightest minds and stifle the nation’s scientific progress.

“I am here to say: don’t try to reform the scientific process. It has served us well and will continue to serve us well,” said Holt, who heads the world’s largest general scientific organization, in testimony before the House Science, Space and Technology Committee.

Holt laid out the many ways federal policymaking in Congress and the executive branch benefits from an open and independent scientific process. “However attractive any of us may find our own belief at any time, one’s odds of success are better if one goes with scientifically established thinking,” he said.

The testimony came during this year’s first policy hearing of the House Science Committee chaired by Rep. Lamar Smith. The session largely focused on legislative priorities that Smith had recently outlined, including two measures that the House passed but the Senate did not in the last two Congresses.

One bill on Smith’s list, the Secret Science Reform Act, would place restrictions on the type of scientific data that the Environmental Protection Agency can rely upon in drafting regulations, and bar the agency from using data that are not publicly available online, not “transparent” and not “reproducible.”

Holt said science moves forward by continuing to examine a topic from multiple perspectives, and restrictions on that process would only slow scientific advancements. “That’s how science works,” he said. Data collected over long time periods do not remain static, Holt added, pointing to longitudinal studies on children and on forest ecosystems. Such data cannot be easily replicated, he noted, because children grow up and forests change.

The other bill on the committee’s list, the EPA Science Advisory Board Reform Act, would overhaul the way the EPA’s Science Advisory Board is structured, opening the panel that advises the EPA administrator to industry scientists whose organizations have a financial stake in topics under review as long as those interests are disclosed. The bill also would bar independent scientists who serve on the board from discussing their own research.

“Scientific progress depends on openness, transparency, and the free flow of ideas and people,” said Holt, a Ph.D. physicist and former House member who represented New Jersey’s 12th Congressional District for 16 years. Holt underscored that scientific discovery must unfold without concern of repercussions and take place in an atmosphere “free of intimidation or undue influence.”

“Policymakers should never dictate the conclusions of a scientific study and they should base policy on a review of relevant research and the provisions of relevant statutes,” Holt said. “In other words, the integrity of the process must be upheld.”

He added, “These are the principles that have helped the United States attract and richly benefit from scientific talent.”

In opening remarks, Smith raised concern sparked by a blog post about a 2015 Science paper by Thomas R. Karl and his co-authors. Karl, who has since retired, was then director of NOAA’s National Centers for Environmental Information.

The peer-reviewed research paper, titled “Possible artifacts of data biases in the recent global surface warming hiatus,” disputed the notion that climate warming had slowed in recent years and suggested that warming had continued apace – a finding that has been replicated in several subsequent studies including a recent paper published in Science Advances.

In the blog post, John Bates, a former principal scientist at NOAA’s National Climatic Data Center, asserted that in preparing this study, Karl and the National Oceanic and Atmospheric Administration “breached its own rules on scientific integrity.” The claim drew swift attention from Smith, who issued a press release on February 5. At the hearing, Smith went further and called on Science to retract the study, and said he would call Bates to testify before his committee.

In response, Holt said Science stands behind the paper, noting that its findings have been subsequently replicated. Holt also said that Bates has not questioned the paper’s findings, but the way the data collected for it was archived. Holt noted that data management is an internal NOAA issue that the agency’s integrity officer may decide to review.

Jeremy Berg, Science editor-in-chief, also has said that Science stands behind the paper. He said it was subjected to particularly rigorous peer review and dismissed as “baseless” and “without merit” any suggestion that the paper was “rushed” into publication.

Berg said data used in the Science paper were deposited and were readily accessible according to Science policy. Science requires that “all data and materials necessary to understand, assess and extend the conclusions of the manuscript must be available to any reader of Science" after publication. That policy may differ from internal NOAA data archiving policies, Berg noted.

Testifying in the same panel as Holt were Jeffery Holmstead, a partner in the Texas law firm Bracewell LLP and former assistant EPA administrator under President George W. Bush; Kimberly White, senior director of chemical products and technology at the American Chemistry Council; and Richard Belzer, a private consultant who served in the White House Office of Management and Budget under Presidents Ronald Reagan, George W. Bush and Bill Clinton.

At the outset of the hearing, Holt said he would focus his remarks on the importance of using good science as the basis for public policies and regulation and he drew laughter in adding “I am pleased to note from the title of today’s hearing ‘Making EPA Great Again’ that [the committee] acknowledges that the EPA has been great.”

Meagan Phelan contributed to this story.

Opinion: An Ethical Code for Conferences
2 de dezembro de 2016 | The Scientist

This fundamental form of scientific communication is threatened by modern recording technology and researchers who refuse to adhere to an age-old ethical code.

I recently attended several conferences and saw rampant recording of lectures and posters. Because my talk contained a lot of unpublished work, I asked the audience to refrain from taking pictures. But just five minutes into my talk, I saw multiple cell phones up recording my lecture. I repeated my request, and the people put their phones down. Ten minutes later, however, the very same people did it again. I asked once more, yet one person continued to record my slides.

Scientific conferences are meant to inform the attending audience about the newest results. No one wants to hear only published work; we attend meetings to get the absolute latest information that is coming out of labs. To be able to do that, an honor code exists that conference-goers cannot make use of data presented to advance their own work. While some have broken this code in the past, by and large it has been respected by the scientific community—until now. These days, with the use of new information technologies and social networks, this ethical principle is in serious jeopardy.

Modern digital camera technology produces such high-quality images that some people decide to take pictures of slides and posters, or even film entire lectures. This is much easier than scribbling notes, and the resulting files are simpler to show to friends or colleagues. Moreover, some tweeters have started to post pictures of speakers together with their unpublished data. This means that these data are published in the widest possible sense before they are published by the authors themselves. All of these activities can have a detrimental influence on scientific progress, as researchers will begin to refrain from showing their newest data at meetings. Eventually, scientists may choose not to go to conferences at all because they can expect to see talks only on research that is already published or in press.

I thus firmly believe that photographing posters, recording parts of talks, and posting other people’s data should be officially banned, and that people who break these ethical standards should be expelled. We must enforce this old honor code to encourage the sharing of unpublished data and ensure that science can progress effectively. Ideally, the scientific community would adopt a generally acceptable and enforceable ethical code for all conferences, make it part of every program, and announce these regulations at the beginning of every meeting, following the examples of Cold Spring Harbor Laboratory symposia and Gordon Research Conferences.

Above all, this code should include the obvious rule that the knowledge you gain from unpublished work ought not be used to compete with the authors. Without adherence to such rules, scientific conferences—and the research they inspire—are at risk of being lost forever.

Wolf B. Frommer is a staff member of the department of plant biology at the Carnegie Institution for Science in Stanford, California.

From: The Scientist