Dúvidas estatísticas
Março 2017 | Pesquisa FAPESP

008-010_Boaspraticas_253-1

Em agosto de 2016, um conjunto de cerca de 50 mil artigos científicos do campo da psicologia passou pelo escrutínio de um software capaz de detectar inconsistências estatísticas, desenvolvido por pesquisadores da Universidade de Tilburg, na Holanda. Batizado de statcheck, o programa refaz cálculos e observa se os resultados são robustos e correspondem ao que está publicado no manuscrito. Em metade dos papers foi detectado algum tipo de problema, desde erros de digitação e simples arredondamentos até resultados equivocados com potencial para comprometer conclusões de estudos. Os achados dessa gigantesca verificação foram comunicados de forma automática por e-mail aos autores de cada artigo e divulgados no PubPeer, plataforma on-line na qual qualquer usuário pode escrever comentários sobre papers já publicados e apontar eventuais falhas, num tipo de avaliação por pares realizado depois da divulgação do artigo.

O caráter da auditoria é inédito, tanto por ter sido feita por computador quanto pelo volume de dados conferido – praticamente todos os pesquisadores em psicologia que publicaram papers nos últimos 20 anos passaram pelo crivo do statcheck. A divulgação dos resultados provocou ondas de choque. A Sociedade de Psicologia da Alemanha publicou uma declaração, no dia 20 de outubro, reclamando da forma como a comunicação dos resultados foi feita. Segundo o texto, muito pesquisadores ficaram incomodados com a exposição sem que tivessem tido chance de se defender. “Vários colegas estão profundamente preocupados com o fato de que, obviamente, é muito difícil remover um comentário no PubPeer após um erro ‘detectado’ pelo statcheck revelar-se um falso positivo”, consta no texto divulgado.

Num tom mais elevado, Susan Fiske, professora da Universidade de Princeton e ex-presidente da norte-americana Associação de Ciências Psicológicas, classificou como “uma nova forma de assédio” o trabalho de “polícia” que investiga dados de pesquisa de forma voluntarista. “Me senti um pouco assustado e exposto”, disse ao jornal britânico The Guardian o psicólogo alemão Mathias Kauff, que recebeu um e-mail do statcheck avisando que havia inconsistências num artigo que escreveu em 2013 sobre multiculturalismo e preconceito, publicado no Personality and Social Psychology Bulletin. Ele afirma que os erros eram fruto de arredondamentos que não comprometiam as conclusões.

Muitos artigos na área de psicologia utilizam testes estatísticos padronizados, cujos resultados precisam ser averiguados. O statcheck identifica e inspeciona os testes que calculam os valores de p, uma medida que representa a probabilidade de o efeito observado dever-se ao acaso e não aos fatores que estão sendo estudados. Um valor de p menor ou igual a 0,05 é utilizado frequentemente como um indicador de significância estatística, pois sugere que os resultados são robustos.

Há, de fato, evidências de que o software ainda não está maduro e alardeia problemas que não chegam a ser erros estatísticos. Em artigo depositado no repositório ArXiv, Thomas Schmidt, professor de psicologia experimental da Universidade de Kaiserslautern, na Alemanha, criticou a qualidade da análise que o statcheck fez em dois artigos de sua autoria. Segundo ele, o software encontrou 35 resultados estatísticos potencialmente incorretos, mas apenas cinco continham incongruências que, de acordo com o autor, não comprometiam os resultados finais.

A metodologia utilizada pelo software já era conhecida desde 2015, quando um artigo sobre o assunto foi publicado no site da revista Behavior Research Methods, assinado pela estudante de doutorado Michèle Nuijten e colegas do Centro de Metapesquisa da Escola de Ciências Sociais e do Comportamento da Universidade de Tilburg. No paper, o grupo mostrou que metade dos 16.695 artigos analisados pelo software apresentou algum tipo de inconsistência em suas análises estatísticas e 12% deles traziam conclusões comprometidas por erros. “O statcheck pode ser uma ferramenta de apoio à revisão por pares. A revista Psychological Science, por exemplo, já adotou o software para procurar inconsistências estatísticas nos manuscritos que recebe”, disse Michèle à Pesquisa FAPESP.

A iniciativa de analisar os 50 mil artigos e tornar públicos os resultados no PubPeer foi do estudante de doutorado Chris Hartgerink, de 25 anos. Segundo ele, a intenção foi gerar benefícios imediatos para o campo da psicologia, que não seriam alcançados se apenas resultados gerais fossem divulgados. O fato de também detectar falsos positivos e erros sem importância, disse o pesquisador, não compromete esse objetivo. Hartgerink e o professor Marcel van Assen tentam agora desenvolver outro tipo de software, capaz de detectar se um artigo científico contém dados fabricados. Para testar a eficiência do método, a dupla pediu a colegas para enviar versões de seus papers com dados deliberadamente alterados, que estão sendo avaliados.

Entre os pesquisadores de psicologia, há também quem considere o statcheck uma ferramenta útil para melhorar a qualidade das publicações científicas. Simine Vazire, pesquisadora do Departamento de Psicologia da Universidade da Califórnia em Davis, prevê que os autores de artigos nessa área serão ainda mais cuidadosos com suas análises estatísticas agora que sabem da existência de um programa capaz de identificar descuidos, erros e fraudes.

A Universidade de Tilburg, onde o programa foi desenvolvido, foi o cenário de um escândalo de má conduta científica. Em setembro de 2011, a instituição demitiu um de seus mais produtivos pesquisadores, o professor de psicologia social Diederik Stapel, acusado de fraudar mais de 30 artigos científicos ao longo de oito anos – uma investigação provou que ele fabricava dados, enganava coautores e até mesmo intimidava quem desconfiasse dele (ver Pesquisa FAPESP nº 190).

Chris Hartgerink foi aluno de graduação de Stapel e tinha o professor como uma espécie de mentor – fora inclusive seu assistente de pesquisa. Ficou, na época, desorientado. “Era uma figura inspiradora e foi o responsável pelo meu entusiasmo em fazer pesquisa”, disse ao jornal The Guardian. A experiência amarga do escândalo levou parte do grupo de pesquisadores que investigou suas fraudes a montar o Centro de Metapesquisa, interessado no estudo de má conduta científica. Hartgerink uniu-se ao grupo em 2013, em seu projeto de doutorado sobre métodos para detectar a fabricação de dados de pesquisa.

Fonte: Pesquisa FAPESP

AAAS CEO Champions the Merit of Scientific Integrity in House Testimony
7 de fevereiro de 2017 | AAAS

AAAS CEO Rush Holt delivered on February 7 a forceful defense of the integrity of the scientific process, saying public policy efforts that interfere with the way science is practiced would make the United States less attractive to the world’s brightest minds and stifle the nation’s scientific progress.

“I am here to say: don’t try to reform the scientific process. It has served us well and will continue to serve us well,” said Holt, who heads the world’s largest general scientific organization, in testimony before the House Science, Space and Technology Committee.

Holt laid out the many ways federal policymaking in Congress and the executive branch benefits from an open and independent scientific process. “However attractive any of us may find our own belief at any time, one’s odds of success are better if one goes with scientifically established thinking,” he said.

The testimony came during this year’s first policy hearing of the House Science Committee chaired by Rep. Lamar Smith. The session largely focused on legislative priorities that Smith had recently outlined, including two measures that the House passed but the Senate did not in the last two Congresses.

One bill on Smith’s list, the Secret Science Reform Act, would place restrictions on the type of scientific data that the Environmental Protection Agency can rely upon in drafting regulations, and bar the agency from using data that are not publicly available online, not “transparent” and not “reproducible.”

Holt said science moves forward by continuing to examine a topic from multiple perspectives, and restrictions on that process would only slow scientific advancements. “That’s how science works,” he said. Data collected over long time periods do not remain static, Holt added, pointing to longitudinal studies on children and on forest ecosystems. Such data cannot be easily replicated, he noted, because children grow up and forests change.

The other bill on the committee’s list, the EPA Science Advisory Board Reform Act, would overhaul the way the EPA’s Science Advisory Board is structured, opening the panel that advises the EPA administrator to industry scientists whose organizations have a financial stake in topics under review as long as those interests are disclosed. The bill also would bar independent scientists who serve on the board from discussing their own research.

“Scientific progress depends on openness, transparency, and the free flow of ideas and people,” said Holt, a Ph.D. physicist and former House member who represented New Jersey’s 12th Congressional District for 16 years. Holt underscored that scientific discovery must unfold without concern of repercussions and take place in an atmosphere “free of intimidation or undue influence.”

“Policymakers should never dictate the conclusions of a scientific study and they should base policy on a review of relevant research and the provisions of relevant statutes,” Holt said. “In other words, the integrity of the process must be upheld.”

He added, “These are the principles that have helped the United States attract and richly benefit from scientific talent.”

In opening remarks, Smith raised concern sparked by a blog post about a 2015 Science paper by Thomas R. Karl and his co-authors. Karl, who has since retired, was then director of NOAA’s National Centers for Environmental Information.

The peer-reviewed research paper, titled “Possible artifacts of data biases in the recent global surface warming hiatus,” disputed the notion that climate warming had slowed in recent years and suggested that warming had continued apace – a finding that has been replicated in several subsequent studies including a recent paper published in Science Advances.

In the blog post, John Bates, a former principal scientist at NOAA’s National Climatic Data Center, asserted that in preparing this study, Karl and the National Oceanic and Atmospheric Administration “breached its own rules on scientific integrity.” The claim drew swift attention from Smith, who issued a press release on February 5. At the hearing, Smith went further and called on Science to retract the study, and said he would call Bates to testify before his committee.

In response, Holt said Science stands behind the paper, noting that its findings have been subsequently replicated. Holt also said that Bates has not questioned the paper’s findings, but the way the data collected for it was archived. Holt noted that data management is an internal NOAA issue that the agency’s integrity officer may decide to review.

Jeremy Berg, Science editor-in-chief, also has said that Science stands behind the paper. He said it was subjected to particularly rigorous peer review and dismissed as “baseless” and “without merit” any suggestion that the paper was “rushed” into publication.

Berg said data used in the Science paper were deposited and were readily accessible according to Science policy. Science requires that “all data and materials necessary to understand, assess and extend the conclusions of the manuscript must be available to any reader of Science" after publication. That policy may differ from internal NOAA data archiving policies, Berg noted.

Testifying in the same panel as Holt were Jeffery Holmstead, a partner in the Texas law firm Bracewell LLP and former assistant EPA administrator under President George W. Bush; Kimberly White, senior director of chemical products and technology at the American Chemistry Council; and Richard Belzer, a private consultant who served in the White House Office of Management and Budget under Presidents Ronald Reagan, George W. Bush and Bill Clinton.

At the outset of the hearing, Holt said he would focus his remarks on the importance of using good science as the basis for public policies and regulation and he drew laughter in adding “I am pleased to note from the title of today’s hearing ‘Making EPA Great Again’ that [the committee] acknowledges that the EPA has been great.”

Meagan Phelan contributed to this story.

Opinion: An Ethical Code for Conferences
2 de dezembro de 2016 | The Scientist

This fundamental form of scientific communication is threatened by modern recording technology and researchers who refuse to adhere to an age-old ethical code.

I recently attended several conferences and saw rampant recording of lectures and posters. Because my talk contained a lot of unpublished work, I asked the audience to refrain from taking pictures. But just five minutes into my talk, I saw multiple cell phones up recording my lecture. I repeated my request, and the people put their phones down. Ten minutes later, however, the very same people did it again. I asked once more, yet one person continued to record my slides.

Scientific conferences are meant to inform the attending audience about the newest results. No one wants to hear only published work; we attend meetings to get the absolute latest information that is coming out of labs. To be able to do that, an honor code exists that conference-goers cannot make use of data presented to advance their own work. While some have broken this code in the past, by and large it has been respected by the scientific community—until now. These days, with the use of new information technologies and social networks, this ethical principle is in serious jeopardy.

Modern digital camera technology produces such high-quality images that some people decide to take pictures of slides and posters, or even film entire lectures. This is much easier than scribbling notes, and the resulting files are simpler to show to friends or colleagues. Moreover, some tweeters have started to post pictures of speakers together with their unpublished data. This means that these data are published in the widest possible sense before they are published by the authors themselves. All of these activities can have a detrimental influence on scientific progress, as researchers will begin to refrain from showing their newest data at meetings. Eventually, scientists may choose not to go to conferences at all because they can expect to see talks only on research that is already published or in press.

I thus firmly believe that photographing posters, recording parts of talks, and posting other people’s data should be officially banned, and that people who break these ethical standards should be expelled. We must enforce this old honor code to encourage the sharing of unpublished data and ensure that science can progress effectively. Ideally, the scientific community would adopt a generally acceptable and enforceable ethical code for all conferences, make it part of every program, and announce these regulations at the beginning of every meeting, following the examples of Cold Spring Harbor Laboratory symposia and Gordon Research Conferences.

Above all, this code should include the obvious rule that the knowledge you gain from unpublished work ought not be used to compete with the authors. Without adherence to such rules, scientific conferences—and the research they inspire—are at risk of being lost forever.

Wolf B. Frommer is a staff member of the department of plant biology at the Carnegie Institution for Science in Stanford, California.

From: The Scientist

Especialista avalia mudanças na publicação de revistas científicas
02 de janeiro de 2017 | Agência FAPESP

Elton Alisson | Agência FAPESP – As revistas científicas têm passado por profundas mudanças em todo o mundo nos últimos anos com o intuito de aumentar a agilidade no processo de publicação – considerado ainda muito lento – e promover o acesso aberto, que ainda não avançou na velocidade desejada, entre outros objetivos, aponta Glenn Hampson, diretor executivo do National Science Communication Institute e do programa Open Scholarship Initiative, dos Estados Unidos.

Algumas das mudanças que têm ocorrido envolverão alterar o sistema atual a fim de utilizar ferramentas e abordagens de publicação mais modernas e irão requerer um esforço generalizado e coordenado dos editores, autores e de toda a comunidade científica, avaliou o especialista durante conferência a distância na VI Reunião Anual da Scientific Electronic Library On Line (SciELO) – financiada pela FAPESP –, realizada no dia 14 de dezembro, no auditório da Fundação.

“Não há muitas evidências de que os autores estão completamente de acordo com as reformas que têm ocorrido com as publicações científicas. Há muita angústia, ansiedade e desentendimentos”, afirmou Hampson.

“Precisamos garantir que o que estamos fazendo é para o benefício dos pesquisadores e da ciência”, apontou.

De acordo com o pesquisador, a publicação de revistas faz parte do grande e complexo ecossistema da comunicação científica, que é mal definido e tem evoluído por meio de uma variedade de esforços e iniciativas desconectadas.

Para algumas pessoas, comunicação científica significa ajudar os cientistas a se tornar melhores comunicadores e a falar mais claramente com a mídia e os legisladores.

Já para os profissionais da área acadêmica pode significar ajudar a gerir um repositório institucional ou permitir o acesso livre a publicações, exemplificou Hampson sobre a confusão em relação ao conceito.

“Diferentes partes interessadas em comunicação científica têm abordagens diferentes sobre o tema. Por isso foi fundado o National Science Communication Institute com o objetivo de definir a comunicação científica como uma área mais coerente”, explicou.

A área – que consiste na divulgação dos resultados de pesquisas à comunidade científica e ao público interessado, de forma a favorecer a criação e a disseminação de conhecimentos e da ciência – tem crescido e se transformado ao mesmo tempo em que se esforça para se ajustar e responder às atuais demandas de uma sociedade que tem criado mais informação do que nunca em sua história e se acostumado a acessá-las de forma gratuita e imediata.

Essas transformações têm ocorrido ao mesmo tempo em que a sociedade tem perdido a crença de que a ciência é imaculada e de que fornece respostas plenamente confiáveis, ponderou Hampson.

Uma vez que as revistas estão inseridas no processo de comunicação científica elas também precisam se transformar para responder a essas mudanças sociais, apontou o especialista.

“A transformação das publicações científicas dependerá, em grande parte, se e como poderão responder a essas forças sociais de forma rápida e abrangente e que faça sentido para os autores e para a ciência, além de para o mercado, os financiadores, os legisladores e para a comunicação da ciência, como um todo”, avaliou.

Na avaliação dele, as revistas científicas continuarão a desempenhar um papel importante de filtragem e chancela da ciência.

“Outras formas de publicações científicas continuarão a surgir e serão testadas”, estimou.

Desafios no Brasil

No Brasil, alguns desafios com os quais as revistas científicas têm se deparado são aumentar seus níveis de profissionalização, de internacionalização e sustentabilidade financeira, apontaram outros especialistas participantes do evento.

Do total de aproximadamente 430 revistas científicas existentes no país indexadas internacionalmente, 285 estão indexadas na base da SciELO, apontou Abel Packer, coordenador-geral da biblioteca científica on-line.

“Os periódicos das áreas da Saúde, Humanas, Sociais Aplicadas e Agrárias representam 84% da coleção brasileira na SciELO”, afirmou Packer.

A partir de 2017 todos os periódicos da SciELO deverão estar indexados no Directory of Open Acces Journal (DOAJ) – um diretório on-line que indexa e provê acesso a periódicos de acesso aberto de qualidade em todo o mundo.

“Essa nova indexação segue um critério internacional que está sendo usado e diferencia periódicos com acesso aberto predatórios e não predatórios”, explicou Packer, referindo-se a publicações que cobram taxas de processamento a partir da aceitação dos manuscritos.

Outra meta da SciELO para 2017 é diminuir o tempo para publicação de artigos nos periódicos integrantes da base – principalmente das áreas de Ciências Humanas e Agrárias.

“A proposta é que as áreas de Ciências Humanas e Agrárias diminuam o tempo de avaliação dos manuscritos e de editoração dos artigos aceitos para publicação para uma média de seis meses”, disse Packer durante o evento.

Com mais de 500 mil artigos indexados e publicados on-line em 2016, todos em acesso aberto, a SciELO abrange uma rede de coleções nacionais de periódicos que se estende por 15 países, a maioria da América Latina e do Caribe, além de Portugal, África do Sul e Espanha.

Desde sua criação, mais de 1.200 títulos foram indexados pela rede SciELO; destes, cerca de 1.000 continuam ativos, dos quais 285 são do Brasil.

“O SciELO é um projeto extremamente importante e tem um impacto extraordinário no aumento da visibilidade e da internacionalização da ciência brasileira”, disse Carlos Américo Pacheco, diretor-presidente da FAPESP, na abertura do evento.  

Fonte: Agência FAPESP

O duelo dos mega-journals
Dezembro 2016 | Pesquisa FAPESP

Os mega-journals, revistas científicas que publicam um grande número de artigos em acesso aberto na internet, vivem um momento de ebulição. Em setembro, a liderança nesse nicho de periódicos mudou de mãos pela primeira vez, quando a Scientific Reports, lançada pelo grupo Springer Nature em 2011, publicou, no intervalo de 30 dias, um total de 1.940 papers. A revista superou a PLOS One, respeitada publicação lançada em 2006 pela organização sem fins lucrativos Public Library of Science (PLOS), que publicou 1.746 artigos em setembro. Em agosto, a PLOS One conseguira manter a dianteira por estreitos 40 artigos.

Ambas as publicações disseminam papers de um largo espectro de disciplinas, que incluem as ciências, as engenharias e a matemática, embora a PLOS One reúna um conjunto maior de artigos no campo das ciências da vida e a nova líder, no das ciências naturais. A ascensão da Scientific Reports é explicada por um conjunto de fatores. Uma das vantagens competitivas é o fator de impacto, indicador da repercussão da produção científica publicada. Atualmente, o índice é de 5,2. Significa que os artigos publicados na revista em 2013 e 2014 receberam, em média, 5,2 citações em outros papers em 2015. O índice parece baixo quando comparado a outros periódicos do grupo – o fator de impacto da Nature é de 38,1. Mas, na verdade, é um índice vigoroso para um tipo de revista que só existe na internet, publica uma grande massa de artigos e não exige que os autores apresentem novidades em seus manuscritos – basta que os dados sejam sólidos.

Já a PLOS One tem visto seu fator de impacto cair ao longo do tempo – hoje, o índice é de 3, ante 4,4 em 2010. Para a bióloga Véronique Kiermer, editora executiva das revistas PLOS, a importância do fator de impacto deve ser relativizada em uma categoria de revistas que publica artigos de áreas variadas, cada qual com uma tradição de citação, e é menos restritiva do que periódicos tradicionais, admitindo até mesmo papers sobre pesquisas que chegaram a resultados negativos ou inconclusivos. “Esse tipo de artigo recebe naturalmente poucas citações”, escreveu Kiermer no blog da PLOS em julho. Ela, contudo, defende a divulgação desse tipo de paper como forma de evitar a publicação de resultados parciais ou enviesados de pesquisas. O auge da PLOS One foi registrado no ano de 2013, quando publicou 31.509 artigos. Em 2015, o total anual foi 28.105.

Outro ponto do duelo entre as revistas tem a ver com a capacidade de publicar artigos rapidamente, qualidade muito valorizada por autores que recorrem aos mega-journals. Um estudo recente feito pelo especialista norte-americano em bibliometria Phil Davis comparou os prazos de aceitação e de publicação nos dois periódicos, depois de analisar um conjunto de 100 artigos de cada uma delas. O trâmite de um artigo na Scientific Reports, incluindo todas as etapas do processo de revisão por pares, demorou 99 dias, ante 132 na PLOS One. Depois que o artigo é aceito, a PLOS One publica mais rapidamente: em média em 19 dias, diante de 27 da concorrente. Mas, somando os dois prazos, a vantagem da Scientific Reports foi de 25 dias. Um estudo feito em 2013 por pesquisadores da Finlândia mostrou que o prazo de publicação em revistas científicas tradicionais oscila de nove a 18 meses, dependendo da área do conhecimento.

Veja o artigo completo aqui

Parques tecnológicos firmam parceria que permite intercâmbio de empresas
Dezembro 2016 | Jornal da Ciência

A parceria, inédita no País entre parques tecnológicos, foi assinada pelo Parque Tecnológico da Universidade Federal do Rio de Janeiro (UFRJ), o Parque Científico e Tecnológico da Pontifícia Universidade Católica do Rio Grande do Sul (Tecnopuc), e o Porto Digital, de Recife

Três parques tecnológicos brasileiros firmaram convênio que permitirá o intercâmbio entre empresas instaladas em seus ambientes de inovação, a partir da criação de um programa de soft landing, cujo objetivo é abrigar e prestar suporte temporário a empresas visitantes. A parceria, inédita no País entre parques tecnológicos, foi assinada pelo Parque Tecnológico da Universidade Federal do Rio de Janeiro (UFRJ), o Parque Científico e Tecnológico da Pontifícia Universidade Católica do Rio Grande do Sul (Tecnopuc), e o Porto Digital, de Recife.

A gerente de Articulações do Parque Tecnológico da UFRJ, Lucimar Dantas, disse que poderão participar do projeto empresas residentes nesses ambientes, que podem ser tanto empresas de incubadoras, como startups (empresas recém criadas, ainda em fase de desenvolvimento e pesquisa de mercados) que estejam instaladas nos parques.

Ainda este mês, as três instituições farão uma chamada interna para identificar as empresas que têm interesse na mobilidade entre os ambientes. “Identificando a potencialidade e a necessidade de essa empresa aproveitar essa oportunidade, ela vai para esse ambiente destino por um tempo determinado. A gente está dizendo que é uma experiência, ou soft landing, temporário”, disse Lucimar. A expectativa é que ao final do período temporário dessa experiência, a empresa tenha mais facilidade para tomar uma decisão no sentido de expandir o negócio de forma definitiva.

Participação

A chamada ficará aberta durante 30 dias para a inscrição das empresas interessadas, que terão até fevereiro para se organizarem. No período de março a maio de 2017, as selecionadas vão efetivar sua participação no programa. O cronograma ocorrerá simultaneamente nas três instituições.

Foi acordado que, para esse primeiro ano do programa, participarão cinco empresas de cada parque. Os candidatos têm que apresentar motivação para participar do programa e o que esperam receber de apoio do parque destino. Lucimar Dantas informou que o parque, por sua vez, tem que estar apto para oferecer o que a empresa está demandando. “As conexões que o parque tem no local têm que dar liga às expectativas que a empresa espera da experiência no local”.

O convênio visa fortalecer a integração das empresas com os ambientes de inovação. “A gente espera que esse programa seja uma sementinha de uma expansão territorial dessas empresas”. Antes de a empresa pensar em partir para um processo de internacionalização, é importante experimentar outro local dentro do próprio país, disse a gerente do Parque Tecnológico da UFRJ. Para ela é o primeiro passo para uma expansão internacional e fortalece a gestão das empresas. “Há um amadurecimento para que a empresa possa dar esse passo”.

A ideia é expandir a parceria para outros estados. “A nossa intenção é que, para 2018, a gente amplie o número de ambientes pelo país. Quanto mais nacional for esse programa, melhor a gente vai poder atender às nossas empresas no sentido de fortalecer o desenvolvimento dos negócios que a gente apoia”.

Agência Brasil

Fonte: Jornal da Ciência