Pesquisadores derrubam estudo de referência sobre replicabilidade em Psicologia

Em 2015 um grupo de pesquisadores publicou um artigo com os resultados das replicações de 100 estudos em Psicologia (clique aqui). As conclusões apresentadas eram claras e foram amplamente divulgadas em todo o mundo: mais da metade das replicações haviam falhado, o que, de acordo com os responsáveis pelo trabalho, indicava que os estudos originais eram frágeis e seus resultados podiam não ser fidedignos.

O evento, chamado por muitos de “A Crise da Replicação”, ganhou manchetes sensacionalistas em diversos idiomas e abalou a confiança da comunidade leiga na ciência psicológica. Ocorre, porém, que o insucesso nas replicações não ocorreu em razão da fragilidade dos estudos originais, mas sim de uma série de erros metodológicos graves cometidos pela equipe que compôs a iniciativa Open Science Framework (OSC), responsável pelo trabalho.

Os erros foram identificados pelos pesquisadores Daniel Gilbert (professor de Psicologia da Universidade de Harvard), Gary King (Professor da Universidade de Harvard), Stephen Pettigrew (estudante de doutorado no Departamento de Governo da Universidade de Harvard) e Timothy Wilson (professor de Psicologia na Universidade de Virginia). A equipe realizou uma análise meticulosa do método e dos dados obtidos em cada replicação, refez análises estatísticas e comparou os estudos originais às replicações para chegar às conclusões apresentadas em um comentário publicado na revista Science no dia de hoje, 04 de março de 2016.

De forma resumida, o comentário aponta que a OSC cometeu erros graves que invalidam as conclusões das replicações. Isso significa que, ainda que tivessem afirmado que os estudos originais tinham bom método e eram fidedignos, a constatação não seria válida. “A primeira coisa que percebi foi que não importa o que eles encontraram – a boa ou má notícia – é que [da forma como fizeram] eles nunca tiveram qualquer chance de estimar a replicabilidade da ciência psicológica”, disse Daniel Gilbert, um dos autores do comentário. “O fracasso dos estudos de replicação em confirmar os estudos originais ocorreu em razão de erros na forma como a replicação foi realizada, e não por erros nos estudos originais”, completou Gary King, outro autor do comentário publicado na Science.

A equipe que realizou a análise das replicações e especificou, na publicação, quais foram os erros cometidos pelos pesquisadores da OSC. Confira os principais:

– Foram criadas regras idiossincráticas arbitrárias, diferentes das normalmente seguidas em estudos do gênero, sobre como selecionar a amostra de pesquisas que seriam replicadas. Com isso, foram excluídos do estudo a maioria dos subcampos da Psicologia; foram excluídas classes inteiras de estudos cujos métodos estão, provavelmente, entre os melhores da ciência e a coordenação do projeto permitiu que os replicadores escolhessem livremente quais estudos desejavam replicar. Se um procedimento semelhante tivesse sido adotado com uma amostra composta por pessoas e não por artigos de pesquisa, nenhuma revista científica respeitável teria publicado os resultados das replicações.

– Em muitas das replicações, a população submetida à pesquisa era totalmente diferente da amostra da pesquisa original, o que naturalmente, é o bastante para a obtenção de resultados também bastante diferentes. Os pesquisadores da OSC não levaram em consideração estas diferenças no cálculo dos resultados. A equipe responsável pela análise do trabalho, no entanto, refez o cálculo levando as diferenças de amostragem em consideração, e como efeito, verificaram que o número de falhas observadas nas replicações não superava o que poderia ser atribuído ao acaso naquelas condições.

– O método adotado em muitas das replicações difere de maneira surpreendente do método adotado nos estudos originais, o que de acordo com Gilbert, torna difícil compreender os motivos pelos quais os trabalhos foram chamados de “replicações”.

– Alguns estudos cuja replicação confirmou os resultados dos estudos originais foram excluídos do trabalho, ao final, na análise dos dados.

O comentário técnico publicado por Gilbert e sua equipe aponta algumas outras falhas metodológicas nas replicações, descrevendo o procedimento adotado para verificar cada uma delas e o que seria diferente se elas não tivessem sido cometidas ou se tivessem sido levadas em consideração na análise dos dados. A notícia completa, em inglês, pode ser acessada através do botão abaixo:

[button link=”https://www.sciencedaily.com/releases/2016/03/160303145733.htm” size=”large” target=”new” color=”default”]Clique e Acesse[/button]