How to Calculate and Interpret Effect Size in Research Studies
Table of Contents
O tamanho do efeito é uma medida estatística que ajuda os pesquisadores a entender a magnitude de uma diferença ou relação em um estudo. Ao contrário dos valores de p, que indicam se existe um efeito, o tamanho do efeito mostra o quão grande esse efeito realmente é, tornando-o essencial para interpretar os achados da pesquisa e avaliar seu significado prático.Em uma época em que muitas disciplinas científicas estão lutando com questões de reprodutibilidade, o tamanho do efeito fornece uma ferramenta crítica para avaliar a força das evidências entre estudos e contextos.
Por que o tamanho do efeito importa mais do que valores-p
Por décadas, o valor p tem sido o guardião da significância estatística nas ciências sociais, medicina e além. Um valor p menor que 0,05 diz aos pesquisadores que um resultado observado é improvável sob a hipótese nula, mas não diz nada sobre o tamanho ou importância desse resultado. Tamanho do efeito preenche essa lacuna quantificando a diferença ou associação real. Por exemplo, uma grande amostra pode produzir um valor p estatisticamente significativo para uma diferença trivial de 0,1 pontos em uma escala de 100 pontos – significativamente, mas praticamente sem sentido. Tamanho do efeito sinaliza tais discrepâncias e incentiva os pesquisadores a focar na magnitude dos efeitos em vez de limiares arbitrários.
Além disso, o tamanho do efeito possibilita a metanálise, padronizando resultados de diferentes estudos que utilizaram diferentes medidas. Sem o tamanho do efeito, seria quase impossível sintetizar achados em uma literatura. Reconhecendo isso, muitos periódicos e organizações profissionais, incluindo o Associação Americana de Psicologia (APA), agora exigem relatório de tamanho de efeito ao lado de valores de p. O movimento para tamanho de efeito reflete uma ênfase mais ampla na transparência, replicabilidade e relevância prática na pesquisa.
Qual é o tamanho do efeito?
O tamanho do efeito quantifica a força de um fenômeno, em termos mais simples, ele responde à pergunta "quanto?" em vez de "o que existe?" Essa quantificação permite aos pesquisadores comparar resultados entre estudos, escalas diferentes e populações diferentes. O tamanho do efeito pode ser expresso como uma diferença entre grupos, uma correlação entre variáveis ou uma razão de chances em análises categóricas. Importantemente, o tamanho do efeito é independente do tamanho da amostra: uma grande amostra não infla o tamanho do efeito, mas reduz o intervalo de confiança em torno dessa estimativa.
Famílias comuns de tamanho de efeito incluem:
- d-family (por exemplo, o d de Cohen, Hedges' g): diferenças médias padronizadas utilizadas para comparar dois grupos.
- r- family (por exemplo, r de Pearson, rho de Spearman): coeficientes de correlação que medem a força de associação entre variáveis contínuas.
- Razão de probabilidades (OR) e rácio de risco (RR): medidas de efeito para desfechos categóricos, frequentemente utilizadas em ensaios clínicos e epidemiológicos.
A escolha do tamanho do efeito adequado depende do desenho da pesquisa, da natureza dos dados e da questão de interesse principal.
D de Cohen para comparações de grupo
O d de Cohen é talvez o tamanho do efeito mais utilizado. Ele expressa a diferença entre dois grupos em termos de unidades de desvio padrão, efetivamente nos dizendo quantos desvios padrão são separados dos grupos. A fórmula é simples:
d = (M1 – M2) / SD agrupado
em que M1 e M2 são as médias da amostra e SD agrupado é o desvio padrão agrupado, calculado como a raiz quadrada da média das duas variâncias do grupo. Hedges' g aplica uma pequena correção para tamanhos de amostra desiguais, tornando-se mais adequado para estudos com grupos pequenos ou desequilibrados.
R de Pearson para Correlações
Ao examinar a relação entre duas variáveis contínuas (por exemplo, horas de estudo e escores de exame), o r de Pearson mede tanto a direção quanto a força de uma relação linear. Ele varia de -1 (perfeito negativo) a 0 (sem relação linear) a +1 (perfeito positivo). A ranhura do coeficiente de correlação dá o coeficiente de determinação, r2, que representa a proporção de variância compartilhada entre as duas variáveis. Por exemplo, um r de 0,5 corresponde a r2 = 0,25, o que significa que 25% da variabilidade em uma variável pode ser explicada pela outra.
Razões de probabilidades para os resultados categóricos
Em estudos de caso-controle, ensaios randomizados com desfechos dicotômicos (ex., sobreviventes vs. mortos, recidiva vs. nenhuma recaída), o odds ratio compara as chances de um evento no grupo de tratamento em relação ao grupo de controle. Uma razão de chances de 1 indica nenhum efeito; valores acima de 1 indicam odds aumentadas; valores abaixo de 1 indicam odds reduzidas. A magnitude de partida de 1 reflete a força da associação. Odds ratios são frequentemente relatados com 95% de intervalos de confiança para transmitir precisão.
Como calcular o tamanho do efeito
O método de cálculo do tamanho do efeito depende do tipo de dados e análise utilizado. Abaixo estão os procedimentos para as situações mais comuns, juntamente com explicações da lógica subjacente.
Calculando o d de Cohen de Meios e Desvios Padrão
Quando você tem estatística descritiva de dois grupos independentes (média e desvio padrão), Cohen's d é calculado da seguinte forma:
- Calcular o desvio padrão agrupado: SD agrupado = sqrt( ((n1 – 1) * SD12 + (n2 – 1) * SD22) / (n1 + n2 – 2) )
- Calcular d = (M1 – M2) / SD agrupado
Por exemplo, imagine um estudo comparando um novo método de ensino com a instrução tradicional. O grupo de tratamento (n=30) tem uma pontuação média de 85 (DP=10), e o grupo controle (n=30) tem uma média de 78 (DP=12). O acoplamento na fórmula produz um DP agrupado de cerca de 11,05 e um d de (85 – 78)/11,05 □ 0,63. Este é um efeito médio-grande de acordo com os benchmarks de Cohen.
Calculando r de Pearson a partir de dados brutos ou estatísticas de resumo
Com dados brutos, o r de Pearson é calculado utilizando a fórmula:
r = Ł((X)i – MX,(Y)i – MY) / sqrt(?( Xi – MX) 2 * . (Yi – MY) 2)
Alternativamente, se você tiver o valor t e graus de liberdade de uma análise de regressão ou correlação, você pode calcular r usando: r = t / sqrt( t2 + df). Esta aproximação é útil quando ler resultados publicados que relatam estatísticas t, mas não a correlação diretamente.
Calculando as razões de probabilidades das tabelas de contingência
De uma tabela 2x2:
| Evento | Nenhum evento | |
| Tratamento | a | b |
| Controlo | c | d |
A razão de chances é (a/b) / (c/d) = (a*d)/(b*c). Por exemplo, se a=20, b=80, c=10, d=90, então OR = (20*90)/(80*10) = 1800/800 = 2,25. Isso indica que as chances do evento no grupo de tratamento são 2,25 vezes as chances no grupo de controle.
Tamanho do efeito de computação em software estatístico
A maioria dos pacotes estatísticos pode calcular os tamanhos de efeito diretamente ou fornecer a saída necessária. R, o pacote oferece funções como . SPSS, estimativas de tamanho de efeito (por exemplo, d de Cohen para testes t, eta-quadrado parcial para ANOVA) estão disponíveis sob as opções "Effect Size" nos menus de análise. JASP e jamovi, os tamanhos de efeito são automaticamente fornecidos juntamente com os resultados dos testes. Meta- Análise abrangente ou metafor pacote em R pode agrupar tamanhos de efeito de vários estudos.
Os pesquisadores devem sempre relatar tamanhos de efeito com seus intervalos de confiança para transmitir a precisão da estimativa. Um intervalo de confiança que abrange zero (para d) ou cruzes 1 (para OR) indica que o efeito não é estatisticamente significativo no nível alfa escolhido, mas a largura de intervalo também revela quanta incerteza permanece.
Tamanho do Efeito Interpretando
O tamanho do efeito de interpretação envolve compreender sua magnitude utilizando benchmarks estabelecidos, mas também considerando o contexto e domínio da pesquisa.Os benchmarks mais citados vêm do trabalho de Jacob Cohen de 1988, Análise de Potência Estatística para as Ciências ComportamentaisCohen ressaltou que estas são "convenções" e não devem ser aplicadas de forma rígida; servem como ponto de partida para discussão.
Cohen's d Benchmarks
- Pequeno: d = 0,2 — uma diferença não visível a olho nu em cenários típicos de ciências sociais
- Média: d = 0,5 — uma diferença suficientemente grande para ser notada por um observador cuidadoso
- Grande: d = 0,8 — uma diferença muito óbvia
Por exemplo, na educação, um d de 0,2 pode corresponder a uma melhoria de apenas alguns pontos em um teste padronizado, enquanto um d de 0,8 pode representar mover um estudante do percentil 50 para o percentil 79. Na psicologia clínica, tamanhos de efeito para alguns medicamentos antidepressivos em comparação com placebo são muitas vezes em torno de d = 0,3 (pequeno a médio), que informa decisões de tratamento, juntamente com efeitos colaterais e preferências do paciente.
Os resultados de Pearson
- Pequeno: r = 0,1 — uma associação fraca
- Média: r = 0,3 — relação moderada
- Grande: r = 0,5 — uma forte associação
Em muitas áreas da psicologia e da educação, correlações acima de 0,5 são raras para preditores únicos devido à complexidade do comportamento humano, por exemplo, a correlação entre horas de estudo e graus de exame normalmente varia de 0,3 a 0,5, indicando um efeito moderado.
Interpretação da Razão de Odds
Para as razões de probabilidades, as referências são mais dependentes do contexto. Na medicina, uma razão de probabilidades de 1,5 é por vezes considerada um efeito fraco, 2,0 moderado e 3,0 ou mais forte. Contudo, em epidemiologia, mesmo as razões de probabilidades pequenas (por exemplo, 1,2) podem ser significativas se a exposição for comum e o resultado for grave (por exemplo, cancro). A chave é combinar o tamanho do efeito com o risco de base: um pequeno efeito relativo pode ter um grande impacto absoluto na saúde da população.
Concepção comum sobre o tamanho do efeito
Apesar de sua crescente proeminência, persistem vários equívocos:
- "Um tamanho de efeito grande sempre significa que o resultado é importante." Um grande tamanho de efeito de um estudo mal desenhado com variáveis de confusão pode ser enganoso, devendo ser interpretado em paralelo com a qualidade do estudo, representatividade da amostra e potenciais vieses.
- "O tamanho do efeito substitui a necessidade de valores-p." Tanto os valores p quanto os tamanhos de efeito servem para funções complementares. Um valor p verifica se o efeito observado pode ser devido ao acaso, enquanto o tamanho do efeito quantifica sua força.
- "Os parâmetros de Cohen são universais." Os benchmarks variam por disciplina. Em alguns campos (por exemplo, física ou genética), tamanhos de efeito de d = 0,2 podem ser considerados enormes, enquanto na psicologia social, d = 0,8 podem ser rotina. Os pesquisadores devem referenciar normas específicas de campo quando possível.
- "O tamanho do efeito é apenas para testes paramétricos." Existem tamanhos de efeito não paramétricos, como o delta de Cliff para dados ordinais, a correlação ranque-bisserial e o V de Cramer para testes qui-quadrado, que oferecem interpretação comparável sem pressupostos de distribuição normal.
Exemplos práticos de tamanho do efeito na pesquisa
Para ilustrar a utilidade do tamanho do efeito, considere três cenários de pesquisa:
Exemplo 1: Comparando Dois Métodos de Ensino
Um pesquisador atribui aleatoriamente 50 alunos a um novo currículo interativo e 50 a uma palestra tradicional. Os escores pós-teste mostram uma diferença média de 4 pontos (novo: 82, tradicional: 78) com DP agrupado = 10. Cohen's d = 0,4 - um efeito pequeno a médio. O valor de p é 0,04 (significativo em α = 0,05). Sem tamanho de efeito, um leitor pode superestimar a importância do achado "significativo".
Com d = 0,4, o pesquisador reconhece que o novo método oferece uma melhoria modesta, talvez não suficiente para justificar uma sobrecarga curricular dispendiosa.
Exemplo 2: Correlação entre exercício e humor
Um estudo realizado com 200 adultos encontrou um r de Pearson de 0,25 entre as horas semanais de exercício e os escores de humor autorreferidos (p = 0,001), uma correlação de pequena a média, o que indica que o exercício explica apenas 6% da variância no humor, embora estatisticamente significante, a implicação prática é que o exercício é um dos muitos fatores que influenciam o humor, e intervenções direcionadas ao exercício isoladamente podem ter efeito limitado.
Exemplo 3: Razão de probabilidades num estudo de caso-controle
Um estudo caso-controle de câncer de pulmão (200 casos, 200 controles pareados) investiga a associação com um biomarcador específico. A razão de chances é de 3,2 (IC 95%: 2,1–4,9), indicando que as chances de câncer de pulmão são mais de três vezes maiores naqueles com o biomarcador. Este é um forte efeito na epidemiologia. O intervalo de confiança (excluindo 1) confirma significância estatística, e o tamanho do efeito orienta mais pesquisas sobre mecanismos causais potenciais.
Tamanho do Efeito de Relato em Artigos de Pesquisa
Guias de estilo e requisitos de periódicos evoluíram para o relatório de tamanho de efeito. O Manual de Publicação da APA (7.a ed.) afirma: "Para que o leitor aprecie a magnitude ou importância dos achados de um estudo, é quase sempre necessário incluir alguma medida do tamanho de efeito na seção Resultados." Da mesma forma, as diretrizes da American Medical Association (AMA) e da EQUATOR Network para ensaios clínicos esperam tamanhos de efeito com intervalos de confiança.
Ao relatar, siga estas melhores práticas:
- Relate sempre o tipo específico de tamanho de efeito utilizado (por exemplo, Cohen's d, Pearson's r, Hedges' g).
- Indicar o intervalo de confiança para a estimativa do tamanho do efeito (por exemplo, IC 95% [0,12; 0,68] para d).
- Interprete o tamanho do efeito no contexto da literatura anterior e relevância prática, não apenas os benchmarks.
- Evite frases como "um grande tamanho de efeito foi encontrado" sem discutir também o que "grande" significa no contexto desse estudo.
Exemplos de boa notificação: "O grupo intervenção obteve pontuação maior do que o grupo controle, o de Cohen d = 0,63, IC 95% [0,27; 0,99], um efeito médio-grande consistente com metanálises prévias".
Limitações de Efeito Tamanho Benchmarks
Embora os benchmarks de Cohen sejam ferramentas de ensino úteis, eles têm limitações. Eles foram originalmente propostos para as ciências comportamentais e podem não se aplicar em outros campos. Tamanho do efeito de 0,2 em ensaios clínicos de medicamentos que salvam vidas pode ser extremamente importante, enquanto Tamanho do efeito de 0, 8 em um estudo de características de personalidade pode ser trivial. Além disso, tamanhos de efeito podem ser inflados em amostras pequenas (especialmente com N pequeno e grande viés) ou deflacionados por erro de medição.
Outra limitação é o risco de "efeito de mineração" - pesquisadores escolhendo a métrica de tamanho de efeito que faz seus resultados parecer mais impressionante. Para contrariar isso, recomenda-se pré-registro de métricas de tamanho de efeito. Além disso, os meta-analisadores preferem cada vez mais diferenças médias padronizadas que se ajustam para viés de amostra pequena (por exemplo, Hedges' g) e usam modelos de efeitos aleatórios para explicar a variabilidade entre estudos.
Tamanho do efeito e análise de energia
O tamanho do efeito é central para a análise de potência, que determina o tamanho da amostra necessária para detectar um efeito com um nível desejado de poder estatístico. G* Poder ou ferramentas semelhantes, pesquisadores introduzem o tamanho de efeito esperado (muitas vezes baseado em estudos anteriores ou dados piloto), o nível de significância (α) e o poder desejado (tipicamente 0,80).O software produz o tamanho de amostra necessário.Por outro lado, após um estudo, os pesquisadores podem usar o tamanho de efeito observado para calcular o poder pós-hoc alcançado, embora esta prática seja controversa, pois não aborda a questão primária do estudo e pode ser enganosa.
Por exemplo, uma análise de potência a priori para um teste t de dois grupos com o objetivo de detectar um efeito médio (d = 0,5) com α = 0,05 e poder = 0,80 requer cerca de 64 participantes por grupo (128 total). Isso ajuda os pesquisadores a evitar estudos pouco potentes que desperdicem recursos e produzam estimativas confiáveis.
Conclusão
Calcular e interpretar o tamanho do efeito é crucial para entender o impacto real dos resultados da pesquisa. Ao se mover para além do pensamento dicotômico de "significativo vs. não significativo" e enfocar a magnitude dos efeitos, os pesquisadores podem tirar conclusões mais nuances e replicáveis. Tamanho do efeito facilita a meta-análise, informa o planejamento de poder, e fornece uma linguagem comum para comparar achados entre estudos e campos.
Para estudantes e educadores, dominar os conceitos de tamanho de efeito – incluindo quando usar o d de Cohen, o r de Pearson ou odds ratios – é um passo essencial para se tornar consumidores críticos e produtores de pesquisa. Como a comunidade científica continua a enfatizar transparência e reprodutibilidade, o tamanho de efeito continuará a ser uma pedra angular da prática estatística sólida.Se você está realizando uma pequena experiência em sala de aula ou um grande ensaio clínico, relatar e interpretar o tamanho de efeito deve ser uma parte rotineira do seu fluxo de trabalho analítico.
Para mais informações, consultar o Manual de Publicação APA para orientações sobre a comunicação de tamanho de efeito, e visitar o Centro Nacional de Informação em Biotecnologia para uma visão prática do tamanho do efeito na pesquisa médica. Para um mergulho mais profundo em métodos computacionais, o pacote efsize para R fornece funções abrangentes. Calculadora de tamanho de efeito psicométrico oferece uma ferramenta online fácil para computação rápida.