Introducción al examen de la relación de probabilidad

El Test de la relación de probabilidad (LRT) es una herramienta estadística fundamental para comparar el ajuste de dos modelos competidores. Evalua si un modelo más complejo proporciona una explicación significativamente mejor de los datos observados que un modelo de base más simple y anidado. Al cuantificar la mejora de la probabilidad, el LRT ayuda a los investigadores a tomar decisiones de principio sobre la complejidad del modelo, reduciendo el riesgo de sobreajuste mientras todavía captura patrones significativos.

La idea central de la LRT data de la obra del estadístico británico Sir Ronald Fisher y fue formalizada posteriormente por Samuel S. Wilks en 1938. Wilks demostró que en ciertas condiciones, la estadística de prueba sigue de manera asintomática una distribución de chi-square, lo que hace práctico para la prueba de hipótesis. Hoy, la LRT sigue siendo una piedra angular de la inferencia basada en la probabilidad, a menudo utilizada junto con criterios de información como AIC y BIC.

Cuándo utilizar el test de relación de probabilidad

El test de relación de probabilidad es más apropiado al comparar modelos anidados — es decir, cuando el modelo más simple es un caso especial del modelo más complejo. Por ejemplo, un modelo de regresión lineal sin términos de interacción se anida dentro de un modelo que los incluye, o un modelo con sólo efectos principales se anida dentro de un modelo que incluye términos cuadráticos. En tales casos, el LRT prueba directamente si los parámetros adicionales mejoran el modelo más allá de lo que se esperaría por casualidad.

Las pruebas alternativas para la comparación de modelos incluyen la prueba Wald y la prueba Score (Lagrange Multiplier). Cada una tiene fortalezas y debilidades:

  • Prueba de Wald: Requiere sólo la estimación del modelo completo y es computacionalmente más simple para probar coeficientes individuales. Sin embargo, puede ser menos confiable para pequeñas muestras o cuando los parámetros están cerca del límite del espacio del parámetro.
  • Prueba de puntuación: Sólo requiere la estimación del modelo restringido y se utiliza a menudo en la construcción de modelos. Es particularmente útil cuando el modelo completo es difícil de estimar.
  • Prueba de proporción de probabilidad: Considerada en general la más fiable para muestras moderadas a grandes, ya que compara las posibilidades completas de ambos modelos directamente. Requiere la fijación de ambos modelos pero es invariante a la parametrización y a menudo más potente.

Elige la LRT cuando tengas los recursos computacionales para adaptarse a ambos modelos y necesitas una estadística de prueba robusta y bien adaptada. Está especialmente favorecida en modelos lineales generalizados (GLMs), modelos de efectos mixtos y modelado de ecuación estructural.

Sumas del test de relación de probabilidad

Para que la LRT produzca resultados válidos, se deben cumplir las siguientes hipótesis:

  • Modelos anidados: El modelo nulo debe ser un caso especial del modelo alternativo, obtenido mediante la fijación de algunos parámetros a valores fijos (normalmente cero).
  • Condiciones de regularidad: Los modelos deben satisfacer las condiciones de regularidad estándar para la estimación de máxima probabilidad (MLE): el parámetro verdadero está en el interior del espacio del parámetro, la función de probabilidad es suave, y la matriz de información Fisher esperada es definida positiva. Esto excluye los parámetros de límite (por ejemplo, componentes de varianza a cero) donde la distribución asintotica puede descomponerse.
  • Tamaño de la muestra: La LRT es una prueba asintotica, que se basa en propiedades de gran muestra. Aunque a menudo se realiza bien con tamaños de muestra moderados (por ejemplo, n √ 30 o n √° 50 dependiendo de la complejidad del modelo), pequeñas muestras pueden llevar a tasas de error infladas Tipo I. Existen métodos de corrección (por ejemplo, corrección Bartlett) pero están más allá del alcance de esta guía.
  • Observaciones independientes y distribuidas idénticamente (i.i.d.) La mayoría de las formas estándar de la LRT asumen observaciones independientes. Para datos agrupados o de serie de tiempo, se pueden necesitar versiones robustas o pruebas alternativas.

Si se violan estas suposiciones, la estadística de prueba no puede seguir la distribución de la chi-cuadrilla, y el valor p puede ser poco fiable. En tales casos, se pueden utilizar pruebas de la relación de arranque o probabilidad con estimaciones de covariancia robustas.

Procedimiento de paso a paso para realizar el examen de proporción de probabilidad

El procedimiento LRT puede dividirse en pasos claros y reproducibles:

Paso 1: Especifique los modelos nulos y alternativos

Defina el modelo más simple (null, H0) y el modelo más complejo (alternative, H1). Asegúrese de que están anidados. Por ejemplo, en una regresión logística que predice la diabetes (sí/no), el modelo nulo podría incluir sólo la edad, mientras que el modelo alternativo añade IMC y la historia familiar.

Paso 2: Fitar ambos modelos y obtener mejoras de Log-Likelihoods

Utilice la estimación de probabilidad máxima para adaptarse a cada modelo a los datos. Log-likelihood (el logaritmo natural de la función de probabilidad evaluada en el MLE). La mayoría de los programas estadísticos proporciona la probabilidad de registro directamente (por ejemplo, en R, en Stata, en el scikit-learn de Python o los estandarmodels). La probabilidad de log es siempre negativa o cero, con cero

Paso 3: Computar la estadística de prueba

La estadística de la LRT es:

D = 2 × (pregunta de probabilidad dealternativa – probabilidad de registronulo)

Este valor siempre es no negativo porque el modelo alternativo no puede tener una menor probabilidad de registro que la nula (ya que contiene la nula como un caso especial). Un gran D indica que el modelo alternativo explica significativamente más variación en los datos.

Paso 4: Determinar los grados de libertad

Los grados de libertad (df) equivalen a la diferencia en el número de parámetros libremente estimados entre los dos modelos. Por ejemplo, si el modelo nulo tiene 3 parámetros (intercepto + 2 predictores) y la alternativa tiene 5 parámetros (intercepto + 4 predictores), df = 2.

Nota: Cuando los parámetros se limitan (por ejemplo, componentes de varianza fijos a cero), el cálculo df puede no ser simplemente la diferencia de cuenta: los problemas de límite pueden hacer que la distribución asintotica sea una mezcla de chi-squares.

Paso 5: Computar el valor p

Bajo la hipótesis nula, la estadística de prueba D sigue una distribución de chi-square con df igual a la diferencia de parámetros. El valor p es la probabilidad de observar una estadística tan extrema como D bajo esa distribución. Use una tabla de chi-square o herramientas computacionales:

  • En R:
  • En Python:
  • Muchos paquetes de software automatizan este paso (por ejemplo, en el paquete de Imtest de R o en R para modelos anidados.

Paso 6: Tomar una decisión

Compare el valor p a su nivel de significado elegido (comúnmente α = 0.05). < α, reject the null hypothesis in favor of the alternative model, concluding that the additional parameters provide a statistically significant improvement in fit. If p ≥ α, fail to reject the null, meaning the simpler model is adequate.

Recuerde: La importancia estadística no garantiza la importancia práctica. Considere los tamaños de los efectos y el contexto sustantivo.

Ejemplo práctico: Comparación de modelos de regresión lineal

Ilustremos la LRT con un ejemplo concreto. Supongamos que tenemos datos sobre 200 individuos con variables: ingresos (dependiente, en miles de dólares) Edad (años), Educación (años de escolarización) y experiencia (años de trabajo). Queremos probar si la adición de educación y experiencia mejora la predicción de los ingresos más allá de la edad.

Modelos

  • Modelo nulo (M0): ingresos = β0 + β1·age + ε
  • Modelo alternativo (M1): ingresos = β0 + β1·age + β2·educación + β3·experiencia + ε

Estos modelos están anidados: M1 incluye todos los términos de M0 más dos parámetros adicionales (β2 y β3).

Fijar y mejorar los niveles de registro

Después de ajustar ambos modelos usando los mínimos cuadrados ordinarios (que bajo la normalidad produce MLE), obtenemos:

  • Preferencias de registro para M0: -602.3
  • Preferencias de registro para M1: -589.7

Note que M1 tiene una probabilidad de registro más alta (menos negativa), indicando mejor ajuste.

Estadística de prueba

D = 2 × (-589.7 – (-602.3) = 2 × 12.6 = 25.2

p-valor Cálculo

Con 2 grados de libertad, buscamos la distribución de la chi-cuadra: produce p ♥ 3.4 × 10−6. Esto es muy por debajo de 0.05.

Conclusión

Rechazamos el modelo nulo. La adición de educación y experiencia mejora significativamente la predicción de los ingresos. En la práctica, se examinarían los coeficientes individuales, se revisarían los diagnósticos residuales y posiblemente se considerarían otros modelos (por ejemplo, interacciones).

Ejecución en R

Para los usuarios de R, la LRT se puede realizar utilizando la función del paquete :

Esto automáticamente computa D, df y p-valor. Alternativamente, trabaja para modelos lineales anidados y modelos lineales generalizados.

Interpretar resultados y saltos comunes

Más allá del valor p, considere lo siguiente al usar el LRT:

Tamaño del efecto y significancia práctica

Un LRT muy significativo puede ocurrir con mejoras triviales si el tamaño de la muestra es grande. Siempre examinar la magnitud de la mejora, por ejemplo, el aumento de la R-squared o la disminución en AIC. Un ensayo significativo con un efecto insignificante puede no justificar la complejidad del modelo.

Múltiples Comparaciones

Si está probando muchos modelos anidados secuencialmente (por ejemplo, selección de avanzada), el uso repetido de LRT infla el error Tipo I. Use correcciones como Bonferroni o use criterios de información (AIC, BIC) para la selección de modelos. La LRT es mejor para probar una hipótesis específica y pre-planificada.

Cuestiones de los límites

Cuando se prueba si un parámetro de varianza es cero (por ejemplo, en modelos de efectos aleatorios), la hipótesis nula se encuentra en el límite del espacio del parámetro. En tales casos, la estadística de prueba sigue una mezcla de distribuciones de chi-cuadra (por ejemplo, 50:50 mezcla de χ20 y χ21 para una sola varianza). Se necesitan procedimientos especializados; los valores de p estándar LRT son demasiado conservadores.

Tamaño de la muestra y asintotica

Para tamaños de muestras pequeños, la aproximación de la chi-cuadra es pobre. Considere el uso de un bootstrap paramétrico: simular datos bajo la distribución nula, calcular la estadística de LRT para cada conjunto de datos simulados, y derivar un valor p empírico. Este enfoque es más fiable pero computacionalmente intensivo.

Modelos no utilizados

La LRT no puede utilizarse para comparar modelos no modificados (por ejemplo, modelo lineal vs. cúbico sin anidación). Para tales comparaciones, utilice AIC, BIC o la prueba Vuong. La prueba Cox es otra opción para hipótesis no insonorizadas.

Conclusión

El Test de la relación de probabilidad es un método potente y asintotico para comparar modelos anidados. Al proporcionar un marco estadísticamente riguroso para decidir si la complejidad adicional está justificada, permite a los investigadores construir modelos parsimoniosos pero precisos. Hemos cubierto su fundamento teórico, suposiciones, aplicación paso a paso, y un ejemplo práctico utilizando la regresión. Recuerde verificar las suposiciones, especialmente el anidamiento, el tamaño de la muestra y las condiciones de regularidad de la herramienta de diagnóstico y para complementar el efecto de la determinación de la RTL.

Para más lectura, explore estos recursos externos: