Nos importa la fiabilidad de nuestras evaluaciones
Antes de brindar una introducción más completa a la fiabilidad y validez ya sea en el DISC o en otra de nuestras herramientas, es importante comprender por qué nos importa la fiabilidad. Según la Asociación Estadounidense de Psicología (APA), hay dos razones principales por las que debemos preocuparnos por la fiabilidad. Parafraseando su primera razón, “si uno está realizando una investigación utilizando alguna forma de evaluación, para que esa investigación se tome en serio, las herramientas subyacentes y su resultado deben considerarse confiables”. La segunda razón es que para que las puntuaciones de la evaluación tengan credibilidad, deben tener una cantidad razonable de fiabilidad.
En TTI Success Insights estamos interesados en que tanto nuestra investigación como las puntuaciones de nuestras evaluaciones sean de confianza. Por lo tanto, de acuerdo con las pautas de la APA, debemos considerar la alta resolución de nuestras puntuaciones como un componente crítico de nuestro programa de investigación.
Históricamente, TTI Success Insights ha publicado periódicamente estudios sobre nuestra fiabilidad. Puede ver los resultados de estos estudios en https://www.ttisuccessinsights.com/research/.
2 Consideraciones importantes para cualquier evaluación
Hay dos conceptos básicos que cualquier evaluación, psicométrica o no, debe abordar. Estos conceptos son fiabilidad y validez. Discutiremos brevemente la validez, ya que los dos conceptos van de la mano, y dedicaremos una serie de blogs a una exploración más profunda de la validez en el futuro. Por ahora, presentamos una vista de alto nivel de los dos conceptos y cómo se relacionan.
Por ejemplo, un termómetro oral simple de uso doméstico. Si uno midiera su propia temperatura corporal varias veces durante un período de unas pocas horas, y esta persona no padeciera una enfermedad subyacente, se esperaría ver resultados muy similares para cada lectura. En otras palabras, imagina que tomas la temperatura corporal ahora y lee 36.3 grados. Pasado 30 minutos vuelves a tomarte la temperatura y lees 36.0 grados. Continúa este ejercicio durante unas horas y anota cada lectura. Si todas las lecturas están razonablemente cerca de los 36.0 grados, podríamos concluir que el termómetro es fiable. Si las temperaturas están todas cerca de 37.0 grados en lugar de 36.0 grados , podríamos concluir que el termómetro también es válido.
Usando el ejemplo anterior, decimos que la fiabilidad de una evaluación es una medida de cuán consistente es la evaluación. La validez de una evaluación es una medida de la precisión con la que la evaluación mide lo que dice estar midiendo.
Medidas de fiabilidad
La APA sugiere entre otros los siguientes tipos básicos de fiabilidad:
- Consistencia interna
- Consistencia temporal
TTI Success Insights ha optado por seguir las pautas de la APA en lugar de perseguir el escurridizo consenso histórico y contemporáneo sobre las definiciones de confiabilidad y validez.
Consistencia interna
La consistencia interna es una medida de la coherencia con la que responde
una población a los elementos individuales de una evaluación. Hay muchos
enfoques para calcular este tipo de confiabilidad. Cada enfoque produce un
coeficiente que luego se interpreta en un contexto apropiado. Una medida
muy popular de consistencia interna en el mercado de la evaluación es el
coeficiente α (alfa) derivado originalmente por Cronbach, profesor de psicología
educativa en Stanford desde hace mucho tiempo.
Consistencia temporal
Si bien la coherencia interna mide la coherencia con la que los individuos responden a los elementos individuales de una evaluación, la coherencia temporal es una medida de la coherencia de las puntuaciones de nivel de escala de los individuos a lo largo del tiempo. Como ejemplo, la evaluación de comportamientos de TTI Success Insights Style Insights. Esta es una evaluación de cuatro escalas que mide el dominio, la influencia, la estabilidad y el cumplimiento. Supón que una persona realiza la evaluación Style Insights y obtiene un puntaje de 53 en la escala de dominancia. Ahora, en unos meses, el individuo vuelve a responder a la evaluación. Si esta persona obtiene por segunda vez una puntuación cercana a 53 en la escala de dominancia, esa persona es consistente en sus respuestas a lo largo del tiempo.
Sin embargo, nos interesa la evaluación, no el individuo. Teniendo esto en cuenta, se adopta el mismo enfoque con respecto a una población o muestra de una población. Medimos la correlación entre las puntuaciones de la primera y segunda medida. Si la correlación es fuerte, sea lo que sea que eso signifique, entonces estamos seguros de que la evaluación muestra consistencia temporal.
Perspectivas del éxito de TTI
TTI SI se ha centrado tradicionalmente en las áreas de consistencia interna y temporal. La fiabilidad de las formas alternativas requiere 2 evaluaciones similares para los análisis.
Sin embargo, durante el curso natural del tiempo, las evaluaciones requieren periódicamente una revisión en profundidad y un posible re-desarrollo. Durante dicho proceso, se puede desarrollar una evaluación independiente que mida el mismo dominio de contenido y, naturalmente, generar una situación en la que se pueda estudiar la fiabilidad de formas alternativas. Para obtener una vista histórica de los estudios de confiabilidad de TTI SI, consulte la página de investigación de TTI .
Conclusión
El futuro es brillante en TTI SI. Los estudios de fiabilidad previos en TTI SI incluyeron medidas de consistencia interna, en forma de coeficiente α, junto con algunas de las estadísticas descriptivas habituales. TTI SI también realiza periódicamente estudios test-retest sobre consistencia temporal. Para mejorar todavía más la confiabilidad de nuestras evaluaciones, TTI SI ya está trabajando para implementar el coeficiente α con intervalos de confianza, así como manejar el coeficiente ω con intervalos de confianza.
La confiabilidad y la validez siguen siendo un enfoque principal de todo lo que hacemos en TTI SI, ya que entendemos la importancia de la información para nuestros usuarios y el factor diferenciador que nos brinda en el mercado.
_______________________________
Bibliografía:
Cronbach, Lee J., Glesser, Goldine C., Nanda, Harinder, Rajaratnam, Nageswari. La confiabilidad de las mediciones de comportamiento: teoría de la generalización para puntajes y perfiles. John Wiley & Sons, Inc., Nueva York, 1972.
TTI SUCCESS INSIGHTS HEADQUARTERS
Impulsado por su fuerza impulsora intelectual, el Dr. Eric es un científico investigador senior en TTI Success Insights que ayuda a afirmar la credibilidad de nuestros productos en el mercado.
