La cada día más poderosa OpenAI (que negocia una inversión de Microsoft por 1.000 millones de dólares) presentó HealthBench, nuevo estándar de evaluación para medir cómo se desempeñan los modelos de lenguaje en contextos médicos reales. Este estándar, de código abierto, busca asegurar que la inteligencia artificial (IA) en salud sea precisa, segura y útil para pacientes y profesionales.
La IA de Google promete más empatía médica que la de los seres humanos
HealthBench se compone de 5.000 conversaciones simuladas entre usuarios o profesionales de la salud y modelos de IA. Cada respuesta generada por la IA es evaluada según criterios específicos diseñados por 262 médicos de 60 países, abarcando aspectos como precisión, claridad y adecuación al contexto clínico.
A diferencia de evaluaciones anteriores basadas en preguntas de opción múltiple, HealthBench permite una evaluación más realista y abierta, utilizando 48,562 criterios únicos que reflejan situaciones de emergencia, interpretación de datos clínicos y desafíos de salud global.
Revolución IA: China instaló un centro de datos submarino para entrenar a DeepSeek
Los resultados muestran una mejora significativa en los modelos de IA en los últimos dos años. Por ejemplo, GPT-3.5 Turbo alcanzó un 16% de cumplimiento de los criterios, mientras que GPT-4o logró un 32%. Modelos más recientes, como GPT-4.1 nano, superan a GPT-4o y son 25 veces más económicos.
Además, OpenAI lanzó dos variantes de HealthBench.
-
HealthBench Consensus: Incluye 34 dimensiones clave del comportamiento del modelo, validadas por consenso médico.
-
HealthBench Hard: Contiene 1,000 casos desafiantes donde los modelos actuales aún tienen dificultades, con una puntuación máxima actual del 32%.
HealthBench utiliza GPT-4.1 como evaluador automatizado, con resultados comparables a las evaluaciones humanas, lo que permite una evaluación más eficiente y escalable.
Este avance representa un paso importante hacia la integración segura y efectiva de la IA en el ámbito de la salud, ayudando a identificar áreas de mejora y a garantizar que los modelos de IA puedan apoyar a los profesionales de la salud y a los pacientes de manera confiable.