Este trabajo presenta ORIÓN, un pipeline secuencial de cuatro agentes LLM especializados —Alnitak, Alnilam, Mintaka y Rigel— diseñado para estimar el riesgo de fallo clínico de ensayos oncológicos de Fase II/III a partir del texto no estructurado de sus protocolos. La arquitectura descompone el proceso en extracción de características clínicas, enriquecimiento mediante la tasa base empírica de fallo del estrato, estimación calibrada del riesgo y generación de una explicación final en lenguaje natural, con traspasos estructurados y trazables entre etapas.
Más allá de la capacidad predictiva, el objetivo central es evaluar qué ocurre con la información cuando una tarea clínica se distribuye entre varios agentes: cuánto se conserva, dónde aparecen los errores y hasta qué punto la arquitectura permite atribuirlos. En la evaluación ampliada (n=97), ORIÓN mostró paridad con un agente monolítico equivalente en Accuracy (66,0% vs. 66,0%) y una ventaja no significativa en AUC (0,676 vs. 0,634; McNemar p=1,000; DeLong p=0,415). La principal ventaja de la descomposición no aparece, por tanto, como una mejora predictiva estadísticamente demostrada, sino en la posibilidad de observar y auditar explícitamente cada punto de la cadena.
El análisis de fidelidad muestra una degradación monotónica de la información entre agentes (100,0% → 99,3% → 97,9%), aunque los errores observados fueron principalmente mecánicos —como una confusión entre escalas 0–1 y 0–100— y no alucinaciones de contenido. La etapa de enriquecimiento con tasa base empírica emerge como un componente crítico: su eliminación redujo el AUC de 0,667 a 0,438, aunque este resultado debe interpretarse con cautela por el reducido tamaño muestral. Al mismo tiempo, la inyección controlada de corrupción reveló una limitación fundamental: el sistema solo detectó el 4,0% de las anomalías introducidas en su propio input, mostrando que una arquitectura auditable no es necesariamente una arquitectura capaz de autovigilarse.
El hallazgo más importante quizá sea precisamente este límite: cuatro aproximaciones de modelado convergen en un techo predictivo de AUC 0,53–0,61, sugiriendo que la información contenida en el diseño del protocolo, sin datos de eficacia real, es insuficiente para predecir con alta precisión el fallo clínico. A ello se suma un sesgo persistente asociado a la ausencia de comparador, responsable de una parte sustancial del error residual.
Este trabajo es, por tanto, una prueba de concepto metodológica y de ingeniería en fase exploratoria. Las muestras son reducidas en varios experimentos, la fiabilidad inter-anotador del ground truth está todavía pendiente de cálculo, se ha utilizado una única familia de modelos y un único dominio de aplicación, y varias de las conclusiones requieren replicación sobre muestras mayores. ORIÓN no se plantea como una herramienta clínica validada, sino como un estudio sobre cómo diseñar, medir y auditar sistemas multiagente LLM cuando la trazabilidad del proceso es tan importante como su resultado final.
Notas:
– Me he dejado una pasta en la API de claude, pero bueno, todo por la ciencia.