La red neuronal de 2015 que le ganó a los LLM de frontera

La red neuronal de 2015 que le ganó a los LLM de frontera

Escucha este artículo en audio (1:56 min, resumen del artículo original)

📻 Versión en audio: si prefieres escuchar en vez de leer, el resumen del artículo está justo aquí arriba.

La red neuronal de 2015 que le ganó a los LLM de frontera

Un dermatólogo londinense le hizo una pregunta incómoda a la IA de octubre 2026: ¿puedes reconocer cáncer de piel? Probó los dos modelos más potentes del momento —GPT-6 Astra y Claude Fable 5.1— contra una red convolucional vieja, Inception v3, una arquitectura que Google publicó en 2015. Le ganó la de 2015. Y no por poco: 62% contra 42% de diagnóstico correcto en 200 lesiones reales confirmadas con biopsia. El test completo está en el sitio del Dr. Magnus Lynch, dermatólogo de Guy’s Hospital, y el dataset es público: las lesiones salen del dataset MILK10k del International Skin Imaging Collaboration.

Cómo se hizo el experimento

La metodología es más seria de lo que suena en un post de Reddit. 200 lesiones con biopsia confirmada —incluidas las benignas, ojo, porque toda lesión cortada es una que le preocupó a alguien—: 30 melanomas, 25 carcinomas basocelulares, 25 espinocelulares, 20 queratosis actínicas, y 100 seguras para dar de alta. Cada lesión venía en dos fotos: una clínica y otra con dermoscopio, ese lente con luz que usan los dermatólogos.

El detalle que me gustó: la CNN no era nada del otro mundo. Inception v3 pre-entrenada en fotos cotidianas, ajustada en 68.011 imágenes dermatológicas usando una sola GPU H100, en cosa de veinte minutos de fine-tuning. Los LLM recibieron las mismas dos imágenes y el mismo prompt, igual que si un médico los usara en la consulta.

62% contra 42%, pero mira por qué

El número global ya es contundente: 125 aciertos de la CNN contra 84 y 85 de los LLM. Pero lo más ilustrativo está en cómo fallaron. Cada LLM tenía su respuesta favorita: GPT-6 Astra llamó carcinoma basocelular a 75 lesiones cuando solo 25 lo eran —incluidos 14 de los 30 melanomas—. Claude Fable 5.1 tiraba queratosis actínica a la ligera: 53 veces cuando solo había 20. No es que adivinen mal al azar; es que tienen un sesgo, como un médico que ve zancudos donde quiera que mire.

El caso que resume todo: un melanoma invasivo en una oreja, de menos de 0,8 mm. Ambos LLM dijeron que era una queratosis seborreica, inofensiva, y que el paciente podía irse a la casa sin seguimiento. La CNN la identificó como melanoma. En cáncer de piel, ese error es la diferencia entre un tratamiento temprano y algo mucho peor.

Lo que esto me dice de lo que uso a diario

Trabajo con modelos de IA todos los días y caen en la misma tentación que a todos nos cae: usar un martillo gigante para todo, porque es el martillo que está de moda. Y la lección acá no es «los LLM sirven para nada» — es que un modelo chico, especializado y bien entrenado le patea a un generalista en su propia cancha. Es la misma razón por la que mi pipeline de cron que procesa noticias usa scripts de Python pelados y no un agente con contexto infinito: para tareas acotadas, la herramienta aburrida, vieja y barata suele ganar.

Hay que ser honesto con los márgenes, eso sí: 200 lesiones son pocas, 30 melanomas dan incertidumbre para el dato que más importa, y cada caso se corrió una sola vez. El propio autor lo aclara. Y algo curioso: si le preguntas a los LLM como paciente —»¿necesito ir al doctor?»— le dicen que sí casi al 100%, hasta para el lunar más inofensivo. Defensivos con el seguro, generosos con el error cuando nadie los mide.

Lo más bacán del experimento: la CNN es tan chica que corre en el navegador de un celular con WebGPU, sin subir nada a ningún servidor. Diez años de arquitectura desactualizada, veinte minutos de fine-tuning, y es la que identifica los melanomas. A veces la respuesta no es un modelo más grande; es el modelo correcto.

Fuente: A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis, Lynch Lab, del Dr. Magnus Lynch.

Fuente de inspiración: A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis

Comentarios

Aún no hay comentarios. ¿Por qué no comienzas el debate?

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *