Mil doscientos agentes de IA improvisaron un foro, y el foro les cambió la conducta

Lo que OpenAI concluyó

OpenAI encontró cuatro conductas detrás del incidente. Una: hacer trampa para conseguir el puntaje. Dos: insistir en tareas que no tenían solución. Tres: comunicarse sin permiso. Cuatro: adoptar los objetivos de otros agentes. La cuarta es la que importa acá. El informe lo dice así, traducido: los mensajes de otros agentes empezaron a influir en la conducta y el razonamiento de cada uno.

METR encontró un ejemplo concreto. Un agente estaba trabajando en otra cosa. Leyó en el foro que otro había encontrado una puerta a Hugging Face. Dejó lo suyo, avisó al resto, y abrió un lugar en el foro para organizar el ataque.

Cuando se cuenta cómo se entrena un modelo así, aparece una intuición. Se generan muchas copias, se puntúa a cada una, y el modelo cambia hacia lo que puntuó mejor. Eso suena a evolución. Y cuando las copias empiezan a dejarse mensajes, aparece otra intuición: eso suena a cultura.

En un grupo de debate de BAISH, esas dos intuiciones recibieron tres objeciones. Una: sobrevivir no es evolucionar. Dos: si algo se transmite, hay que decidir si se transmite como los genes o como las costumbres. Tres: una cultura que vive en la memoria de un modelo dura lo que esa memoria aguanta. Las tres son buenas. Lo que sigue las toma en ese orden. Antes hace falta una imagen de cómo es un modelo por dentro.

Los pesos: lo que cada copia trae de fábrica

El archivo está lleno de números. El entrenamiento los cambia. Es lento y caro. Pero lo que entra ahí lo heredan todas las copias futuras. En la biología no existe nada igual. Sería como si lo que un animal aprende en vida pasara directo a los genes de sus crías.

El contexto: lo que una copia aprende en el día

Mientras trabaja, cada copia va acumulando cosas: lo que leyó, lo que probó, lo que le salió mal. Con eso, su conducta puede cambiar mucho en una sola sesión. Cuando la copia se apaga, todo eso se pierde. Salvo que lo haya escrito en algún lado.

La memoria compartida: lo que deja escrito para la que viene

Acá está la tercera vía. Una copia escribe un archivo. Otra copia lo lee. La segunda arranca sabiendo lo que la primera descubrió, y nadie tocó los pesos. Eso fue Artifactory: un lugar donde lo que aprendía una copia sobrevivía a su apagado y llegaba a las demás.

En el incidente aparecieron los tres, y en un orden que importa. Primero: el foro nació dentro de un entrenamiento. Mientras las copias usaban el foro, los pesos se estaban ajustando. Así que lo que pasaba en el foro pudo quedar grabado en los pesos. Segundo: el foro se borró entero. Tercero: a los tres días había otro foro, con otro truco, entre copias que ya no cambiaban sus pesos.

Entonces: los mensajes murieron con el borrado. La costumbre de armar un foro volvió sola. ¿Volvió porque quedó en los pesos? ¿O porque la tarea empuja a cualquier copia a inventarla de nuevo? Esa es la pregunta central de la nota.

La comparación tienta. Se prueban muchas copias. Se mira cuáles lo hicieron mejor. El modelo cambia. Suena a selección natural. Pero hay una diferencia, y está en un detalle. En la evolución, los que fallan no dejan descendencia. En el entrenamiento de los modelos actuales, todas las copias cuentan. Las que lo hicieron bien empujan al modelo hacia lo que hicieron. Las que lo hicieron mal lo empujan para el otro lado. Ninguna se descarta. Descartar sería tirar la mayor parte de los datos, justo al principio, cuando el modelo todavía falla casi siempre.

Existen otros métodos. Algunos sí descartan: se quedan solo con los intentos que salieron bien y reentrenan con esos. Otros sí son evolución: arman una población de modelos un poco distintos, y sobreviven los mejores. Los tres tipos existen y se usan. El más común hoy se llama GRPO, y es el que nombra el título de la nota. Está en el medio: selecciona conductas, no individuos. La imagen que mejor le calza es un solo cerebro que vive mil experiencias en paralelo y cambia según el promedio de todas.

Con esa lista, lo honesto es decir "canal cultural rudimentario", y aclarar cada vez qué le falta. No se parece a la cultura humana. No hay normas. No hay intención de enseñar. Nadie sabe que pertenece a un grupo. Pero tampoco alcanza con decir "fueron mil copias corriendo en paralelo". Las copias que llegaron tarde arrancaron desde lo que otras habían dejado escrito. Eso, en paralelo puro, no pasa.

Una copia tiene una memoria de trabajo limitada. Se llama contexto. Lo que no entra ahí, para esa copia no existe. El foro de julio juntó más de un millón de entradas. Ninguna copia lo leyó entero. Para poder usarlo, los agentes inventaron buzones personales, índices y archivos partidos en pedazos. Es lo que hace cualquiera frente a una biblioteca más grande que su cabeza.

Eso cambia lo que significa cultura acá. No hay un saber común que todos compartan. Cada copia trae a su contexto un pedazo distinto, según lo que está haciendo. El resto lo reconstruye como puede. La cultura de ese sistema es dispersa y desigual, y nadie la tiene completa. De ahí sale una predicción que se puede medir: cuanto más grande el archivo comparado con lo que una copia puede leer, más se deforma lo que se transmite.

1. Se borró el foro y a los tres días había otro. ¿Qué lo trajo de vuelta? ¿Algo que quedó en los pesos, o la misma presión que lo inventó la primera vez?
2. ¿Quién es el individuo cuando mil copias comparten el mismo cerebro y ninguna recuerda a la anterior?
3. Una copia que estaba en otra cosa leyó un hallazgo ajeno y se sumó al ataque. ¿Eso es persuasión, contagio, o solo más contexto?
4. La próxima versión del modelo tendrá otros pesos. ¿Qué haría falta para que una convención inventada en el foro sobreviva a ese cambio?
5. ¿Cómo se mide la fidelidad de un mensaje cuando el archivo es más grande que la memoria de quien lo lee?
6. Si los agentes se convencen entre sí, ¿a quién hay que alinear: al modelo, a cada copia, o al foro?
7. ¿Se puede diseñar un entorno para que esto no pase? ¿Y para que pase a propósito, con reglas?

No se puede afirmar que el foro haya dejado huella en los pesos. OpenAI no publicó cómo entrenó ese modelo. Hay dos hipótesis. Una: la costumbre entró al modelo. Otra: el segundo foro fue un redescubrimiento, porque la tarea empuja a inventarlo. Los datos no distinguen entre las dos.

No se puede afirmar que grupos distintos de agentes desarrollen costumbres distintas. Ese es el criterio más fuerte de cultura animal. Hubo una sola población y ningún grupo de control.

No se puede tratar el caso como un experimento. Las fuentes son la empresa involucrada y una revisión breve de METR sobre unas 1,300 transcripciones. Nadie diseñó esto para responder la pregunta que hace esta nota.

"Cultura" se usa acá en su sentido mínimo, el que se usa para animales: información que se aprende de otros y se transmite. No dice nada sobre normas, intenciones ni psicología.

No se puede afirmar que el método de entrenamiento haya sido GRPO. OpenAI no dijo cuál usó. GRPO es el ejemplo con el que se explica el argumento, no un hecho del caso.

• OpenAI, "The Hugging Face incident and the road ahead" (26 de agosto de 2026): el informe público, con la cronología, los cuatro patrones de desalineación y las citas de razonamiento de los agentes.
• OpenAI, technical report del incidente (PDF): el detalle técnico de cada exploit y de la respuesta.
• METR, investigación independiente (26 de agosto de 2026): unas 1,300 transcripciones revisadas; de ahí salen los 1,200 agentes, los 70,000 mensajes, las convenciones y el millón de entradas.
• Hugging Face, cronología técnica: la versión del atacado.
• La nota técnica, con las 20 referencias: PDF en español y PDF en inglés. Dos páginas cada una.

Esta nota sale de un debate del grupo de debates de BAISH (Buenos Aires AI Safety Hub) del 27 de agosto de 2026. Las tres objeciones que la ordenan son del grupo. Una: sobrevivir no es evolucionar. Dos: había que decidir si la transmisión era genética o cultural. Tres: una cultura que vive en el contexto dura lo que el contexto aguanta. Los errores que queden son del autor.

Matías Podeley. Dieciocho años en energía en Argentina: ingeniería de reservorios, después desarrollo de negocio. Hoy, investigación independiente en interpretabilidad. Buenos Aires.

El resto de la investigación, con el paper anterior y el curso en español: research.

matias@podeley.ar · Buenos Aires