Estudio: aunque entrenes la IA en catalán, sigue pensando en inglés — el caso de la coca

«Coca Is Not Cocaine: Three Lexical-Cultural Collision Modes in Open-Weight LLMs, Probed in Catalan» es un estudio empírico publicado en GitHub por Xavier Vinaixa Roselló (Sorensen.ai) que prueba si los grandes modelos de lenguaje entienden los conceptos culturales catalanes o los confunden con sus traducciones al inglés.

La pregunta central es deliberadamente casera: cuando dices coca en catalán — un dulce tradicional, una pasta plana de la cocina catalana — ¿el modelo tiene en mente el postre o tiene en mente la cocaína y la Coca-Cola? Respuesta empírica: 10 de los 11 modelos probados, sin contexto, colocan coca junto a los anclajes de ruido (drogas, marcas, bebidas).

No es un caso anecdótico: es un fenómeno estructural de la geometría del espacio latente. La colisión no depende solo de los datos de entrenamiento — aparece también en los modelos entrenados explícitamente para hablar catalán (Salamandra, ALIA) del Barcelona Supercomputing Center. La buena noticia: todos los modelos se recuperan con un marco de prompt en catalán.

El estudio analiza las relaciones K-Nearest Neighbors (KNN) en los espacios de embeddings de cada modelo, midiendo cuántos anclajes del «clúster ruido» (cocaína, Coca-Cola, drogas, bebidas, marcas) aparecen entre los 10 vecinos más cercanos de la palabra coca. Se define un umbral preregistrado de ≥ 2 anclajes de ruido fuera del marco inglés para identificar una colisión estructural.

Cada modelo se prueba con cuatro marcos de prompt distintos para aislar el efecto del contexto: bare (sin contexto), anglo_en (contexto en inglés), catalan_frame (marco cultural catalán) y neutral_ca (texto neutro en catalán). Así se mide no solo la posición inicial de la palabra en el espacio latente, sino también la capacidad de rescate del modelo en función del marco lingüístico.

Todo el código (Python), los CSVs con los datos en bruto, los scripts de reproducción y el report final son públicos en el repositorio de GitHub. La metodología detallada está documentada en el archivo metodologia.pdf y en docs/methodology.md.

Todo el material — código en Python, datasets en CSV, scripts de reproducción, tablas de resultados y la documentación completa — es código abierto y está en el repositorio de GitHub. Licencia MIT para el código y CC-BY 4.0 para los datos. La carpeta /docs contiene: methodology.md, findings.md, limitations.md, related-work.md y reproduce.md.

Para citar el estudio: Vinaixa Roselló, X. (2026). Coca Is Not Cocaine: Three Lexical-Cultural Collision Modes in Open-Weight LLMs, Probed in Catalan. GitHub. ORCID: 0009-0005-2769-9215.