Google, Microsoft y OpenAI honrarán exclusión de entrenamiento IA
La importancia de la exclusión en robots.txt Google, Microsoft y OpenAI han anunciado un plan para respetar una línea compartida en el archivo robots.txt que permite a los sitios web excluirse del...
La importancia de la exclusión en robots.txt
Google, Microsoft y OpenAI han anunciado un plan para respetar una línea compartida en el archivo robots.txt que permite a los sitios web excluirse del entrenamiento de inteligencia artificial (IA). Este desarrollo busca simplificar la forma en que los sitios web pueden controlar el uso de su contenido por parte de los modelos de IA, permitiendo una única línea de exclusión que sea reconocida por múltiples proveedores de IA. Esta iniciativa es crucial en un momento en que el uso de datos para entrenar modelos de IA está en el centro de debates éticos y legales.
Tabla de contenidos
La inclusión de una línea de exclusión en robots.txt representa un paso significativo hacia una mayor transparencia y control por parte de los propietarios de sitios web. Tradicionalmente, cada compañía requería una configuración específica, lo que complicaba la gestión para los webmasters. Con esta nueva propuesta, se busca unificar y simplificar el proceso, reduciendo la carga administrativa y potencialmente aumentando la adopción de estas prácticas de exclusión.
Cómo funcionará la línea compartida
El borrador propuesto por Kevin Kelley de Anthropic al grupo de trabajo de preferencias de IA del IETF no introduce nuevas directivas en el archivo robots.txt. En cambio, utiliza un grupo de reglas ordinarias que un sitio podría escribir bajo lo que el borrador llama un token de política, __usage_ai-training. Este método permite a los webmasters usar las directivas Allow y Disallow como lo han hecho siempre, pero con una especificidad para el entrenamiento de IA.
Por ejemplo, un sitio podría optar por excluir todo su contenido del entrenamiento de IA, excepto una carpeta específica como /press-kit/. Esta flexibilidad es esencial para los sitios que desean proteger la mayor parte de su contenido mientras permiten que ciertas secciones sean utilizadas por modelos de IA para entrenamiento o clasificación. Además, este enfoque no afecta las reglas de rastreo existentes, lo que significa que los motores de búsqueda pueden continuar indexando el contenido según las reglas actuales.
Implementación por parte de Google
Google ha indicado que, al implementar la línea compartida, tratará las exclusiones como un bloqueo de Google-Extended si un sitio no especifica lo contrario. Google-Extended se refiere a la capacidad de usar contenido para entrenar futuros modelos de Gemini y para el grounding en aplicaciones de Gemini y Vertex AI. El grounding implica proporcionar contenido del índice de búsqueda al modelo cuando responde consultas.
La postura de Google es que, aunque un sitio puede optar por no participar en el entrenamiento, esto no afectará su inclusión en las búsquedas de Google. Sin embargo, aquellos que deseen permitir el uso de Google-Extended deberán especificarlo explícitamente, lo que podría influir en su aparición en aplicaciones que utilizan grounding.
Enfoque de Microsoft sobre entrenamiento y grounding
Microsoft ha adoptado un enfoque ligeramente diferente al separar el entrenamiento de IA del grounding. Esto significa que los webmasters pueden establecer preferencias distintas para cada función, lo que ofrece un control más granular sobre cómo se utiliza su contenido. A partir de febrero de 2027, Microsoft comenzará a reconocer estas nuevas opciones, reemplazando las etiquetas NoArchive y NoCache.
Esta separación es significativa ya que permite a los propietarios de sitios web decidir si desean que su contenido informe respuestas generadas por IA sin necesariamente participar en el entrenamiento de modelos. Esta distinción es crucial para las marcas que desean mantener su visibilidad en herramientas como Copilot de Microsoft y el modo de IA de Bing, sin comprometer la integridad de su contenido.
Implicaciones futuras y conclusiones
La adopción de una línea compartida en robots.txt para el control de entrenamiento de IA refleja un cambio hacia una mayor responsabilidad y control por parte de los proveedores de tecnología. Este movimiento no solo simplifica la gestión para los propietarios de sitios web, sino que también establece un precedente para futuras colaboraciones en el ámbito de la IA y la gestión de datos.
En conclusión, mientras las empresas tecnológicas continúan explorando y expandiendo las capacidades de la IA, es fundamental que los propietarios de sitios web se mantengan informados y ajusten sus estrategias para proteger su contenido. La implementación de estas nuevas directrices en robots.txt es un paso importante hacia un ecosistema digital más transparente y controlado.
