La nueva tendencia de llms.txt y su comparación con robots.txt

Introducción a llms.txt y su uso en sitios web

En el ámbito del SEO y la gestión de contenido digital, los archivos de configuración como robots.txt juegan un papel crucial para definir cómo los motores de búsqueda interactúan con un sitio web. Recientemente, ha surgido una nueva tendencia en la que algunos sitios web están utilizando un archivo denominado llms.txt de manera similar a robots.txt. Sin embargo, a diferencia de robots.txt, llms.txt no tiene la capacidad de otorgar permisos ni bloquear accesos a los crawlers, lo que genera confusión sobre su propósito y efectividad real en la gestión de accesos a la información de un sitio.

La naturaleza y origen de llms.txt

El archivo llms.txt se presenta como una propuesta para proporcionar a los sistemas de inteligencia artificial una lista curada de páginas de un sitio. Según el análisis de Common Crawl, el 68% de estos archivos se originan a partir de plantillas o plugins, lo que indica una adopción no uniforme y potencialmente mal interpretada. Muchas veces, estos archivos no contienen enlaces, lo que cuestiona su utilidad como herramienta de gestión de contenido.

Además, se ha observado que algunos sitios incluyen directrices sobre el uso del sitio por parte de la inteligencia artificial, como límites de velocidad y avisos de derechos de autor, que el estándar llms.txt no cubre. Esto subraya la confusión respecto a su funcionalidad, ya que estas directrices no pueden ser aplicadas por llms.txt.

Comparación entre llms.txt y robots.txt

Robots.txt es ampliamente reconocido y utilizado por los sitios web para comunicar a los crawlers las reglas de acceso. En cambio, llms.txt no tiene esa capacidad de regulación. El informe de Common Crawl reveló que algunos sitios están utilizando llms.txt en un intento de bloquear o permitir accesos a crawlers específicos, aunque esta práctica no tiene efecto alguno.

De los archivos analizados, 1,570 mencionaron crawlers específicos, y 32 parecían negar el acceso a CCBot, el crawler de Common Crawl. Sin embargo, al revisar los archivos robots.txt de estos sitios, se encontró que ninguno bloqueaba realmente a CCBot, lo que destaca la desconexión entre la intención y la ejecución.

La confusión y los errores comunes en el uso de llms.txt

Una de las principales razones detrás de la adopción incorrecta de llms.txt es la falta de comprensión sobre su propósito. Algunos sitios parecen confundirlo con una herramienta de control de acceso similar a robots.txt, lo que lleva a implementaciones erróneas. El uso de plantillas que no reflejan las necesidades específicas de cada sitio también contribuye a esta confusión.

Además, la presencia de robots.txt en la ruta de llms.txt en aproximadamente el 10% de los casos analizados sugiere una falta de estandarización y comprensión de las mejores prácticas en SEO técnico. Esto podría llevar a una mala gestión de la visibilidad y el rastreo de los sitios web por parte de los motores de búsqueda.

Conclusiones y recomendaciones para el uso de llms.txt

Es esencial que los administradores de sitios web comprendan que llms.txt no reemplaza a robots.txt. Mientras que robots.txt es una herramienta efectiva para controlar el acceso de los crawlers, llms.txt se presenta más como una guía que no tiene capacidad de ejecución. Para aquellos interesados en mejorar su SEO, es crucial seguir utilizando robots.txt correctamente y no depender de llms.txt para el control de accesos.

En conclusión, aunque llms.txt puede ofrecer cierto valor al proporcionar información estructurada a sistemas de inteligencia artificial, su implementación debe ser cuidadosa y basada en una comprensión clara de sus limitaciones. Los profesionales del SEO deben centrarse en educarse sobre las diferencias entre estas herramientas para evitar errores que puedan afectar la visibilidad y el rendimiento de sus sitios web en los motores de búsqueda.