Google explica 503s, robots.txt y URLs con corchetes

Uso del código 503 durante el mantenimiento de PHP

Google ha enfatizado la importancia de utilizar el código de estado 503 cuando los sitios web experimentan tiempos de inactividad debido a parches de PHP. Este código asegura que las URL ya indexadas se conserven en los resultados de búsqueda mientras se realizan los trabajos de mantenimiento. A diferencia de los códigos 404 o 200, el 503 indica que el sitio está temporalmente fuera de servicio, lo cual es crucial para evitar que Google elimine las URL del índice.

Implementar el 503 correctamente requiere planificación. Durante el tiempo que el PHP esté inactivo, se puede utilizar una regla de enrutamiento CDN o un servidor temporal para manejar las solicitudes. Sin embargo, es fundamental que este estado no se prolongue más de 1-2 días, ya que Google podría comenzar a desindexar las páginas afectadas. Esta estrategia es vital para mantener la visibilidad del sitio en los motores de búsqueda.

Limitaciones de robots.txt en el control de rastreo

Gary Illyes de Google ha aclarado que las directivas de robots.txt solo dictan qué contenido pueden rastrear los crawlers, pero no controlan cómo se utiliza el contenido después de ser rastreado. Esto significa que, aunque un sitio pueda restringir el acceso a ciertos crawlers, no puede dictar el uso posterior de la información recopilada.

Google ha introducido el token Google-Extended para gestionar si el contenido rastreado puede usarse en el entrenamiento de modelos como Gemini. Aunque es una herramienta útil, no afecta la inclusión en la búsqueda de Google. Esta distinción es crucial para los administradores web que desean proteger su contenido mientras optimizan su presencia en los motores de búsqueda.

Innovaciones en el rastreo de OpenAI y Cloudflare

Un piloto de investigación entre Cloudflare y OpenAI ha permitido a esta última descubrir e indexar millones de nuevas páginas web. Esto proporciona a ChatGPT una base de datos más amplia, mejorando su capacidad de respuesta y precisión en la generación de contenido. Sin embargo, el uso de estas nuevas páginas no garantiza una cita directa en los resultados de búsqueda.

Las empresas pueden controlar cómo OpenAI utiliza su contenido mediante directivas en robots.txt, como permitir el acceso a OAI-SearchBot y restringir el uso para entrenamiento con GPTBot. Esta capacidad de control es vital para las empresas que desean participar en el ecosistema de OpenAI sin comprometer su contenido sensible.

URLs con corchetes y su impacto en el SEO

John Mueller de Google ha aclarado que las URLs con corchetes y sus formas codificadas, %5B y %5D, son consideradas diferentes por los motores de búsqueda. Esto puede llevar a problemas de contenido duplicado si ambas versiones se utilizan en un sitio web. Google recomienda elegir una forma y usarla consistentemente en todas las páginas, incluyendo etiquetas canónicas y mapas del sitio.

Esta práctica no solo ayuda a evitar problemas de duplicación, sino que también mejora la claridad y la coherencia del sitio web. Seguir las directrices de Google sobre la estructura de URLs es fundamental para optimizar la eficiencia del rastreo y la indexación.

Conclusión

Entender cómo Google maneja los códigos 503, las directivas de robots.txt y las URLs con corchetes es esencial para cualquier estrategia de SEO. Al aplicar estas prácticas, los administradores web pueden asegurar una mejor visibilidad y protección de su contenido en los motores de búsqueda. Mantenerse actualizado con las directrices de Google es clave para el éxito continuo en el entorno digital.