Rastreador web o crawler
bot de búsqueda
Un rastreador web es un programa automático que recorre internet saltando de enlace en enlace y descarga las páginas que encuentra para que un buscador pueda analizarlas. En inglés se llama crawler o spider. Googlebot es el más conocido de todos.
Cómo recorre una web
Parte de una lista de direcciones conocidas, descarga cada una, extrae los enlaces que contiene y añade los nuevos a la cola. Después repite el proceso indefinidamente.
De ese funcionamiento salen tres consecuencias que explican muchos problemas de posicionamiento.
Una página sin enlaces que apunten a ella es invisible. Si no está en el menú, ni en el mapa del sitio, ni enlazada desde ningún otro contenido, el rastreador no tiene forma de llegar. Ocurre a menudo con páginas creadas para una campaña y con fichas de productos descatalogados que vuelven a existir.
El tiempo que dedica a cada web es limitado. Ese presupuesto de rastreo depende del tamaño del sitio, de su autoridad y de lo rápido que responda el servidor. En una web con veinte páginas no importa; en una tienda con 40.000 referencias, buena parte puede quedarse sin visitar si hay miles de direcciones inútiles generadas por filtros y ordenaciones.
Y no lo ve todo igual. Aunque Google ejecuta el código de la página, el contenido que depende por completo de guiones tarda más en indexarse y a veces no se procesa bien. Lo importante conviene servirlo en el código inicial.
Cómo se le dan instrucciones
Hay tres mecanismos, y confundirlos causa estropicios.
El archivo robots.txt, en la raíz del dominio, indica por dónde no debe entrar. Sirve para evitar que pierda tiempo en el carrito, en el panel de administración o en las combinaciones infinitas de filtros. No sirve para sacar una página del buscador, porque bloqueado no es lo mismo que desindexado.
La metaetiqueta de robots con noindex sí saca una página del índice, pero el rastreador tiene que poder entrar para leerla. Bloquear en robots.txt una página con noindex impide que la instrucción se lea.
Y el mapa del sitio en formato XML le entrega la lista de las direcciones que sí interesan, con su fecha de actualización. No garantiza la indexación, pero acelera el descubrimiento.
Conviene además saber que no todos los rastreadores son buscadores. Hay herramientas de análisis, agregadores de precios y sistemas de recogida de datos para entrenar inteligencia artificial. Algunos consumen recursos del servidor sin aportar nada, y se pueden limitar desde el mismo archivo o desde el alojamiento.
Ejemplo: una tienda de repuestos de electrodomésticos en Murcia
Una tienda con 28.000 referencias veía que solo 6.000 de sus fichas aparecían indexadas. Publicaba productos nuevos y tardaban meses en aparecer en el buscador.
El análisis del registro del servidor muestra dónde iba el tiempo del rastreador: los filtros de marca, color, precio y disponibilidad generaban más de 900.000 direcciones distintas combinables entre sí, y Googlebot se pasaba el día recorriéndolas.
Bloquean en robots.txt las direcciones con parámetros de filtro, añaden etiquetas canónicas en las ordenaciones, generan un mapa del sitio con las 28.000 fichas reales dividido en archivos y mejoran el tiempo de respuesta del servidor.
En cinco meses las páginas indexadas pasan de 6.000 a 24.500, y los productos nuevos aparecen en el buscador en menos de una semana. El tráfico orgánico crece un 180 por ciento sin publicar contenido nuevo.
