¿Cómo funciona la indexación y el escaneo de páginas de Google?

Un motor de búsqueda es básicamente una base de datos de miles de millones de sitios web. Si desea que su dominio se incluya en él, debe ser visitado por un rastreador de Google y luego colocado en el índice. Así es como podría describir el proceso de indexación de su sitio web en resultados orgánicos en pocas palabras.

Esta operación aparentemente simple también depende de muchos factores. Las que debe cumplir el dominio, pero también las que deben darse entre éste y el buscador. También está el tema del rastreo, muy relacionado con el concepto del índice de Google.

A continuación se tratará cada uno de estos temas.

¿Qué es el robot de Google?

Googlebot es un robot de búsqueda de Google (una vez más conocido como araña) que atraviesa los rincones de Internet para escanear dominios. Sigue los enlaces, yendo de un lado a otro, creando así una red de dominios dependientes (de ahí la referencia a la araña). Así podría comenzar una historia de fantasía de mediana calidad.

Si bien el deseo de Googlebot es capturar sitios desconocidos para él, su intención principal es procesar la información recopilada y colocarla en el índice principal del motor de búsqueda. En términos generales, en los resultados de búsqueda. Googlebot busca contenido nuevo y actualiza contenido antiguo tanto en computadoras como en dispositivos móviles. Depende de Googlebot si su dominio será visible en el motor de búsqueda, utilizando su potencial general.

El posicionamiento orgánico en Google es fundamental para cualquier empresa e incluso negocio local.

¿Qué es la capacidad de rastreo?

El término "navegabilidad" generalmente significa "legibilidad para un motor de búsqueda". El término "accesibilidad" se usa indistintamente, lo que significa lo mismo. El motor de búsqueda, que utiliza los servicios de Googlebot, lee el contenido, sigue los enlaces y analiza exhaustivamente los sitios web. La capacidad de rastreo de su dominio depende principalmente de usted y, por lo tanto, de la construcción del sitio web. Cuanto más fácilmente el rastreador de Google pueda buscar su contenido, mejor será su rendimiento en los resultados de búsqueda: SERP.

Así como puede hacer que el dominio completo esté disponible para el rastreador para su indexación, también puede bloquearlo (por ejemplo, solo elementos individuales del sitio web). A veces, algunos elementos del sitio web se bloquean solos, por lo que no se le notificará. Los cortafuegos, los programas antivirus e incluso su CMS pueden jugar una mala pasada. Debería depender de usted qué porcentaje de su sitio web estará disponible para el robot. Al mismo tiempo, durante la selección, tenga especial cuidado para que las subpáginas y los recursos del dominio importantes para usted y el usuario no se bloqueen accidentalmente.

¿Cómo funciona la indexación?

Cuando Googlebot, gracias a las posibilidades que ofreces (crawbility), visita tu dominio, comenzará el proceso de indexación de subpáginas individuales. El robot evalúa el dominio en función de muchos parámetros, pero principalmente recopila información sobre el tema de su sitio web. Cualquier factor que detecte Googlebot puede ayudarlo a lograr una mejor clasificación en los motores de búsqueda.

Puede indexar manualmente subpáginas individuales. En el pasado, gracias a Google Search Console, podíamos indexar una cantidad infinita de subpáginas (cada una por separado), que inmediatamente saltaban al índice después de muy poco tiempo. Por supuesto, luego fueron verificados por Googlebot.

Sin embargo, durante algún tiempo hemos podido indexar manualmente ("solicitar indexación") solo unas pocas páginas por día para cada cuenta. Además, el tiempo de indexación dentro de los 15 minutos también se ha extendido a varios o varios días. Podemos tener suerte y la solicitud de indexación se aceptará con bastante rapidez o incluso más rápido cuando Googlebot visite esta subpágina (después de actualizar el mapa del sitio - mapa del sitio XML). También podemos utilizar el método de indexación manual cuando hemos realizado algunos cambios y queremos que aparezcan más rápido en el buscador.

¿Cómo sabes qué subpáginas están en el índice de Google?

El método más simple y rápido es ingresar el comando "sitio:" en el motor de búsqueda, seguido del nombre de dominio (sin los protocolos WWW y HTTPS).

Gracias a este procedimiento, todas las subpáginas indexadas de tu dominio aparecerán en los resultados de búsqueda, incluidas aquellas que preferirías no ver allí. Esta verificación le permitirá realizar una auditoría de enlaces y filtrar las URL para su posterior bloqueo.

El segundo método para verificar que el motor de búsqueda ha indexado un enlace específico para su dominio es usar Google Search Console. Para esto, debe tener una "cuenta", lo que implica primero el código GSC en la fuente del dominio. Después de crear una cuenta, en la barra superior "Verificar cualquier URL en" dominios.com", ingrese un enlace específico (por ejemplo, categoría, producto, cualquier subpágina) que desea verificar. Luego espera a que la herramienta responda. Las dos respuestas que puedes obtener son:

La subpágina está indexada:

subpágina de vista indexada

La subpágina no está indexada:

subpágina no indexada en el motor de búsqueda de vista

¿Cómo puedo optimizar el sitio web para la accesibilidad - la capacidad de rastreo?

A continuación, presento algunos puntos breves relacionados con la optimización de sitios web para los robots de Google. Para cada uno de estos puntos, asigno un artículo o enlaces con información para ampliar el conocimiento sobre este tema.

Cree un mapa del sitio (archivo sitemap.xml) en su servidor o en CMS. Es una tabla de contenido para su sitio web, que contiene una lista de todas las subpáginas. Googlebot puede usar este archivo, lo que facilitará su rastreo e indexación más adelante.

Cree un archivo robots.txt que contenga los mejores consejos para Googlebot. Al colocar los comandos apropiados en él, el robot no gastará tiempo innecesario escaneando subpáginas que son irrelevantes para los usuarios. Lo dedicará al contenido importante en el contexto de su dominio e industria.

Cree contenido tanto para los usuarios como para el rastreador de Google. Las frases más importantes deben colocarse en las descripciones de subpáginas, categorías, productos, y todo esto debe ser legible a simple vista. Además, cree contenido NUEVO, fresco y preferiblemente mantenga un blog o noticias. El motor de búsqueda valora mucho la actualización del contenido del dominio, lo que suele dar como resultado una mayor visibilidad del sitio web.

¿Qué es el encubrimiento en SEO, es decir, ocultar contenido?

Usa direcciones canónicas y evita la duplicación de páginas. Muestre a Googlebot qué subpáginas son las principales, pero no conduzca a una situación en la que las subpáginas individuales tengan sus contrapartes que son inútiles. En el caso de copias no deseadas, seleccione la versión de destino de la subpágina y use la opción de redirigir el enlace obsoleto a la otra (redireccionamiento 301). Se trata de orden general y armonía en los enlaces.

Incluye enlaces internos en tu contenido. Para ello, puedes utilizar las descripciones de categorías (haciendo referencia a otras categorías o productos que describas), productos (añadiendo, por ejemplo, otro surtido recomendado), y preferentemente artículos de un blog interno. Especialmente si el artículo se vuelve ampliamente leído y popular. Luego puede usarlo como fuente de productos publicitarios (simplemente agregando enlaces internos). Gracias a ellos, Googlebot puede apreciar la utilidad de la subpágina y navegar por ella de manera más eficiente.

¡Acelere su sitio web! Este es un tema muy importante, cuya importancia ha aumentado con el desarrollo de las ventas de dispositivos móviles. El acceso constante a nuevos contenidos, su selección, barajado y la posibilidad de tener algo en internet, obligó a la creación de webs 'accesibles' no sólo para los usuarios, sino también para los robots. La velocidad de carga de la página es actualmente uno de los factores de clasificación de Google más importantes.

La optimización de imágenes en su sitio web puede llevar la visibilidad de su sitio web a nuevas alturas. Googlebot verá no solo el contenido en forma de texto escrito, sino también gráficos. ¿Qué recordar? En primer lugar, sobre las descripciones de los complementos ALT, Título, Esquema y el mapa gráfico (al igual que en el caso de los enlaces, podemos crear un mapa de imagen).

También recuerde completar las etiquetas meta: título y descripción. Al principio, hazlo al menos para las subpáginas más importantes. Puede utilizar la función de autocompletar, si su CMS se lo permite. Sin embargo, durante la optimización, debe incluir sucesivamente frases clave y llamadas de llamada a la acción en ellas. Gracias a las metaetiquetas completadas, Googlebot sabe de qué se trata la subpágina, por lo que facilita su trabajo.

Factores populares que afectan negativamente la indexación

A continuación, presento los errores más populares en el sitio web, que quizás no conozcas a primera vista y que afectan negativamente la disminución del valor de la capacidad de rastreo. Como resultado, ralentizan o impiden la indexación de subpáginas. Si tiene problemas con la indexación de subpáginas individuales o está seguro de que el robot de Google no visita todas las subpáginas, verifique primero esta lista:

• duplicación de contenido en la página, es decir, duplicación de la misma información en al menos dos subpáginas
• páginas desactualizadas, de carga lenta y de baja calidad
• hostilidad e inutilidad para los usuarios (UX): se aplica tanto a subpáginas completas como a elementos individuales, por ejemplo, menú, descripciones de productos, etc.
• páginas cargadas dinámicamente que no tienen enlaces reales en la fuente de la página
• largas cadenas de redirección, es decir, subpáginas redirigidas muchas veces: subpágina A -> subpágina B -> subpágina C
• tener subpáginas llenas de spam sin ningún contenido valioso: estamos hablando de subpáginas inútiles para los clientes,
• uso indebido de las etiquetas noindex y nofollow, que bloquean el acceso de Googlebot a la página y ralentizan la indexación,
• bloqueo de robots en el archivo robots.txt.

La indexación es parte de la optimización

Sin indexación, no habría acceso a su dominio. No aumentaría su visibilidad y, además, no sería registrado en absoluto. Por eso es tan importante asegurarse de que su sitio web se muestre correctamente en los resultados de búsqueda. El algoritmo de Google está en constante evolución y los robots buscan dinámicamente en la web cambios y nuevas páginas. Por lo tanto, su dominio no debe salir de circulación y dejar de desarrollarse. Como propietario de un sitio web, debe asegurarse de que todos los enlaces estén libres de errores y seguir el proceso de optimización de su sitio web. Una agencia profesional de SEO sin duda lo ayudará con esto.

No importa cuán estético y moderno sea su sitio web, si debido a los errores mencionados anteriormente, no será visible en absoluto en el motor de búsqueda. Todo el proceso de optimización debe ser tan consistente que después del proceso de indexación, será el momento de aumentar la visibilidad del sitio web y atraer nuevos clientes.