¿Por qué tu sitio no aparece en los buscadores?

Nunca llegaremos al primer puesto en Google si les ponemos trabas a los spider-bots. Pero no creo que nadie lo haga a propósito, por eso deberíamos estar bien seguros de qué cosas pueden “molestar” a Google.

A veces un detalle que parece mínimo hace la diferencia entre aparecer o desaparecer de los resultados del buscador. Un servidor lento, una barra de más en el robots.txt o un mal manejo de la tecnología Flash son algunos ejemplos. Entérate cómo evitarlos.

El primer paso para chequear que tu sitio esté indexado de manera correcta es directamente entrar en Google y escribir site:www.nombredetusitio.com (¡con el nombre de dominio de tu sitio, obvio!).

De esta manera verás como resultado todas las páginas de tu sitio que están indexadas actualmente en Google.

Tal vez te enteres de que Google no ha indexado correctamente tu sitio, o que faltan páginas. La siguiente es una lista de probables razones y cómo solucionarlas:

1. Problemas con el archivo robots.txt:
   No sé por qué se esparció tanto este error, probablemente porque mucha gente que no tiene mucha idea de cómo funciona el archivo robots.txt simplemente copió y pegó el código con error.
   La barra luego del comando “Disallow” hará que tu sitio NO SEA indexado por Google:
   User-agent: *
Disallow: /
   Forma incorrecta.User-agent: *
Disallow:
   Forma correcta (tu sitio será indexado).
2. Un servidor lento:
   Tener un servidor lento no es un crimen para nadie más que para tí. Los spider-bots generalmente van en grupo, pero si Google detecta que podría consumir todos los recursos de tu sitio, simplemente no lo indexará por completo. Piensa que hay buenos servicios por muy poco dinero hoy en día, o redes sociales muy sólidas donde alojar tu sitio.
3. Eres una fuente de spam:
   Bueno, Google sabe cómo detectar estas cosas. Y a nadie le gusta el spam, de modo que ¡te lo mereces! Pero si recapacitas, puedes “limpiar” tu sitio y enviar a Google una solicitud de reindexación. Google se fijará si has cambiado tu forma de actuar.
   Un dato importante: no quieras engañar a Google. Lo sabrá al instante y las consecuencias nunca son buenas.
4. Sitio hecho en Flash:
   El tema de Flash es eterno, a mí también me agrada lo que se puede lograr con él, pero aún no es correctamente indexable. Si vas a diseñar tu sitio en Flash, asegúrate de dejar el texto como seleccionable (para alivio de tus usuarios) y monta la película en una página index “legible” por los spider-bots.
   Dentro de esta página deberías incluir todas las keywords que sean relevantes con el contenido de tu sitio, algún texto, enlaces, etc. Esto es prácticamente lo único que podrá indexar Google.
   Nota importante: parece que hasta ahora sólo se pueden indexar películas swf versión 7 para abajo. De la versión 8 en adelante no aparecerán en los buscadores por sí mismas.
5. La “carrera de obstáculos” de los spiders:
   Muchas cosas hacen que los robots desistan o consideren que el contenido de tu sitio es irrelevante. Si el código Javascript que usaste ocupa las primeras 2000 líneas del código de tu sitio, si para entrar se necesitan cookies o alguna acción de los usuarios, si tiene URL dinámica y “poco amigable” o si tu sitio redirecciona varias veces antes de cargarse son algunos ejemplos.
6. Tu sitio se “cae” frecuentemente:
   Si varias veces los robots han intentado indexar tu sitio y este no estaba disponible, dejarán de hacerlo. Esto también puede ser un problema del servidor. Puedes realizar una prueba desde el sitio Pingdom Tools para ver el estado de tu sitio, los tiempos de carga, etc.

Si tienes cuidado con estos detalles no tendrás problemas con la indexación. Recuerda que los spider-bots pueden ser muy útiles si los usamos a nuestro favor.

Fuente: Nerv