• El número de páginas que crawlea Google en un site, es más o menos proporcional al Pagerank. Las páginas de menor Pagerank compiten con las de igual o mayor.
• Tener contenido duplicado incita a Google a crawlear menos el site, por considerar que tiene menos contenido bueno.
• Google trata de combinar en una sola las páginas duplicadas entre si, pasando parte del link juice que reciben todas esas páginas a la página resultado de la fusión.
• Los enlaces desde sites afiliados, normalmente son detectados y devaluados.
• Al hacer una redirección 301 se pierde algo de Pagerank.
• El canonical tag es más una pista que una directriz para Google.
• Bloquear páginas con el robots.txt no necesariamente ahorra cupo de crawling.

Más información: SEOs Continue To Dissect Eric Enge’s Interview of Google’s Matt Cutts

Se ve que se basa principalmente en generar URLs especiales y en el uso de un browser como HTMLUnit en el lado del servidor. De momento es solo una propuesta y no parece una opción muy sencilla, sin embargo, podría ser la alternativa que más de un site muy basado en AJAX puede estar esperando.

Esperan recibir feedback sobre ello en el Webmaster Help Forum. La indexación de contenido generado por AJAX para no estar muy lejos.

Páginas no crawleadas en los resultados de búsqueda

Al parecer, es algo que según ellos no viola el robots.txt porque no muestran ninguna información de la página en sí, tan solo la URL. Comenta que es algo que empezaron a hacer como respuesta a que varios sites de gran relevancia decidiesen bloquear su contenido mediantes el robots.txt. Siendo esto así, en favor de los usuarios y viendo que estas URLs recibían links, decidieron mostrar la URL en sus resultados.

Para terminar, Matt recuerda que la única forma de asegurarse de que una página no salga en los resultados de búsqueda, es añadiendole el meta tag robots noindex.

Configuración de parámetros en el Webmaster Tools

Por otro lado, se le ha preguntado a Matt Cutts si Google usa la deducción a la hora de crawlear URLs. Por ejemplo, si teniendo dos URLs como site.com/article/page1.html y site.com/article/page2.html, que Google pueda llegar a una posible site.com/article/page3.html aún cuando no la haya encontrado enlazada. Matt no ha podido responder directamente a la pregunta, pero sí ha comentado como Google cuando se encuentra con URL con parámetros, prueba a quitar parámetros y ver si el contenido es el mismo o no, intentando crawlear de la manera más inteligente posible.

Sabemos que a nivel SEO lo mejor es evitar los parámetros y tener URLs lo más semánticas posibles, pero de cualquier forma es una información que nos puede resultar útil en algún caso.

Profundidad indexación Google

Google ha indexado la página 51 de unas de las categorías de La Comunidad que está a nada menos que a 26 clics desde la home. Sin duda es buen reflejo de la capacidad de crawling del bot de Google hoy en día y también de la relevancia de Enalquiler.com, ya que la profundidad a la que llegan las arañas depende mucho de la autoridad e importancia del site.

Asi que Google puede llegar, al menos, hasta el vigésimo sexto nivel de una web. Comparandolo con los otros dos buscadores principales, se puede ver que Yahoo nos ha indexado hasta la página 8 de este mismo listado y MSN/Live hasta la 7.