Recientemente Eric Enge ha realizado una entrevista a Matt Cutts que está dando bastante que hablar entre los SEO. La entrevista se centra sobre todo en el crawling, donde Matt ha dado nueva e interesante información, además de tocar otros temas como las redirecciones 301, Pagerank y el contenido duplicado. Esto es lo que me ha parecido más relevante:

• El número de páginas que crawlea Google en un site, es más o menos proporcional al Pagerank. Las páginas de menor Pagerank compiten con las de igual o mayor.
• Tener contenido duplicado incita a Google a crawlear menos el site, por considerar que tiene menos contenido bueno.
• Google trata de combinar en una sola las páginas duplicadas entre si, pasando parte del link juice que reciben todas esas páginas a la página resultado de la fusión.
• Los enlaces desde sites afiliados, normalmente son detectados y devaluados.
• Al hacer una redirección 301 se pierde algo de Pagerank.
• El canonical tag es más una pista que una directriz para Google.
• Bloquear páginas con el robots.txt no necesariamente ahorra cupo de crawling.

Más información: SEOs Continue To Dissect Eric Enge’s Interview of Google’s Matt Cutts

Voy a hacer un repaso de la situación actual en cuanto a indexación y crawling por parte de los buscadores de elementos flash, javascript, iframe y formularios de una página web:

1. Indexación de flash:
En general es dificil para Google y otros buscadores indexar contenido dentro de un flash, sin embargo, se sabe que ya es algo posible para Googlebot en cuanto a texto y links; en Abril de 2008 ellos mismos lo indicaron desde el Webmaster Central blog, donde también dicen que es algo en lo que siguen trabajando.

ACTUALIZACION: En marzo de 2009 se ha publicado un nuevo artículo en el blog oficial de Google comentando las ultimas mejoras que han aplicado a la indexación de flash: Mejorando la indexación de flash

2. Indexación de javascript:
Hace poco un usuario ha detectado a MSNbot en el proceso de crawling de URLs de su web site a las que solo se puede acceder ejecutando javascript. Googlebot tambien es capaz de ejecutar código javascript, aunque no de todo tipo; por mi experiencia personal puedo decir que no tiene problema para llegar a la URL de destino tras una redirección con location.replace.

3. Indexación de formularios:
De primeras se ve dificil que un bot pueda llegar a enviar un form para llegar a la página de destino, pero no es algo imposible y Google ya está experimentando con ello.

4. Indexación de iframes:
Ya hace un tiempo que los buscadores no tienen problema para indexar iframes, aunque siempre teniendo en cuenta que no son adecuados para SEO y conviene evitarlos. Como nota, indicar que Googlebot no tiene problemas en llegar a una página a traves del link de la etiqueta iframe, aunque esa página de destino tenga la meta etiqueta noindex en la cabecera.