Esto es lo que dice Jonathan Simon, Webmaster Trends Analyst de Google, desde el Webmaster Help:

Last year we started started treating 410 Gone responses as being a stronger signal for indicating when a page no longer exists. So for the situation you describe (where 301 redirects aren’t practical) returning a 410 response is the way to go.

Se sabe que Google vuelve a visitar varias veces las páginas que dan error 404 o 410 con intención de comprobar si sigue siendo así. Es posible que ahora ante un 410 Google lo tome como definitivo y entonces no lo haga. Por lo tanto, para borrar una página de Google de forma definitiva, devolver un código 410 parece lo más correcto.

Más información: HTTP status code definitions

Recientemente Rand Fishkin ha propuesto una alternativa, mas o menos acertada, que en cuanto a lo que indica puede resultar válida: el número de páginas únicas por las que ha llegado alguna visita a través de Google, consultado desde Google Analytics.

Para obtener este número debes irte a Traffic Sources => Search Engines => Google, seguido filtrar por Landing page en la primera columna (por defecto sale Keyword) y fijarse en el total indicado abajo. Es recomendable aplicar un rango de tiempo de varios meses.

Total landing pages desde buscadores

Es evidente que no sustituye al número de páginas indexadas, pero creo que es interesante realizar un seguimiento a este número y comprobar como varía tras las acciones SEO que apliquemos al site.

Más información: Indexation for SEO: Real Numbers in 5 Easy Steps

Por ejemplo, ahora Google va a ser capaz de ejecutar código de este tipo, llegando a páginas a las que antes no podía:

<div onclick="document.location.href='http://foo.com/'">
<tr onclick="myfunction('index.html')">
<a href="#" onclick="myfunction()">new page</a>
<a href="javascript:void(0)" onclick="window.open('welcome.html')">open new</a>

Es un tema a tener en cuenta y por si acaso conviene revisar los enlaces por Javascript que podamos tener para evitar sorpresas desagradables.

Más información:
JavaScript Links Now Passing PageRank & Anchor Text
New Advances In The Searchability of JavaScript and Flash, But Is It Enough?

Recientemente han publicado en el Google Webmaster Central Blog el interesante video Tips on requesting reconsideration donde dos miembros del Search Quality Team dan consejos a la hora de realizar la petición de reconsideración:

Comento los puntos de más interés:

• Para determinar el motivo de la penalización, hay que repasarse bien las Webmaster Guidelines y si es necesario, consultar el Webmaster Help Forum donde expertos de Google pueden ayudar ha identificar lo que se está haciendo mal.
• En la petición de reconsideración, explicar bien la situación confesando todo lo que se ha hecho mal y detallando como se ha corregido el problema. Asegurarse de que el problema está resuelto antes de realizar la petición.
• No intentar engañar a Google, ya que según comentan tienen herramientas internas suficientes para darse cuenta de ello.
• En el caso de no tener control sobre lo que ha provocado la penalización, por ejemplo un mal linking externo, explicar los esfuerzos realizados para corregirlo, aunque no se haya tenido éxito.
• En el caso de ser problemas técnicos de servidores y demás, esperar un tiempo antes de realizar la petición ya que el problema puede solucionarse solo.
• El contenido duplicado no suele ser motivo de penalización y por lo tanto recomiendan dedicar el tiempo necesario para encontrar el problema real.
• No enviar multiples peticiones, limitarse a realizar una sola bien detallada.

Hay también otro interesante video disponible donde explican lo más básico acerca de la petición de reconsideración:

Más información:
Ejemplo de petición en inglés: Andy Beard – Internet Business Systems
Modelo de petición en castellano: Hello Google
Experiencia de otros usuarios: WebmasterWorld Forum
Consejos desde Search Engine Journal: How to File a Google Reconsideration Request
Salir de penalizaciones de Yahoo, MSN Live Search y Ask: Manual de posicionamiento

Profundidad indexación Google

Google ha indexado la página 51 de unas de las categorías de La Comunidad que está a nada menos que a 26 clics desde la home. Sin duda es buen reflejo de la capacidad de crawling del bot de Google hoy en día y también de la relevancia de Enalquiler.com, ya que la profundidad a la que llegan las arañas depende mucho de la autoridad e importancia del site.

Asi que Google puede llegar, al menos, hasta el vigésimo sexto nivel de una web. Comparandolo con los otros dos buscadores principales, se puede ver que Yahoo nos ha indexado hasta la página 8 de este mismo listado y MSN/Live hasta la 7.

Por ejemplo, si tuviesemos las siguientes URL todas con el mismo contenido:

1. http://www.josebaumbelina.com/posicionamiento-en-google.html
2. http://www.josebaumbelina.com/posicionamiento-en-google.html?sid=24d536g6673
3. http://www.josebaumbelina.com/posicionamiento_en_google_html

Para indicar a los buscador que la buena es la 1, en el header habría que añadir lo siguiente:

<link rel=”canonical” href=”http://www.josebaumbelina.com/posicionamiento-en-google.html” />

Si Google encuentra contenido duplicado en tu web site, su propio algoritmo decide que URL es la principal sobre el resto y de alguna forma elimina las duplicadas. Esto puede funcionar bien o mal según el caso, pero con la nueva etiqueta ahora somos nosotros los que tenemos el control sobre ello y quienes decidimos cual debe ser considerada como principal.

Un ejemplo de uso real se puede ver en en el código fuente de la página de Nelvana en Wikia donde para la URL http://starwars.wikia.com/wiki/Nelvana_Limited se indica que la URL canónica es http://starwars.wikia.com/wiki/Nelvana.

Más información:

FAQ en el blog para webmasters de Google.

Presentación de Matt Cutts Canonical Link Element.

Video de Matt Cutts:

Es un blog que desde su salida no he publicitado ni dado a conocer; tan solo lo he dado de alta en buscadores como Technorati y Wikio para darle un mínimo de visibilidad, y he actualizado varios perfiles profesionales. Actualmente dispone de unos 100 backlinks, la mayoría desde el mismo dominio. Tiene muy pocas visitas y es claramente un web site de muy poca relevancia.

Desde el inicio estoy dado de alta en las distintas herramientas para webmasters de Google, Yahoo y MSN/Live, por lo que se podría decir que parten en igualdad de condiciones. Además, creé un sitemap.xml y aviso a los tres buscadores de su existencia cada vez que escribo un nuevo post. Estos son los resultados:

Google: 12 páginas indexadas de 12 posibles y una media de 2-3 días para indexar las nuevas páginas. Googlebot indexa y posiciona bien los nuevos post relativamente rápido. Tras dos días online la home ya estaba indexada.

Yahoo: 6 páginas indexadas. Parece que se queda en indexar los primeros links de la home cada vez que pasa y por ello de casualidad tiene indexada el post anterior a este, pero no varios de hace semanas. Tardó una semana en indexar la home.

MSN/Live: 0 páginas indexadas. Aunque parezca increble, tras algo más de un mes el buscador de Microsoft no tiene constancia de la existencia de este blog.

Como conclusión, se ve que la araña de Google es con diferencia la más activa de las tres incluso con un blog de reciente creación y poca relevancia como este.

1. Indexación de flash:
En general es dificil para Google y otros buscadores indexar contenido dentro de un flash, sin embargo, se sabe que ya es algo posible para Googlebot en cuanto a texto y links; en Abril de 2008 ellos mismos lo indicaron desde el Webmaster Central blog, donde también dicen que es algo en lo que siguen trabajando.

ACTUALIZACION: En marzo de 2009 se ha publicado un nuevo artículo en el blog oficial de Google comentando las ultimas mejoras que han aplicado a la indexación de flash: Mejorando la indexación de flash

2. Indexación de javascript:
Hace poco un usuario ha detectado a MSNbot en el proceso de crawling de URLs de su web site a las que solo se puede acceder ejecutando javascript. Googlebot tambien es capaz de ejecutar código javascript, aunque no de todo tipo; por mi experiencia personal puedo decir que no tiene problema para llegar a la URL de destino tras una redirección con location.replace.

3. Indexación de formularios:
De primeras se ve dificil que un bot pueda llegar a enviar un form para llegar a la página de destino, pero no es algo imposible y Google ya está experimentando con ello.

4. Indexación de iframes:
Ya hace un tiempo que los buscadores no tienen problema para indexar iframes, aunque siempre teniendo en cuenta que no son adecuados para SEO y conviene evitarlos. Como nota, indicar que Googlebot no tiene problemas en llegar a una página a traves del link de la etiqueta iframe, aunque esa página de destino tenga la meta etiqueta noindex en la cabecera.