Joseba Umbelina SEO y desarrollo web

A través de un video del Webmaster Central Channel, Matt Cutts ha explicado una de las curiosidades que nos podemos encontrar en los resultados de búsqueda de Google: links a páginas que hemos bloqueado con el robots.txt. Por ejemplo de este blog, donde se ve como se muestra la URL sin snippet:

Páginas no crawleadas en los resultados de búsqueda

Al parecer, es algo que según ellos no viola el robots.txt porque no muestran ninguna información de la página en sí, tan solo la URL. Comenta que es algo que empezaron a hacer como respuesta a que varios sites de gran relevancia decidiesen bloquear su contenido mediantes el robots.txt. Siendo esto así, en favor de los usuarios y viendo que estas URLs recibían links, decidieron mostrar la URL en sus resultados.

Para terminar, Matt recuerda que la única forma de asegurarse de que una página no salga en los resultados de búsqueda, es añadiendole el meta tag robots noindex.

SEO crawling, google, matt cutts