Detalles de cómo trabaja el Search Evaluation Team de Google
En BusinessWeek han realizado una medianamente interesante entrevista al especialista de Google Scott B. Huffman, Engineering Director del Search Evaluation Team, encargados de evaluar la calidad de los resultados de búsqueda de Google.
Cometan que sobretodo lo hacen ante posibles cambios en el algoritmo, usando tanto métodos estadÃsticos como evaluación manual. En cuanto a esto último, suelen acudir a sitios como Craiglist para reclutar a gente con un trabajo muy especÃfico: se les pasa una serie de URLs y consultas y deben valorar cuanto de buena es cada URL para cada consulta.
Otro de los experimentos que suelen hacer habitualmente, es mostrar en paralelo dos resultados de búsqueda diferentes para la misma consulta, en uno de ellos aplicando algún cambio, y que los human raters puntuen si ha habido mejora o no.
Antigua aplicación de evaluación de resultados de búsqueda
Scott resalta la importancia de los Search Quality Analyst, básicamente estadistas que se encargan de analizar los resultados de todas las pruebas realizadas. Por otro lado, comenta como a la hora de evaluar los resultados de búsqueda personalizados se basan más en el click.
Más información:
Search evaluation at Google
GuÃa interna de Google Quality Raters 2007
Ultimos comentarios