Como funcionam os buscadores da Internet?

Os buscadores da Internet tornam possível localizar qualquer coisa na web, e se você for como a maioria das pessoas, possivelmente você utiliza um buscador quase que diariamente para as suas pesquisas.

Quem nunca precisou de um número de telefone rapidamente ou de um endereço de um restaurante na sua região ou, ainda, precisou consultar, comparar ou comprar um produto? E ao pesquisar em um buscador milhares de resultados foram apresentados em instantes.

Mas como isso é possível? Você já imaginou como um buscador funciona, como ele reúne informações, análises e retorna as informações para os pesquisadores? E mais importante, como são classificadas as páginas e os resultados?

Todas as vezes que você faz uma pesquisa em um buscador, como por exemplo o Google, um software por trás da tecnologia de pesquisa realiza uma série de cálculos simultâneos que exigem apenas uma fração de segundo. O método tradicional de busca analisam a quantidade de vezes que uma palavra aparece em uma página da web. O Google utiliza mais de 200 diretrizes para esse ranqueamento, inclusive o algoritmo patenteado como PageRank ™, para examinar toda a estrutura de links da web e determinar quais páginas são mais importantes. Em seguida, realizam uma análise de correspondência de link para determinar quais páginas são relevantes para a pesquisa específica que está sendo realizada. Ao combinar a importância global e a relevância específica, os buscadores são capazes de apresentar os resultados mais relevantes e confiáveis.

O Google possui três principais unidades funcionais:

• Google bot (web crawler code) que realmente busca todas as novas páginas a partir de servidores web;
• Um indexador que classifica cada palavra de uma página web e armazena o resultado classificando-o em um banco de dados;
• Um processador de consultas que dá o resultado da pesquisa com base nas palavras-chave procuradas.

O vídeo "Como a pesquisa funciona por Matt Cutts" diz o que acontece quando você faz uma busca na web e o mecanismo por trás dela (em inglês):