Ferramentas de Busca e Navegadores de Internet

Ferramentas de busca:
Crawler, spider ou robot: são programas de computador que percorrem os websites na Internet através de seus links para catalogar o conteúdo dos sites. Periodicamente os crawlers visitam os sites para catalogar novos links e conteúdos. Cada ferramenta de busca possui o seu crawler. Os mais conhecidos são o Googlebot (do Google), Inktomi Slurp (do Yahoo!) e o MSNBot (do MSN.com).
Índice (index): é o banco de dados onde são armazenadas as informações coletadas pelo crawler. Quando um usuário realiza uma pesquisa em uma página busca, ele estará consultando o índice da ferramenta de busca e não procurando diretamente na internet. Então sites que não forem indexadas no índice ou banidas não aparecem nos resultados da busca.
Interface de busca: interface gráfica pelo qual o usuário interage com a ferramenta de busca para efetuar suas buscas, ou seja, a página de busca propriamente dita.
Palavras-chave: são as palavras que o usuário digita na interface de busca para encontrar os sites relativos a um determinado assunto.
Cache: as ferramentas de busca possuem uma cópia do conteúdo de cada website em seu índice. Esta cópia é chamada de cache. As ferramentas de busca atualizam seu índice com visitas periódicas ao site, assim ele sempre será atualizado. Na maioria dos buscadores é possível ver o cache atual de uma página. No Google por exemplo, em um resultado de busca, basta clicar em Cache ao lado de um dos resultados para ver a versão do site que está no índice.

Spamming: é uso abusivo de técnicas de otimização que tornam uma página artificial voltada para a ferramenta de busca e não para o visitante da página. Atualmente essas ferramentas possuem algoritmos muito complexos que verificam o uso dessas técnicas. Esse artifício para enganar os buscadores é chamado de Black Hat SEO (chapéu preto) ao contrário das técnicas corretas para otimização de websites chamadas de White Hat SEO (chapéu branco). Sites que utilizam técnicas de Black Hat SEO podem ser penalizados com seu banimento dos resultados de busca.

Navegadores de Internet:
Os Navegadores Web, ou Web Browsers se comunicam geralmente com servidores Web (podendo hoje em dia se comunicar com vários tipos de servidor), usando principalmente o protocolo de transferência de hiper-texto HTTP para efetuar pedidos a ficheiros (ou arquivos, em portugues brasileiro), e processar respostas vindas do servidor. Estes ficheiros/arquivos, são por sua vez identificados por um URL.
O navegador, tem a capacidade de ler vários tipos de arquivo/ficheiros, sendo nativo o processamento dos mais comuns (HTML, XML, JPEG, GIF, PNG, etc.), e os restantes possíveis através de plugins (Flash, Java, etc.).
Os navegadores mais recentes têm a capacidade de trabalhar também com vários outros protocolos de transferência, como por exemplo FTP, HTTPS (uma versão criptografada via SSL do HTTP), etc.
A finalidade principal do navegador é fazer-se o pedido de um determinado conteúdo da Web, e providenciar a exibição do mesmo. Geralmente, quando o processamento do ficheiro não é possível através do mesmo, este apenas transfere o ficheiro localmente. Quando se trata de texto (Markup Language e/ou texto simples) e/ou imagens bitmaps, o navegador tenta exibir o conteúdo.
Os navegadores mais primitivos suportavam somente uma versão mais simples de HTML. O desenvolvimento rápido dos navegadores proprietários, porém, (veja As Guerras dos Navegadores) levou à criação de dialetos não-padronizados do HTML, causando problemas de interoperabilidade na Web. Navegadores mais modernos (tais como o Internet Explorer, Mozilla Firefox, Opera e Safari e o Chrome do Google) suportam versões padronizadas das linguagens HTML e XHTML (começando com o HTML 4.01), e mostram páginas de uma maneira uniforme através das plataformas em que rodam.
Alguns dos navegadores mais populares incluem componentes adicionais para suportar Usenet e correspondência de e-mail através dos protocolos NNTP e SMTP, IMAP e POP3 respectivamente
Web browser (em inglês), browser ou navegador de internet (jargão nascido dos próprios usuários - navegar) é um programa que permite a seus usuários a interagirem com documentos eletrônicos de hipertexto, como as páginas HTML e que estão armazenados em algum endereço eletrônico da internet (URL ou URI).