Edwin Toonen

Edwin é um experiente escritor, editor e gerenciador de conteúdo. Antes de se juntar Yoast, ele passou anos aperfeiçoando sua habilidade na Holanda”, levando web design magazine.

Sempre que eu penso em Googlebot, vejo uma linda, inteligente, de Wall-E robô excesso de velocidade fora em uma missão para encontrar e indexar o conhecimento em todos os cantos do ainda desconhecido. É sempre um pouco decepcionante para ser lembrado de que o Googlebot é “apenas” um programa de computador escrito pelo Google, que rastreia a web e adiciona páginas ao seu índice. Aqui, vou apresentar a vocês o rastreador e mostrar-lhe o que ele faz.

O Googlebot? Rastreador da Web? Aranha? Hein?

Todos esses termos significam a mesma coisa: ele é um bot que rastreia a web. O Googlebot rastreia páginas da web através de links. Ele encontra e lê o conteúdo novo e atualizado e sugere o que deve ser adicionado ao índice. O índice, é claro, do Google cérebro. Este é o lugar onde todo o conhecimento reside. O Google usa uma tonelada de computadores para enviar sua rastreadores para todos os cantos e recantos da web para encontrar estas páginas e ver o que está sobre eles. O Googlebot é do Google rastreador da web ou robô e outros motores de busca têm a sua própria.

Como o Googlebot trabalho?

O Googlebot usa sitemaps e bancos de dados de links descobertos durante rastreamentos anteriores para determinar para onde ir. Sempre que o rastreador encontrar novos links em um site, ele adiciona-los para a lista de páginas a próxima visita. Se o Googlebot descobre alterações em links ou links quebrados, ele vai fazer uma observação de que assim, o índice pode ser atualizado. O programa determina com que freqüência ele vai rastrear as páginas. Para certificar-se de que o Googlebot corretamente pode indexar o seu site, você precisa verificar o seu crawlability. Se o seu site está disponível para rastreadores eles vêm por aí muitas vezes.

Robôs diferentes

Existem vários tipos de robôs. Por exemplo, o google AdSense e AdsBot verificar a qualidade do anúncio, enquanto Mobile Apps Android verifica os aplicativos do Android. Para nós, estes são os mais importantes:

Nome do User-agent Googlebot (área de trabalho) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) o Googlebot (móvel) Mozilla/5.0 (Linux, Android 6.0.1; Nexus 5X de Construir/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 o Safari Mobile/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) o Googlebot Vídeo Googlebot-Video/1.0 Googlebot Imagens Googlebot-Image/1.0 Googlebot Notícias Googlebot-News

Como o Googlebot visita o seu site

Para saber a frequência com que o Googlebot visita o seu site e o que ele faz lá, você pode mergulhar em seus arquivos de log ou abrir o Rastreamento seção de Pesquisa do Google Console. Se você deseja realmente fazer coisas avançadas para otimizar o desempenho do rastreamento de seu site, você pode usar ferramentas como o Kibana ou o SEO Arquivo de Log Analisador Gritando Sapo.

O Google não compartilha listas de endereços IP que os vários Googlebots de usar, pois estes endereços são alterados com freqüência. Para descobrir se um real o Googlebot visita o seu site, você pode fazer um IP reversa de pesquisa. Spammer ou impostores pode facilmente falsificar um usuário-o nome do agente, mas não um endereço IP. Aqui está o Google é o exemplo de verificar a validade de um Googlebot.

Você pode usar o robots.txt para determinar como o Googlebot visita – partes de seu site. Atente, porém, se você fizer isso da maneira errada, você pode parar o Googlebot vinda completamente. Isso vai tirar o seu site do índice. Há melhores maneiras de impedir que o seu site está sendo indexado.

Pesquisa Do Google Console

Pesquisa Console é uma das ferramentas mais importantes para verificar a crawlability do seu site. Lá, você pode verificar como o Googlebot vê o seu site. Você também vai obter uma lista de erros de rastreamento para a sua correção. Em Busca de Console, você também pode pedir que o Googlebot para rastrear o seu site. Outra forma de corrigir estes erros de rastreamento é se conectando Yoast SEO para Procurar Console. Você pode importar seus erros e corrigi-los em linha reta a partir do back-end do seu site. Yoast SEO Premium pode fazer ainda mais para tornar o seu SEO mais fácil.

Otimizar para o Googlebot

Chegando o Googlebot para rastrear o seu site mais rápido é bastante técnicos do processo que se resume a derrubar as barreiras técnicas que proíbem o rastreador de acessar o site adequadamente. É uma forma justa de processo técnico, mas você deve tornar-se familiarizado com isso. Se o Google não consegue indexar o seu site perfeitamente, ele nunca pode fazer é classificar para você. Encontrar os erros e corrigi-los!

Conclusão

O Googlebot é o pequeno robô que visita o seu site. Se você já fez tecnicamente o som de opções para o seu site, ele vai vir muitas vezes. Se você regularmente adicionar novo conteúdo que ele vai vir com mais frequência. Por vezes, sempre que você tiver feito alterações em grande escala para o seu site, você pode ter a chamada que bonito pouco rastreador para vir de uma só vez, para que as alterações possam ser refletidas nos resultados de pesquisa assim que possível.

Leia mais: noções básicas de SEO: o Que o Google faz? “