Joost de Valk

Joost de Valk é o fundador e Diretor de Produtos da Yoast. Ele é um profissional de marketing digital, desenvolvedor e uma Fonte Aberta fanático.

Os motores de busca indexar o seu site para obter o conteúdo em seu índice. Quanto maior o seu site recebe, mais este rastreamento preciso. É importante que o tempo que passamos o rastreamento do seu site é bem gasto. Se o seu site tem uma área de 1.000 páginas ou menos, esse não é um tópico que você vai precisar pensar muito. Se você pretende crescer seu site que, em continue lendo. A aquisição de bons hábitos desde cedo pode poupar você de enormes dores de cabeça mais tarde. Neste artigo, vamos abordar o que a eficiência do rastreamento é e o que você pode fazer sobre ele.

Todos os mecanismos de pesquisa rastrear o mesmo caminho. Neste artigo, vamos nos referir a Google e o Googlebot.

Como funciona o rastreamento de seu local de trabalho?

O Google encontra um link para seu site em algum lugar na web. Nesse ponto, o URL é o início de uma pilha virtual. O processo é muito fácil depois que:

Durante o rastreamento, o Googlebot pode encontrar um redirecionamento. A URL seja redirecionada para entrar na pilha.

Seu principal objetivo é certificar-se de que o Googlebot pode obter para todas as páginas do site. Um objetivo secundário é o de certificar-se de novo e atualizado conteúdo será rastreado rápido. Bom arquitetura do site irá ajudar você a alcançar esse objetivo. É imperativo que você manter o seu site também.

Rastreamento de profundidade

Um conceito importante ao falar sobre o rastreamento é o conceito de rastreamento de profundidade. Digamos que você tenha 1 link, a partir de 1 site 1 página em seu site. Esta página vinculada a outro, para outro, para outro, etc. O Googlebot vai manter o rastreamento por um tempo. Em algum ponto, porém, ele vai decidir o que é mais necessário para manter o rastreamento. Quando esse ponto é, depende de como é importante o link apontando para que a primeira página.

Isso pode parecer teórico, então vejamos um exemplo prático. Se você tem 10.000 posts, todos na mesma categoria e mostrar 10 artigos por página. Estas páginas apenas o link para o “Próximo ” e” Anterior”. O Google precisa para rastreamento de 1.000 páginas de fundo para chegar ao primeiro daqueles de 10.000 posts. Na maioria dos sites, ele não vai fazer isso.

É por isso que é importante:

• O uso de categorias / tags e outras taxonomias mais granular de segmentação. Não exagere na quantidade-los. Como uma regra geral, uma tag é útil apenas quando ele se conecta mais de 3 partes de conteúdo. Além disso, certifique-se de otimizar os arquivos da categoria.
• Link para páginas mais profundas, com números, para que o Googlebot pode chegar lá mais rápido. Digamos que você o link da página de 1 a 10, na página 1 e que continue fazendo isso. No exemplo acima, o mais profundo página só seria 100 cliques de distância da página inicial.
• Manter o seu site rápido. O mais lento o seu site, mais um rastreamento irá tomar.

XML Sitemaps e a eficiência do rastreamento

Seu site deve ter um ou mais XML sitemaps. Aqueles XML sitemaps dizer ao Google que URLs existem em seu site. Uma boa XML sitemap também indica quando você já atualizada por último uma determinada URL. A maioria dos motores de busca irão indexar URLs no seu XML sitemap mais frequentemente do que os outros.

Na Pesquisa do Google Console, XML sitemaps dar-lhe um benefício adicional. Para cada sitemap do google, o Google vai mostrar erros e avisos. Você pode usar isso através de diferentes XML sitemaps para os diferentes tipos de URLs. Isso significa que você pode ver quais tipos de URLs em seu site tem mais problemas. Nossa Yoast SEO plugin faz isso para você automaticamente.

Atualização de 2 de Maio de 2019: o Google tem removido a API que nos permitiu apresentar Pesquisa Console de erros em Yoast SEO. Atualmente, sua Pesquisa Console de relatório estará vazia. Sei que nada é quebrada em seu site e não há nenhuma ação especial necessária do seu lado. Você pode ler o que nossos próximos passos são para corrigir esse problema em um post no blog Onde fiz a minha Pesquisa Console de erros de ir.

Problemas que causam mau a eficiência do rastreamento

Muitos os erros 404 e outros erros

Enquanto rastreia o seu site, o Google irá encontrar erros. Ele vai normalmente basta escolher a próxima página da pilha quando o faz. Se você tem um monte de erros no seu site durante um rastreamento, o Googlebot vai abrandar. Ele faz isso porque está com medo de que ela está causando os erros de rastreamento muito rápido. Para impedir que o Googlebot a abrandar, você assim deseja correção muito erros, como você pode.

O Google informa todos os erros para você em seu Webmaster Tools, como Bing e Google. Nós cobrimos erros na Pesquisa do Google Console (GSC) e Bing Webmaster Tools antes. Se você tem o nosso Yoast SEO plugin Premium, você pode importar e corrigir os erros do GSC com ele. Você pode fazer isso diretamente do seu WordPress admin.

Você não seria o primeiro cliente, podemos ver que tem 3.000 reais URLs e 20.000 erros em GSC. Não deixe que o seu site se tornar esse site. Corrigir esses erros em uma base regular, pelo menos a cada mês.

Excesso de redirecionamentos 301

Recentemente, eu estava de consultoria em um site que tinha acabado de fazer uma migração de domínio. O site é grande, então eu usei uma de nossas ferramentas para executar um rastreamento completo do site e ver o que devemos corrigir. Tornou-se claro que tínhamos um grande problema. Um grande grupo de URLs do site está sempre ligado, sem uma barra à direita. Se você ir a um tal de URL sem a barra à direita, você está 301 redirecionado. Você é redirecionado para a versão com a barra à direita.

Se isso é um problema para uma ou duas URLs no seu site, isso realmente não importa. Na verdade, muitas vezes, um problema com homepages. Se isso é um problema com 250.000 URLs no seu site, ele se torna um problema maior. O Googlebot não tem para rastreamento de 250.000 URLs, mas de 500.000. Isso não é exatamente eficiente.

É por isso que você deve sempre tentar atualizar links em seu site quando você alterar os URLs. Se não, você ficará mais e mais os redirecionamentos 301 ao longo do tempo. Isso irá diminuir o seu rastreamento e seus usuários. A maioria dos sistemas de levar um segundo para o servidor de redirecionamento. Que adiciona um segundo para o tempo de carregamento da página.

Aranha armadilhas

Se o seu site é um pouco mais autoritário do Google olhos, divertido coisas podem acontecer. Mesmo quando é claro que um link não faz sentido, o Google vai rastreá-lo. Dar ao Google o equivalente virtual de uma infinita escada em espiral, que vai manter-se ir. Quero compartilhar um divertido exemplo de este eu encontrei no Guardian.

No Guardião estamos habituados a ter diariamente arquivos para todos os nossos principais categorias. Como o Guardian publica um monte de conteúdo, os diários de arquivos de fazer sentido. Você pode clicar de volta a partir de hoje, de ontem e assim por diante. E no. E no. Mesmo muito antes de o Guardião da existência. Você poderia chegar a 25 de dezembro do ano 0 se você fosse tão inclinado. Vimos índice do Google para o ano de 1600. Isso é quase 150.000 cliques de profundidade.

Isto é o que chamamos de uma “aranha” armadilha”. Armadilhas como estas podem fazer uma pesquisa de rastreamento motores extremamente ineficiente. Corrigi-los, quase sempre, leva a melhores resultados na busca orgânica. Quanto maior o seu site recebe, mais difícil problemas como esses são para encontrar. Isso é verdadeiro mesmo para os mais experientes SEOs.

Ferramentas para encontrar os problemas e melhorar a eficiência do rastreamento

Se você está intrigado com isso e quer testar o seu próprio site, você vai precisar de algumas ferramentas. Usamos Gritando Sapo muito durante o nosso site de reviews. É o canivete Suíço da maioria dos SEOs. Alguns outros SEOs eu sei juro por Xenu, que também é muito bom (e livre). Lembre-se: estes não são ferramentas “simples”. Eles são ferramentas de poder que pode até derrubar um site, quando utilizado errado, por isso tome cuidado.

Um bom primeiro passo é iniciar o rastreamento de um site e filtro para páginas HTML. Então decrescente de classificação, por código de status HTTP. Você vai ver 500 – 400 – 300 escreva as respostas no topo da lista. Você será capaz de ver o quão ruim o seu site está fazendo, comparado com o número total de URLs. Veja um exemplo abaixo:

Como está o seu sites eficiência do rastreamento?

Eu adoraria saber se você teve problemas específicos como estas com a eficiência do rastreamento e como solucioná-los. Melhor ainda se este post ajudou você a corrigir algo, vêm dizer-nos abaixo!

Leia mais: robots.txt: the ultimate guide “