Mais de 7 anos atrás, enquanto ainda um funcionário do Virante, Inc. (agora Hive Digital), eu escrevi um post sobre Moz descreve alguns métodos simples para a detecção de backlink manipulação por comparação do perfil backlink para um modelo ideal, com base na Wikipédia. Na época, eu estava limitado a pesquisa que eu pudesse realizar, porque eu era um consumidor da API, a falta de acesso à mais profunda métricas, medidas e metodologias para identificar anomalias em backlink perfis. Nós usamos estas técnicas de detecção de backlink manipulação com ferramentas como Remover hold’em e Pinguim de Risco, mas eles estavam sempre em desvantagem com as limitações do consumidor virada APIs. Além disso, eles não escala. Uma coisa é coletar todos os backlinks para um site, até mesmo um site grande, e julgar cada indivíduo link para o tipo de origem, qualidade, texto âncora, etc. Relatos como estes podem ser acessados a partir de dezenas de fornecedores, se você está disposto a esperar algumas horas para que o relatório completo. Mas como fazer isso por cerca de 30 trilhões de ligações todos os dias?

Desde o lançamento do Link Explorer e minha residência aqui em Moz, eu tive o luxo de muito menos dados filtrados, dando-me uma muito mais profunda, mais clara a imagem das ferramentas disponíveis para backlink índice de mantenedores para identificar e contra a manipulação. Enquanto eu, de forma nenhuma intenção de dizer que a manipulação pode ser detectado, quero descrever apenas algumas das inúmeras surpreendente metodologias para detectar spam.

A metodologia geral

Você não precisa ser um cientista de dados ou um nerd de matemática para compreender esta simples prática para a identificação de link spam. Enquanto há certamente um grande matemático utilizado na execução da medição, teste, e a construção de modelos práticos, a essência geral é claramente compreensível.

O primeiro passo é ter uma boa amostra aleatória de links da web, que você pode ler aqui. Mas vamos supor que você já tiver terminado essa etapa. Então, para qualquer propriedade de links aleatórios (DA, texto âncora, etc.), você a descobrir o que é normal ou esperado. Finalmente, você olha para outliers e ver se aqueles que correspondem com algo importante – como sites que estão manipulando o gráfico de ligação, ou sites que são excepcionalmente bons. Vamos começar com um exemplo fácil, o link de decaimento.

Link decadência e link de spam

Link decadência é a ocorrência natural de links de cair fora da web ou alterar os URLs. Por exemplo, se você receber ligações depois de enviar um comunicado de imprensa, seria de esperar algum desses links, eventualmente, desaparecer à medida que as páginas são arquivados ou removidos por ser velho. E, se você receba um link de um post de blog, você pode esperar para ter um link para a página inicial do blog até que esse post é empurrado para a segunda ou terceira página de novas postagens.

Mas o que fazer se você comprou a sua links? O que se você possui um grande número de domínios e todos os locais de ligação uns com os outros? O que se você usar um PBN? Esses links não tendem a decair. Exercer controle sobre seus links de entrada, muitas vezes, significa que você mantê-los sempre em decomposição. Assim, podemos criar uma simples hipótese:

Hipótese: O link da taxa de decaimento de sites manipular o gráfico de ligação serão diferentes a partir de sites com ligação natural perfis.

A metodologia para testar esta hipótese, é apenas como discutimos antes. Temos a primeira a descobrir o que é natural. O que faz um site aleatório link da taxa de decaimento parece? Bem, nós simplesmente pegar um monte de sites e registro de como links rápidos são excluídos (nós visitar uma página e um link é removido) versus o número total de links. Em seguida, podemos olhar para as anomalias.

Em caso de anomalia de caça, eu estou indo para torná-lo realmente fácil. Não há estatísticas, sem a matemática, apenas um olhar rápido em que surge quando começamos a classificação pelo Menor Taxa de Decaimento e, em seguida, classificar pela Maior Autoridade de Domínio para ver quem está na final do espectro.

Sucesso! Cada exemplo de um bom DA pontuação, mas 0 link de decaimento parece ser alimentado através de um link de rede de algum tipo. Esta é a Aha! momento da ciência de dados que é tão divertido. O que é particularmente interessante é que encontramos spam em ambas as extremidades da distribuição, isto é, sites que têm 0 decadência ou perto de 100% as taxas de decaimento ambos tendem a ser de spam. O primeiro tipo tende a ser parte de um link de rede, a segunda parte tende a spam seus backlinks para sites de outros são spam, para que seus links rapidamente shuffle off para outras páginas.

É claro, agora nós fazemos o trabalho duro de construir um modelo que realmente leva isso em conta e com precisão reduz a Autoridade de Domínio em relação à gravidade do link spam. Mas você pode estar se perguntando…

Nesses locais não se classificar no Google — por que eles têm decente DAs, em primeiro lugar?

Bem, esse é um problema comum em conjuntos de treinamento. DA formação sobre sites que rank no Google, para que possamos descobrir quem será a classificação acima. No entanto, historicamente, não temos (e não um para meu conhecimento na nossa indústria tem tido em conta URLs aleatórias que não posto a todos. Isso é algo que está resolvendo para a nova DA modelo definida para o lançamento no início de Março, portanto, fique atento, pois este representa uma grande melhoria sobre a forma como podemos calcular DA!

Pontuação de Spam de distribuição e link de spam

Uma das mais interessantes novidades para os próximos Autoridade de Domínio 2.0 é o uso de nossos Pontuação de Spam. Moz da Pontuação de Spam é um link-cego (nós não utilize links em todos os métrica que prevê a probabilidade de um domínio será indexadas no Google. Quanto maior o escore, pior o site.

Agora, podemos simplesmente ignorar quaisquer links de sites com Spam Pontuações mais de 70 anos e chamá-lo um dia, mas acontece que existem fascinante padrões deixados para trás pelo elo comum a manipulação de esquemas de espera para ser descoberto, usando uma metodologia simples de utilizar uma amostra aleatória de URLs para descobrir o que um normal backlink perfil e, em seguida, verificar se existem anomalias na forma de Spam Pontuação será distribuída entre os backlinks para um site. Deixe-me mostrar-lhe apenas um.

Acontece que a interpretação natural é realmente difícil de fazer. Mesmo os melhores tentativas, muitas vezes, aquém, como fez isso particularmente perniciosa spam link de rede. Esta rede tinha me assombrado por 2 anos, pois incluía um diretório de topo milhões de sites, por isso, se você era um desses sites, você pode ver em qualquer lugar a partir de 200 a 600 seguido links aparecem no seu perfil backlink. Chamei-o de “O Globo” de rede. Era fácil olhar para a rede e ver o que eles estavam fazendo, mas podemos detectá-lo automaticamente, de modo que podemos desvalorizar as outras redes como ele no futuro? Quando nós olhamos o perfil de link de sites incluídos na rede, a Pontuação de Spam de distribuição iluminado como uma árvore de Natal.

A maioria dos sites de obter a maioria de seus backlinks de baixa Pontuação de Spam domínios e a ter menos e menos que a Pontuação de Spam de domínios de ir para cima. Mas esta ligação de rede não conseguia se esconder porque fomos capazes de detectar os sites em sua rede como tendo problemas de qualidade, usando Pontuação de Spam. Se confiamos apenas em ignorar a má Pontuação de Spam de links, que nunca teria descoberto esse problema. Em vez disso, encontramos uma grande classificador para encontrar sites que são susceptíveis de ser penalizado pelo Google por más práticas de link building.

DA distribuição e link de spam

Podemos encontrar padrões semelhantes entre os sites com a distribuição de Domínio de entrada de Autoridade. É comum para as empresas que buscam aumentar o seu ranking para definir padrões mínimos de qualidade em suas campanhas de alcance, muitas vezes DA30 e acima. O lamentável resultado disso é que o que resta são gritantes exemplos de sites com link manipulado perfis.

Deixe-me tomar um momento e ser claro aqui. Um link manipulado perfil não é necessariamente contra a Google diretrizes. Se você fizer alvo PR alcance, é razoável esperar que tal distribuição pode ocorrer sem qualquer tentativa de manipular o gráfico. No entanto, a verdadeira questão é se o Google quer sites que realizam tais alcance um melhor desempenho. Se não, este gritante exemplo de link de manipulação é muito fácil para o Google para amortecer, se não ignorar completamente.

Um link normal de gráfico para um site que não é a segmentação ligação de alta equidade domínios terá a maioria de suas ligações provenientes de DA0–10 sites, um pouco menos para DA10–20, e assim por diante e assim por diante, até quase não há links de DA90+. Isso faz sentido, já que a web tem muito mais baixa DA sites de alta. Mas todos os sites acima anormal link distribuições, o que o torna fácil de detectar e corrigir — em grande escala — valor de ligação.

Agora, eu quero ser claro: não são, necessariamente, os exemplos de violação do Google diretrizes. No entanto, eles são manipulações do gráfico de link. É até você para determinar se você acredita que o Google leva tempo para diferenciar entre a forma como a campanha foi conduzida, que resultou na anormal link de distribuição.

O que não funciona

Para cada tipo de link manipulação método de detecção de nós descobrir, sucata de dezenas de outros. Alguns destes são realmente surpreendente. Deixe-me escrever sobre apenas um dos muitos.

O primeiro exemplo surpreendente foi a razão da nofollow para seguir os links. Parece bastante simples, que comentário, fórum e outros tipos de spammers acabam acumulando muita nofollowed links, deixando, assim, um padrão que é fácil de discernir. Bem, acontece que isso não é verdade em tudo.

A proporção de nofollow para seguir links acaba por ser um indicador pobre, como sites populares como o facebook.com muitas vezes, têm uma proporção mais elevada do que pura comentário spammers. Isto é provavelmente devido ao uso de widgets e faróis e o legítimo o uso de sites populares como o facebook.com em comentários na web. É claro, este não é sempre o caso. Existem alguns sites com 100% nofollow links e um número elevado de raiz vinculação de domínios. Estas anomalias, como “Comentário Spammer 1,” pode ser detectado facilmente, mas como uma medida da proporção de não servir como um bom classificador de spam ou presunto.

Então, qual é o próximo?

Moz é continuamente atravessar o gráfico de ligação procurando maneiras de melhorar o Domínio da Autoridade de usar tudo, desde básicos de álgebra linear para as complexas redes neurais. O objectivo é simples: Nós queremos fazer o melhor de Autoridade do Domínio da métrica de sempre. Queremos uma métrica que os usuários podem confiar, a longo prazo, a raiz de spam assim como o Google (e ajudá-lo a determinar quando você ou seus concorrentes estão empurrando os limites) ao mesmo tempo, manter ou melhorar as correlações com rankings. Claro, nós não temos nenhuma expectativa de erradicar o spam — ninguém pode fazer isso. Mas podemos fazer um trabalho melhor. Liderada pelo incomparável Neil Martinsen-Burrell, métrica, vai ficar só na indústria como o método canônico para medir a probabilidade de um site que irá rank no Google.

Estamos lançando a Autoridade de Domínio 2.0 no dia 5 de Março! Confira nossos recursos úteis aqui, ou ouvir nosso webinar pré-gravado para mais informações sobre como comunicar alterações como essa para clientes e partes interessadas:

Assista ao webinar