Google reformula toda a documentação do Crawler #ÚltimasNotícias #tecnologia

O Google lançou uma grande reformulação da documentação do Crawler, reduzindo a página de visão geral principal e dividindo o conteúdo em três páginas novas e mais focadas. Embora o changelog minimize as mudanças, há uma seção inteiramente nova e basicamente uma reescrita de toda a página de visão geral do crawler. As páginas adicionais permitem que o Google aumente a densidade de informações de todas as páginas do crawler e melhore a cobertura tópica.

O que mudou?

O changelog da documentação do Google observa duas mudanças, mas na verdade há muito mais.

Aqui estão algumas das mudanças:

• Adicionada uma string de agente de usuário atualizada para o rastreador GoogleProducer
• Adicionadas informações de codificação de conteúdo
• Adicionada uma nova seção sobre propriedades técnicas

A seção de propriedades técnicas contém informações inteiramente novas que não existiam anteriormente. Não há alterações no comportamento do rastreador, mas ao criar três páginas específicas de tópicos, o Google consegue adicionar mais informações à página de visão geral do rastreador e, ao mesmo tempo, torná-la menor.

Estas são as novas informações sobre codificação de conteúdo (compressão):

“Os crawlers e fetchers do Google suportam as seguintes codificações de conteúdo (compressões): gzip, deflate e Brotli (br). As codificações de conteúdo suportadas por cada agente de usuário do Google são anunciadas no cabeçalho Accept-Encoding de cada solicitação que eles fazem. Por exemplo, Accept-Encoding: gzip, deflate, br.”

Há informações adicionais sobre o rastreamento por HTTP/1.1 e HTTP/2, além de uma declaração sobre o objetivo de rastrear o máximo de páginas possível sem afetar o servidor do site.

Qual é o objetivo da reformulação?

A mudança na documentação ocorreu devido ao fato de que a página de visão geral havia se tornado grande. Informações adicionais do rastreador tornariam a página de visão geral ainda maior. Foi tomada a decisão de dividir a página em três subtópicos para que o conteúdo específico do rastreador pudesse continuar a crescer e abrir espaço para informações mais gerais na página de visões gerais. Desmembrar subtópicos em suas próprias páginas é uma solução brilhante para o problema de como melhor atender aos usuários.

É assim que o changelog da documentação explica a mudança:

“A documentação ficou muito longa, o que limitou nossa capacidade de estender o conteúdo sobre nossos rastreadores e buscadores acionados pelo usuário.

…Reorganizamos a documentação para os rastreadores do Google e os buscadores acionados pelo usuário. Também adicionamos notas explícitas sobre qual produto cada rastreador afeta e adicionamos um snippet robots.txt para cada rastreador para demonstrar como usar os tokens do agente do usuário. Não houve alterações significativas no conteúdo de outra forma.”

O changelog minimiza as mudanças, descrevendo-as como uma reorganização, porque a visão geral do rastreador foi substancialmente reescrita, além da criação de três novas páginas.

Embora o conteúdo permaneça substancialmente o mesmo, a divisão dele em subtópicos torna mais fácil para o Google adicionar mais conteúdo às novas páginas sem continuar a aumentar a página original. A página original, chamada Visão geral dos rastreadores e buscadores do Google (agentes do usuário), agora é realmente uma visão geral com conteúdo mais granular movido para páginas autônomas.

O Google publicou três novas páginas:

1. Rastejadores comuns
2. Rastreadores de casos especiais
3. Buscadores acionados pelo usuário

1. Rastejadores comuns

Como diz o título, esses são crawlers comuns, alguns dos quais são associados ao GoogleBot, incluindo o Google-InspectionTool, que usa o agente de usuário do GoogleBot. Todos os bots listados nesta página obedecem às regras do robots.txt.

Estes são os rastreadores documentados do Google:

• Googlebot
• Imagem do Googlebot
• Vídeo do Googlebot
• Notícias do Googlebot
• Google StoreBot
• Ferramenta de inspeção do Google
• GoogleOutro
• GoogleOutra-Imagem
• GoogleOutro-Vídeo
• Google CloudVertexBot
• Google-Estendido

3. Crawlers de casos especiais

Esses são rastreadores associados a produtos específicos, rastreados por acordo com os usuários desses produtos e que operam a partir de endereços IP diferentes dos endereços IP do rastreador do GoogleBot.

Lista de rastreadores de casos especiais:

• AdSense
  Agente do usuário para Robots.txt: Mediapartners-Google
• AnúnciosBot
  Agente do usuário para Robots.txt: AdsBot-Google
• AdsBot Web Móvel
  Agente do usuário para Robots.txt: AdsBot-Google-Mobile
• APIs-Google
  Agente do usuário para Robots.txt: APIs-Google
• Google-Segurança
  Agente do usuário para Robots.txt: Google-Safety

3. Buscadores acionados pelo usuário

A página Buscadores acionados pelo usuário abrange bots que são ativados por solicitação do usuário, explicados assim:

“Os buscadores acionados pelo usuário são iniciados pelos usuários para executar uma função de busca dentro de um produto do Google. Por exemplo, o Google Site Verifier atua na solicitação de um usuário, ou um site hospedado no Google Cloud (GCP) tem um recurso que permite que os usuários do site recuperem um feed RSS externo. Como a busca foi solicitada por um usuário, esses buscadores geralmente ignoram as regras robots.txt. As propriedades técnicas gerais dos rastreadores do Google também se aplicam aos buscadores acionados pelo usuário.”

A documentação abrange os seguintes bots:

• Alimentador
• Centro do editor do Google
• Google Ler em voz alta
• Verificador de site do Google

Remover:

A página de visão geral do rastreador do Google se tornou excessivamente abrangente e possivelmente menos útil porque as pessoas nem sempre precisam de uma página abrangente, elas estão interessadas apenas em informações específicas. A página de visão geral é menos específica, mas também mais fácil de entender. Ela agora serve como um ponto de entrada onde os usuários podem detalhar subtópicos mais específicos relacionados aos três tipos de rastreadores.

Essa mudança oferece insights sobre como atualizar uma página que pode estar com desempenho abaixo do esperado porque se tornou muito abrangente. Dividir uma página abrangente em páginas independentes permite que os subtópicos abordem necessidades específicas dos usuários e possivelmente os tornem mais úteis caso sejam classificados nos resultados da pesquisa.

Eu não diria que a mudança reflete algo no algoritmo do Google, ela apenas reflete como o Google atualizou sua documentação para torná-la mais útil e prepará-la para adicionar ainda mais informações.

Leia a nova documentação do Google

Visão geral dos rastreadores e buscadores do Google (agentes do usuário)

Lista de rastreadores comuns do Google

Lista de rastreadores de casos especiais do Google

Lista de buscadores acionados pelo usuário do Google

Imagem em destaque por Shutterstock/Cast Of Thousands