Por que o Google indexa páginas da Web bloqueadas #ÚltimasNotícias #tecnologia

John Mueller, do Google, respondeu a uma pergunta sobre por que o Google indexa páginas que não são permitidas no rastreamento pelo robots.txt e por que é seguro ignorar os relatórios relacionados do Search Console sobre esses rastreamentos.

Tráfego de bot para URLs de parâmetros de consulta

A pessoa que fez a pergunta documentou que os bots estavam criando links para URLs de parâmetros de consulta inexistentes (?q=xyz) para páginas com meta tags noindex que também são bloqueadas em robots.txt. O que motivou a pergunta é que o Google está rastreando os links para essas páginas, sendo bloqueados por robots.txt (sem ver uma meta tag de robôs noindex) e, em seguida, sendo relatados no Google Search Console como “Indexados, embora bloqueados por robots.txt”.

A pessoa fez a seguinte pergunta:

“Mas aqui está a grande questão: por que o Google indexaria páginas se eles nem conseguem ver o conteúdo? Qual é a vantagem nisso?”

John Mueller, do Google, confirmou que se eles não conseguirem rastrear a página, eles não poderão ver a meta tag noindex. Ele também faz uma menção interessante ao operador site:search, aconselhando ignorar os resultados porque os usuários “médios” não verão esses resultados.

Ele escreveu:

“Sim, você está certo: se não podemos rastrear a página, não podemos ver o noindex. Dito isso, se não podemos rastrear as páginas, não há muito para indexarmos. Então, embora você possa ver algumas dessas páginas com um site:-query segmentado, o usuário médio não as verá, então eu não me preocuparia com isso. Noindex também é bom (sem robots.txt disallow), significa apenas que as URLs acabarão sendo rastreadas (e acabarão no relatório do Search Console para rastreado/não indexado — nenhum desses status causa problemas para o resto do site). A parte importante é que você não as torne rastreáveis ​​+ indexáveis.”

Lições aprendidas:

1. A resposta de Mueller confirma as limitações no uso do operador de pesquisa avançada Site:search para fins de diagnóstico. Um desses motivos é porque ele não está conectado ao índice de pesquisa regular, é algo completamente separado.

John Mueller, do Google, comentou sobre o operador de busca de sites em 2021:

“A resposta curta é que uma consulta de site não deve ser completa nem usada para fins de diagnóstico.

Uma consulta de site é um tipo específico de pesquisa que limita os resultados a um determinado site. É basicamente apenas a palavra site, dois pontos e, em seguida, o domínio do site.

Esta consulta limita os resultados a um site específico. Não é para ser uma coleção abrangente de todas as páginas daquele site.”

2. A tag Noindex sem usar um robots.txt é adequada para esses tipos de situações em que um bot está criando links para páginas inexistentes que estão sendo descobertas pelo Googlebot.

3. URLs com a tag noindex gerarão uma entrada “rastreada/não indexada” no Search Console e isso não terá um efeito negativo no restante do site.

Leia a pergunta e a resposta no LinkedIn:

Por que o Google indexaria páginas se eles nem conseguem ver o conteúdo?

Imagem em destaque por Shutterstock/Krakenimages.com