Google mostra como bloquear bots e aumentar o desempenho do site #ÚltimasNotícias #tecnologia

Martin Splitt, do Google, respondeu a uma pergunta sobre bots maliciosos que afetam o desempenho do site, oferecendo sugestões que todo SEO e proprietário de site deve saber e colocar em prática.

Bots maliciosos são um problema de SEO

Muitos SEOs que fazem auditorias de sites geralmente ignoram a segurança e o tráfego de bots como parte de suas auditorias porque não é amplamente compreendido pelos profissionais de marketing digital que eventos de segurança impactam o desempenho do site e podem ser responsáveis ​​pelo motivo pelo qual um site é rastreado de forma inadequada. Melhorar os principais web vitals não fará nada para melhorar o desempenho do site quando uma postura de segurança ruim está contribuindo para o desempenho ruim do site.

Todos os sites estão sob ataque e os efeitos do rastreamento excessivo podem desencadear um código de resposta “erro de servidor 500”, sinalizando uma incapacidade de exibir páginas da web e dificultando a capacidade do Google de rastreá-las.

Como se defender contra ataques de bots

A pessoa que fez a pergunta queria o conselho do Google sobre como lutar contra as ondas de robôs scraper que estão afetando o desempenho do servidor.

Esta é a pergunta feita:

“Nosso site está passando por interrupções significativas devido à raspagem direcionada por software automatizado, levando a problemas de desempenho, aumento da carga do servidor e potenciais preocupações com a segurança dos dados. Apesar do bloqueio de IP e outras medidas preventivas, o problema persiste. O que podemos fazer?”

Martin Splitt, do Google, sugeriu identificar o serviço que está servindo como fonte dos ataques e notificá-los sobre o uso abusivo de seus serviços. Ele também recomendou os recursos de firewall de uma CDN (Content Delivery Network).

Martin respondeu:

“Isso parece um problema de negação de serviço distribuída se o rastreamento for tão agressivo que cause degradação do desempenho.

Você pode tentar identificar o dono da rede de onde o tráfego está vindo, agradecer ao “hoster deles” e enviar uma notificação de abuso. Você pode usar informações WHOIS para isso, normalmente.

Alternativamente, CDNs frequentemente têm recursos para detectar tráfego de bots e bloqueá-lo e, por definição, eles tiram o tráfego do seu servidor e o distribuem bem, então isso é uma vitória. A maioria das CDNs reconhece bots legítimos de mecanismos de busca e não os bloqueia, mas se isso é uma grande preocupação para você, considere perguntar a eles antes de começar a usá-los.”

O conselho do Google funcionará?

Identificar o provedor de nuvem ou o data center do servidor que está hospedando os bots maliciosos é um bom conselho. Mas há muitos cenários em que isso não funciona.

Três razões pelas quais entrar em contato com provedores de recursos não funcionará

1. Muitos bots estão ocultos

Os bots geralmente usam VPNs e redes “Tor” de código aberto que escondem a fonte dos bots, derrotando todas as tentativas de identificar os serviços de nuvem ou host da web que fornecem a infraestrutura para os bots. Os hackers também se escondem atrás de computadores residenciais e comerciais comprometidos, chamados botnets, para lançar seus ataques. Não há como identificá-los.

2. Bots trocam endereços IP

Alguns bots respondem ao bloqueio de IP trocando instantaneamente para uma rede diferente para retomar imediatamente o ataque. Um ataque pode se originar de um servidor alemão e, quando bloqueado, mudará para um provedor de rede na Ásia.

3. Uso ineficiente do tempo

Entrar em contato com provedores de rede sobre usuários abusivos é inútil quando a fonte do tráfego é ofuscada ou de centenas de fontes. Muitos proprietários de sites e SEOs podem se surpreender ao descobrir o quão intensos são os ataques em seus sites. Até mesmo tomar medidas contra um pequeno grupo de infratores é um uso ineficiente do tempo porque há literalmente milhões de outros bots que substituirão os bloqueados por um provedor de nuvem.

E quanto às botnets compostas por milhares de computadores comprometidos ao redor do mundo? Você acha que tem tempo para notificar todos esses ISPs?

Essas são três razões pelas quais notificar provedores de infraestrutura não é uma abordagem viável para interromper bots que impactam o desempenho do site. Realisticamente, é um uso fútil e ineficiente do tempo.

Use um WAF para bloquear bots

Usar um Web Application Firewall (WAF) é uma boa ideia e essa é a função que Martin Splitt sugere quando mencionou usar uma CDN (content delivery network). Uma CDN, como a Cloudflare, envia aos navegadores e rastreadores a página da web solicitada de um servidor que está localizado mais próximo deles, acelerando o desempenho do site e reduzindo os recursos do servidor para o proprietário do site.

Uma CDN também tem um WAF (Web Application Firewall) que bloqueia automaticamente bots maliciosos. A sugestão de Martin para usar uma CDN é definitivamente uma boa opção, especialmente porque tem o benefício adicional de melhorar o desempenho do site.

Uma opção que Martin não mencionou é usar um plugin WAF do WordPress como o Wordfence. O Wordfence tem um WAF que desliga automaticamente os bots com base no comportamento deles. Por exemplo, se um bot estiver solicitando quantidades ridículas de páginas, ele criará automaticamente um bloqueio de IP temporário. Se o bot girar para outro endereço IP, ele identificará o comportamento de rastreamento e o bloqueará novamente.

Outra solução a considerar é uma plataforma SaaS como a Sucuri, que oferece um WAF e um CDN para acelerar o desempenho. Tanto o Wordfence quanto a Sucuri são provedores confiáveis ​​de segurança para WordPress e vêm com versões gratuitas limitadas, mas eficazes.

Ouça a pergunta e a resposta no minuto 6:36 do podcast Google SEO Office Hours:

Imagem em destaque por Shutterstock/Krakenimages.com