Permitir a raspagem de IA do Google ou perder a visibilidade da pesquisa #ÚltimasNotícias #tecnologia

Enquanto o governo dos EUA pondera suas opções após uma decisão histórica de “monopolista” contra o Google na semana passada, as publicações online enfrentam cada vez mais um futuro sombrio. (E desta vez, não é apenas por causa da receita de anúncios severamente reduzida.) Bloomberg relata que sua escolha agora se resume a permitir que o Google use seu conteúdo publicado para produzir “respostas” de pesquisa geradas por IA em linha ou perder visibilidade no mecanismo de busca da empresa.

O cerne do problema está no Googlebot, o rastreador que vasculha e indexa a web ao vivo para produzir os resultados que você vê quando insere termos de pesquisa. Se os editores bloquearem o Google de usar seu conteúdo para as respostas produzidas por IA que você agora vê espalhadas no topo de muitos resultados de pesquisa, eles também perdem o privilégio de incluir suas páginas da web nos resultados padrão da web.

O catch-22 levou publicações, mecanismos de busca rivais e startups de IA a depositarem suas esperanças no Departamento de Justiça. Na terça-feira, O jornal New York Times informou que o DOJ está considerando pedir a um juiz federal para dividir partes da empresa (desmembrando seções como Chrome ou Android). Outras opções que ele está supostamente ponderando incluem forçar o Google a compartilhar dados de pesquisa com concorrentes ou abrir mão de seus acordos de mecanismo de busca padrão, como o de US$ 18 bilhões que ele fechou com a Apple.

O Google usa um rastreador separado para seu chatbot Gemini (antigo Bard). Mas seu rastreador principal cobre tanto as visões gerais de IA quanto as pesquisas padrão, deixando os editores da web com pouca (se alguma) alavancagem. Se você deixar o Google raspar seu conteúdo para respostas de visão geral de IA, os leitores podem considerar isso o fim do assunto sem se preocupar em visitar seu site (o que significa receita zero desses leitores em potencial). Mas se você bloquear o Googlebot, você perde visibilidade na pesquisa, o que provavelmente significa significativamente menos renda de curto prazo e uma perda colossal de posição competitiva de longo prazo.

eu conserto O CEO Kyle Wiens disse Bloomberg“Eu posso bloquear o ClaudeBot [Anthropic’s crawler for its Claude chatbot] de nos indexar sem prejudicar nossos negócios. Mas se eu bloquear o Googlebot, perdemos tráfego e clientes.”

Outro problema com a combinação dos dois é que isso dá ao Google uma vantagem imensurável sobre startups menores de IA. A empresa obtém uma infinidade de dados de treinamento gratuitos de editores ansiosos para permanecerem visíveis na pesquisa. Em contraste, as empresas de IA são forçadas a pagar aos editores pelo acesso aos seus dados — e, mesmo assim, isso não se somaria ao filão que o Google obtém (essencialmente) de graça.

Nessa perspectiva, não é surpreendente ler que, de acordo com BloombergO Google está rejeitando editores que tentam negociar acordos de conteúdo. (O Reddit tem sido a única exceção.) Por que desperdiçar dinheiro em acordos de conteúdo quando eles obtêm todos os dados de treinamento que desejam em troca dos resultados de pesquisa que a maioria dos editores precisa para sobreviver?

“Agora você tem um monte de empresas de tecnologia que estão pagando por conteúdo, elas estão pagando para ter acesso a isso porque precisam disso para poderem competir de alguma forma séria”, disse Alex Rosenberg, CEO da startup de IA Tako Inc. Bloomberg. “Enquanto para o Google, eles realmente não precisam fazer isso.”

Tudo se resume à alavancagem que o Google exerce sobre editores desesperados. Além dos problemas financeiros existentes na indústria (a receita de anúncios online caiu vertiginosamente nos últimos oito anos), Semana de anúncios relatou em março que as respostas de pesquisa geradas pela IA do Google poderiam levar a uma queda de 20 a 60 por cento no tráfego de pesquisa orgânica.

Agora a bola está no campo do Departamento de Justiça para descobrir o que o Google — e, até certo ponto, toda a web — fará a partir daqui. Bloombergvale a pena ler a história completa de ‘.