Posição da Cloudflare sobre o agrupamento do crawler do Google

Matthew Prince, CEO da Cloudflare, viajou para Londres para discutir com a CMA a necessidade de regulamentação mais rigorosa do crawler da web do Google. Prince afirma que a designação recente da CMA de que o Google tem um status especial nos mercados de busca e publicidade abre caminho para uma supervisão mais ampla, incluindo os produtos de IA do Google, como AI Overviews, AI Mode, Discover feed, Top Stories e News tab.

A Cloudflare não é uma empresa de IA, mas fornece infraestrutura para uma grande parcela de empresas de IA - Prince observa que "80% das empresas de IA são nossos clientes". Devido a essa posição, a Cloudflare acredita que pode oferecer ao regulador dados concretos sobre como o crawler do Google opera e por que é difícil para concorrentes replicar seu alcance.

O problema com os crawlers agrupados

Prince sustenta que a prática do Google de usar o mesmo crawler para sua engine de busca e produtos de IA cria uma "vantagem injusta". Ele explica que o Google alega um "direito divino" de acessar todo o conteúdo da web sem pagar, aproveitando o crawler que construiu ao longo de "27 anos". Esse agrupamento força os proprietários de sites a optar por sair de ambos os conteúdos de busca e IA ao mesmo tempo, um cenário que é "não possível para a maioria", especialmente para empresas de mídia que dependem do tráfego de busca para uma parte significativa da receita.

Bloquear o crawler do Google também desabilita os mecanismos de segurança de anúncios da empresa, significando que anúncios em plataformas parariam de funcionar. Prince argumenta que isso cria uma "situação sem saída" para editores que possam considerar recusar o crawler do Google.

Chamadas para concorrência e pagamento por conteúdo

Prince propõe que um mercado competitivo permitiria que milhares de empresas de IA comprassem conteúdo de empresas de mídia, em vez de depender de uma única fonte gratuita. Ele elogia a movimentação da CMA para flagrar o Google como um possível alvo regulatório, descrevendo-a como uma "movimentação pensada" que reconhece a vantagem única do Google.

Líderes da indústria ecoam as preocupações de Prince. Neil Vogel, CEO da People, Inc., a maior editora digital e impressa dos EUA, recentemente rotulou o Google como um "ator ruim" e destacou que empresas de mídia se sentem compelidas a permitir que o Google crawle seus sites para conteúdo de IA devido à abordagem agrupada. A empresa de Vogel adotou a solução da Cloudflare para bloquear crawlers de IA não pagos e relata que discussões estão em andamento com vários grandes provedores de modelos de linguagem.

Resultados potenciais

Se a CMA adotar regras mais rigorosas, o Google pode ser obrigado a separar seu crawler de busca de sua coleta de dados de IA, nivelando o campo de jogo para outros desenvolvedores de IA. Os dados e a defesa da Cloudflare visam apoiar essa mudança regulatória, incentivando um ambiente em que as empresas de IA devem pagar pelo conteúdo que usam, promovendo assim uma concorrência mais ampla e protegendo os interesses dos editores.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas