OpenAI e Anthropic concordam em compartilhar seus modelos com o US AI Safety Institute #ÚltimasNotícias #tecnologia

A OpenAI e a Anthropic concordaram em compartilhar modelos de IA — antes e depois do lançamento — com o US AI Safety Institute. A agência, estabelecida por meio de uma ordem executiva do presidente Biden em 2023, oferecerá feedback de segurança às empresas para melhorar seus modelos. O CEO da OpenAI, Sam Altman, deu a entender o acordo no início deste mês.

O US AI Safety Institute não mencionou outras empresas que lidam com IA. Mas em uma declaração ao Engadget, um porta-voz do Google disse ao Engadget que a empresa está em discussões com a agência e compartilhará mais informações quando estiverem disponíveis. Esta semana, o Google começou a lançar modelos atualizados de chatbot e gerador de imagens para Gemini.

“A segurança é essencial para alimentar a inovação tecnológica revolucionária. Com esses acordos em vigor, estamos ansiosos para começar nossas colaborações técnicas com a Anthropic e a OpenAI para avançar a ciência da segurança da IA”, escreveu Elizabeth Kelly, diretora do US AI Safety Institute, em uma declaração. “Esses acordos são apenas o começo, mas são um marco importante à medida que trabalhamos para ajudar a administrar de forma responsável o futuro da IA.”

O US AI Safety Institute faz parte do National Institute of Standards and Technology (NIST). Ele cria e publica diretrizes, testes de referência e melhores práticas para testar e avaliar sistemas de IA potencialmente perigosos. “Assim como a IA tem o potencial de fazer um bem profundo, ela também tem o potencial de causar danos profundos, desde ataques cibernéticos habilitados por IA em uma escala além de tudo que já vimos antes até armas biológicas formuladas por IA que podem colocar em risco a vida de milhões”, disse a vice-presidente Kamala Harris no final de 2023, após a agência ter sido estabelecida.

O primeiro acordo desse tipo é por meio de um Memorando de Entendimento (formal, mas não vinculativo). A agência receberá acesso aos “principais novos modelos” de cada empresa antes e depois de seu lançamento público. A agência descreve os acordos como pesquisa colaborativa e de mitigação de riscos que avaliará capacidades e segurança. O US AI Safety Institute também colaborará com o UK AI Safety Institute.

Isso acontece enquanto reguladores federais e estaduais tentam estabelecer barreiras de proteção de IA enquanto a tecnologia de rápido avanço ainda é incipiente. Na quarta-feira, a assembleia estadual da Califórnia aprovou um projeto de lei de segurança de IA (SB 10147) que exige testes de segurança para modelos de IA que custam mais de US$ 100 milhões para desenvolver ou exigem uma quantidade definida de poder de computação. O projeto de lei exige que as empresas de IA tenham interruptores de desligamento que podem desligar os modelos se eles se tornarem “pesados ​​ou incontroláveis”.

Diferentemente do acordo não vinculativo com o governo federal, o projeto de lei da Califórnia teria alguma força para execução. Ele dá ao procurador-geral do estado licença para processar se os desenvolvedores de IA não cumprirem, especialmente durante eventos de nível de ameaça. No entanto, ele ainda requer mais uma votação de processo — e a assinatura do governador Gavin Newsom, que terá até 30 de setembro para decidir se dará sinal verde.

Atualização, 29 de agosto de 2024, 16h53 ET: Esta história foi atualizada para adicionar uma resposta de um porta-voz do Google.