Funcionários da OpenAI dizem que ela “falhou” em seu primeiro teste para tornar sua IA segura #ÚltimasNotícias

Mesmo antes do início dos testes no protótipo, GPT-4 Omni, a OpenAI convidou os funcionários para comemorar o resultado, que daria robustez ao ChatGPT, com uma sarau em um dos escritórios da empresa em São Francisco. “Eles planejaram a sarau pós-lançamento antes de saber se era seguro lançar”, disse uma das pessoas, falando sob quesito de anonimato para discutir informações confidenciais da empresa. “Basicamente falhamos no processo.”

O incidente não relatado anteriormente lança luz sobre a mudança de cultura na OpenAI, onde os líderes da empresa, incluindo o CEO Sam Altman, foram acusados ​​de priorizar interesses comerciais em detrimento da segurança pública — um retiro gritante das raízes da empresa porquê uma organização sem fins lucrativos altruísta. Também levanta questões sobre a submissão do governo federalista no autopoliciamento por empresas de tecnologia — por meio da promessa da Moradia Branca, muito porquê de uma ordem executiva sobre IA aprovada em outubro — para proteger o público de abusos de IA generativa, que os executivos dizem ter o potencial de refazer virtualmente todos os aspectos da sociedade humana, do trabalho à guerra.

Andrew Strait, ex-pesquisador de moral e políticas do Google DeepMind, agora diretor associado do Instituto Ada Lovelace em Londres, disse que permitir que as empresas estabeleçam seus próprios padrões de segurança é inerentemente perigoso.

“Não temos garantias significativas de que as políticas internas estejam sendo seguidas fielmente ou apoiadas por métodos confiáveis”, disse Strait.

Biden disse que o Congresso precisa fabricar novas leis para proteger o público dos riscos da IA.

“O presidente Biden tem sido simples com as empresas de tecnologia sobre a prestígio de prometer que seus produtos sejam seguros, protegidos e confiáveis ​​antes de liberá-los ao público”, disse Robyn Patterson, porta-voz da Moradia Branca. “As empresas líderes fizeram compromissos voluntários relacionados a testes de segurança independentes e transparência pública, que ele espera que cumpram.”

A OpenAI é uma das mais de uma dúzia de empresas que fizeram compromissos voluntários com a Moradia Branca no ano pretérito, um precursor da ordem executiva de IA. Entre as outras estão a Anthropic, a empresa por trás do chatbot Claude; a Nvidia, o gigante dos chips de US$ 3 trilhões; a Palantir, a empresa de estudo de dados que trabalha com militares e governos; o Google DeepMind; e a Meta. O compromisso exige que eles protejam modelos de IA cada vez mais capazes; a Moradia Branca disse que permaneceria em vigor até que uma regulamentação semelhante entrasse em vigor.

O mais novo protótipo da OpenAI, GPT-4o, foi a primeira grande chance da empresa de infligir a estrutura, que exige o uso de avaliadores humanos, incluindo profissionais pós-doutorados treinados em biologia e auditores terceirizados, se os riscos forem considerados suficientemente altos. Mas os testadores compactaram as avaliações em uma única semana, apesar das reclamações dos funcionários.

Embora esperassem que a tecnologia passasse nos testes, muitos funcionários ficaram consternados ao ver a OpenAI tratar seu alardeado novo protocolo de preparação porquê uma reflexão tardia. Em junho, vários funcionários atuais e antigos da OpenAI assinaram uma epístola ensejo enigmática exigindo que as empresas de IA isentassem seus trabalhadores de acordos de confidencialidade, liberando-os para alertar os reguladores e o público sobre os riscos de segurança da tecnologia.

Enquanto isso, o ex-executivo da OpenAI Jan Leike renunciou dias posteriormente o lançamento do GPT-4o, escrevendo no X que “a cultura e os processos de segurança ficaram em segundo projecto em relação aos produtos brilhantes”. E o ex-engenheiro de pesquisa da OpenAI William Saunders, que renunciou em fevereiro, disse em uma entrevista de podcast que havia notado um padrão de trabalho de segurança “apressado e não muito sólido” “a serviço do cumprimento da data de envio” de um novo resultado.

Um representante da equipe de preparação da OpenAI, que falou sob quesito de anonimato para discutir informações confidenciais da empresa, disse que as avaliações ocorreram durante uma única semana, o que foi suficiente para concluir os testes, mas reconheceu que o tempo havia sido “espremido”.

“Estamos repensando toda a nossa maneira de fazer isso”, disse o representante. “Isso [was] simplesmente não é a melhor maneira de fazer isso.”

Em uma enunciação, a porta-voz da OpenAI, Lindsey Held, disse que a empresa “não cortou atalhos em nosso processo de segurança, embora reconheçamos que o lançamento foi estressante para nossas equipes”. Para satisfazer com os compromissos da Moradia Branca, a empresa “conduziu testes internos e externos extensivos” e reteve alguns recursos multimídia “inicialmente para continuar nosso trabalho de segurança”, acrescentou ela.

A OpenAI anunciou a iniciativa de preparação porquê uma tentativa de trazer rigor científico ao estudo de riscos catastróficos, que ela definiu porquê incidentes “que podem resultar em centenas de bilhões de dólares em danos econômicos ou levar a danos graves ou morte de muitos indivíduos”.

O termo foi popularizado por uma partido influente dentro do campo da IA ​​que está preocupada que tentar erigir máquinas tão inteligentes quanto os humanos pode enfraquecer ou destruir a humanidade. Muitos pesquisadores de IA argumentam que esses riscos existenciais são especulativos e distraem de danos mais urgentes.

“Nosso objetivo é estabelecer um novo marco para o trabalho quantitativo e fundamentado em evidências”, Altman postou no X em outubro, anunciando a novidade equipe da empresa.

A OpenAI lançou duas novas equipes de segurança no ano pretérito, que se juntaram a uma ramificação de longa data focada em danos concretos, porquê preconceito racial ou desinformação.

A equipe Superalignment, anunciada em julho, era dedicada a prevenir riscos existenciais de sistemas de IA muito avançados. Desde portanto, ela foi redistribuída para outras partes da empresa.

Leike e o cofundador da OpenAI, Ilya Sutskever, um ex-membro do juízo que votou para alongar Altman do incumbência de CEO em novembro antes de se retratar rapidamente, lideraram a equipe. Ambos renunciaram em maio. Sutskever esteve ausente da empresa desde a reintegração de Altman, mas a OpenAI não anunciou sua repúdio até o dia seguinte ao lançamento do GPT-4o.

De harmonia com o representante da OpenAI, no entanto, a equipe de preparação teve totalidade espeque dos principais executivos.

Percebendo que o prazo para testar o GPT-4o seria apertado, o representante disse que falou com os líderes da empresa, incluindo a diretora de tecnologia Mira Murati, em abril e eles concordaram com um “projecto de contingência”. Se as avaliações revelassem um pouco alarmante, a empresa lançaria uma iteração anterior do GPT-4o que a equipe já havia testado.

Algumas semanas antes da data de lançamento, a equipe começou a fazer “testes de simulação”, planejando ter “todos os sistemas funcionando no momento em que tivermos o protótipo”, disse o representante. Eles agendaram avaliadores humanos em diferentes cidades para estarem prontos para executar os testes, um processo que custou centenas de milhares de dólares, de harmonia com o representante.

O trabalho de preparação também envolveu alertar o Grupo Consultivo de Segurança da OpenAI — um juízo de consultores recém-criado que recebe um scorecard de riscos e aconselha os líderes se mudanças são necessárias — de que teria tempo restringido para averiguar os resultados.

Held, da OpenAI, disse que a empresa se comprometeu a alocar mais tempo para o processo no porvir.

“Eu definitivamente não acho que nós contornamos [the tests]”, disse o representante. Mas o processo foi intenso, ele reconheceu. “Depois disso, dissemos: ‘Não vamos fazer isso de novo.’”

Razzan Nakhlawi contribuiu para esta reportagem.