Quando responsabilizar em um protótipo de IA | MIT News #ÚltimasNotícias

Uma vez que os modelos de machine learning podem dar previsões falsas, os pesquisadores geralmente os equipam com a capacidade de expor a um usuário o quão optimista ele está sobre uma determinada decisão. Isso é mormente importante em cenários de cima risco, porquê quando os modelos são usados ​​para ajudar a identificar doenças em imagens médicas ou filtrar candidaturas a empregos.

Mas as quantificações de incerteza de um protótipo só são úteis se forem precisas. Se um protótipo diz que tem 49 por cento de crédito de que uma imagem médica mostra um derrame pleural, logo 49 por cento das vezes, o protótipo deve estar patente.

Pesquisadores do MIT introduziram uma novidade abordagem que pode melhorar estimativas de incerteza em modelos de machine learning. O método deles não exclusivamente gera estimativas de incerteza mais precisas do que outras técnicas, mas o faz de forma mais eficiente.

Aliás, porquê a técnica é escalável, ela pode ser aplicada a grandes modelos de aprendizagem profundo que estão sendo cada vez mais implantados em assistência médica e outras situações críticas de segurança.

Essa técnica pode fornecer aos usuários finais, muitos dos quais não têm experiência em aprendizagem de máquina, melhores informações que eles podem usar para estabelecer se devem responsabilizar nas previsões de um protótipo ou se o protótipo deve ser implantado para uma tarefa específica.

“É fácil ver esses modelos se saindo muito muito em cenários em que são muito bons e, logo, assumir que serão tão bons quanto em outros cenários. Isso torna mormente importante impulsionar esse tipo de trabalho que procura calibrar melhor a incerteza desses modelos para prometer que eles se alinhem com as noções humanas de incerteza”, diz o responsável principal Nathan Ng, um estudante de pós-graduação na Universidade de Toronto que é um estudante visitante no MIT.

Ng escreveu o cláusula com Roger Grosse, professor assistente de ciência da computação na Universidade de Toronto; e a autora sênior Marzyeh Ghassemi, professora associada no Departamento de Engenharia Elétrica e Ciência da Computação e membro do Instituto de Ciências de Engenharia Médica e do Laboratório de Sistemas de Informação e Decisão. A pesquisa será apresentada na Conferência Internacional sobre Estágio de Máquina.

Quantificando a incerteza

Os métodos de quantificação de incerteza geralmente exigem cálculos estatísticos complexos que não escalam muito para modelos de machine learning com milhões de parâmetros. Esses métodos também exigem que os usuários façam suposições sobre o protótipo e os dados usados ​​para treiná-lo.

Os pesquisadores do MIT adotaram uma abordagem dissemelhante. Eles usam o que é divulgado porquê princípio do comprimento mínimo de descrição (MDL), que não requer as suposições que podem prejudicar a precisão de outros métodos. O MDL é usado para quantificar e calibrar melhor a incerteza para pontos de teste que o protótipo foi solicitado a rotular.

A técnica desenvolvida pelos pesquisadores, conhecida porquê IF-COMP, torna o MDL rápido o suficiente para ser usado com os tipos de grandes modelos de aprendizagem profundo implantados em muitos cenários do mundo real.

MDL envolve considerar todos os rótulos possíveis que um protótipo poderia dar a um ponto de teste. Se houver muitos rótulos alternativos para esse ponto que se encaixem muito, sua crédito no rótulo escolhido deve diminuir de entendimento.

“Uma maneira de entender o quão optimista um protótipo é seria narrar a ele algumas informações contrafactuais e ver a verosimilhança de ele confiar em você”, diz Ng.

Por exemplo, considere um protótipo que diz que uma imagem médica mostra um derrame pleural. Se os pesquisadores disserem ao protótipo que esta imagem mostra um edema, e ele estiver disposto a atualizar sua crença, logo o protótipo deve estar menos optimista em sua decisão original.

Com MDL, se um protótipo estiver optimista ao rotular um ponto de dados, ele deve usar um código muito limitado para descrever esse ponto. Se estiver incerto sobre sua decisão porque o ponto pode ter muitos outros rótulos, ele usa um código mais longo para tomar essas possibilidades.

A quantidade de código usada para rotular um ponto de dados é conhecida porquê dificuldade de dados estocásticos. Se os pesquisadores perguntarem ao protótipo o quão disposto ele está a atualizar sua crença sobre um ponto de dados dada evidência contrária, a dificuldade de dados estocásticos deve diminuir se o protótipo for optimista.

Mas testar cada ponto de dados usando MDL exigiria uma quantidade enorme de computação.

Acelerando o processo

Com o IF-COMP, os pesquisadores desenvolveram uma técnica de aproximação que pode prezar com precisão a dificuldade de dados estocásticos usando uma função privativo, conhecida porquê função de influência. Eles também empregaram uma técnica estatística chamada graduação de temperatura, que melhora a calibração das saídas do protótipo. Essa combinação de funções de influência e graduação de temperatura permite aproximações de subida qualidade da dificuldade de dados estocásticos.

No final, o IF-COMP pode produzir eficientemente quantificações de incerteza muito calibradas que refletem a verdadeira crédito de um protótipo. A técnica também pode estabelecer se o protótipo rotulou incorretamente certos pontos de dados ou revelar quais pontos de dados são outliers.

Os pesquisadores testaram seu sistema nessas três tarefas e descobriram que ele era mais rápido e preciso do que outros métodos.

“É realmente importante ter alguma certeza de que um protótipo está muito calibrado, e há uma premência crescente de detectar quando uma previsão específica não parece muito correta. Ferramentas de auditoria estão se tornando mais necessárias em problemas de aprendizagem de máquina, pois usamos grandes quantidades de dados não examinados para fazer modelos que serão aplicados a problemas voltados para humanos”, diz Ghassemi.

O IF-COMP é agnóstico em relação a modelos, logo ele pode fornecer quantificações precisas de incerteza para muitos tipos de modelos de machine learning. Isso pode permitir que ele seja implantado em uma gama mais ampla de cenários do mundo real, ajudando, em última estudo, mais profissionais a tomar melhores decisões.

“As pessoas precisam entender que esses sistemas são muito falíveis e podem inventar coisas conforme avançam. Um protótipo pode parecer altamente optimista, mas há uma tonelada de coisas diferentes nas quais ele está disposto a confiar, dada a evidência do contrário”, diz Ng.

No porvir, os pesquisadores estão interessados ​​em infligir sua abordagem a grandes modelos de linguagem e estudar outros possíveis casos de uso para o princípio do comprimento mínimo de descrição.