A mensuração é a chave para ajudar a manter a IA no caminho certo

Quando Hanna Wallach começou a testar modelos de aprendizado de máquina, as tarefas eram bem definidas e fáceis de avaliar. O modelo identificou corretamente os gatos em uma imagem? Ele previu com precisão as classificações que diferentes espectadores deram a um filme? Transcreveu as palavras exatas que alguém acabou de falar?

Contudo, esse trabalho de avaliação do desempenho de um modelo foi transformado pela criação de IA generativa, como grandes modelos de linguagem (LLMs) que interagem com as pessoas. Portanto, o foco de Wallach como pesquisadora da Microsoft mudou para apurar as respostas da IA para riscos potenciais que não são fáceis de quantificar – “conceitos humanos difusos”, diz ela, como justiça ou segurança psicológica.

Essa nova abordagem de mensuração, ou definição e avaliação de riscos em IA e garantia de que as soluções sejam eficazes, analisa os elementos sociais e técnicos de como a tecnologia generativa interage com as pessoas. Isso a torna muito mais complexa, mas também crítica para ajudar a manter a IA segura para todos.

“Muito do que minha equipe faz é descobrir como essas ideias das ciências sociais podem ser usadas no contexto da IA responsável”, diz Wallach. “Não é possível entender os aspectos técnicos da IA sem entender os aspectos sociais e vice-versa.”

Sua equipe de cientistas aplicados na Microsoft Research analisa os riscos descobertos a partir do feedback dos clientes, pesquisadores, equipes de produto e de políticas da Microsoft e o AI Red Team da empresa – um grupo de tecnólogos e outros especialistas que cutucam e estressam sistemas de IA para ver onde as coisas podem dar errado.

Quando surgem problemas potenciais – com injustiça, por exemplo, como um sistema de IA mostrando apenas mulheres na cozinha ou apenas homens como CEOs – a equipe de Wallach e outras pessoas da empresa intervêm para entender e definir o contexto e a extensão desses riscos e todas as diferentes maneiras pelas quais eles podem aparecer em várias interações com o sistema.

Depois que outras equipes desenvolvem correções para quaisquer riscos que os usuários possam encontrar, o grupo de Wallach mede as respostas do sistema novamente para garantir que esses ajustes sejam eficazes.

A pesquisadora e seus colegas lidam com conceitos nebulosos, como o que significa para a IA estereotipar ou rebaixar grupos específicos de pessoas. Sua abordagem adapta estruturas da linguística e das ciências sociais para chegar a definições concretas, respeitando quaisquer significados contestados – um processo conhecido como “sistematização”.

Depois de definir ou sistematizar um risco, eles começam a medi-lo usando técnicas de anotação ou métodos usados para rotular as respostas do sistema, em interações simuladas e do mundo real. Em seguida, eles pontuam essas respostas para ver se o sistema de IA teve um desempenho aceitável ou não.

O trabalho da equipe ajuda nas decisões de engenharia, fornecendo informações granulares aos tecnólogos da Microsoft à medida que desenvolvem mitigações. O grupo também apoia as decisões de política interna da empresa, com as mensurações ajudando os líderes a decidir se e quando um sistema está pronto para implantação.

“Como saberemos se nossas mitigações e soluções são eficazes, a menos que a mensuremos? Esta é a coisa mais importante na IA responsável no momento.”

Sarah Bird, diretora de produtos de IA responsável da Microsoft

Como os sistemas de IA generativa lidam com texto, imagens e outras modalidades que representam a sociedade e o mundo ao nosso redor, a equipe de Wallach foi formada com uma combinação única de conhecimentos. Seu grupo inclui cientistas aplicados de ciência da computação e linguística que estudam como diferentes tipos de riscos podem se manifestar. Eles fazem parcerias com pesquisadores, especialistas de domínio, consultores de políticas, engenheiros e outros para incluir o maior número possível de perspectivas e origens.

À medida que os sistemas de IA se tornam mais prevalentes, é cada vez mais importante que eles representem e tratem os grupos marginalizados de forma justa. Então, no ano passado, por exemplo, o grupo trabalhou com a equipe do diretor de acessibilidade da Microsoft para entender os riscos relacionados à equidade que afetam as pessoas com deficiência. Eles começaram mergulhando profundamente no que significa representar pessoas com deficiência de forma justa e identificando como as respostas do sistema de IA podem refletir o capacitismo. O grupo também se envolveu com líderes comunitários para obter informações sobre as experiências que as pessoas com deficiência têm ao interagir com a IA.

Transformar essas descobertas em um conceito claramente sistematizado ajuda no desenvolvimento de métodos para medir os riscos, revisar os sistemas conforme necessário e, em seguida, monitorar a tecnologia para garantir uma melhor experiência para as pessoas com deficiência.

Uma das novas ferramentas metodológicas que a equipe de Wallach ajudou a desenvolver, as avaliações de segurança do Azure AI Studio, usa a própria IA generativa – um avanço que pode medir e monitorar continuamente sistemas cada vez mais complexos e difundidos, diz Sarah Bird, diretora de Produtos de IA Responsável da Microsoft.

“Não é possível entender os aspectos técnicos da IA sem entender os aspectos sociais e vice-versa.”

Hanna Wallach, pesquisadora da Microsoft

Uma vez que a ferramenta recebe as entradas e o treinamento corretos sobre como rotular as saídas de um sistema de IA, ela as interpreta – por exemplo, como alguém tentando obter conteúdo sexual impróprio. Em seguida, classifica as respostas do sistema, com base em diretrizes que refletem o risco cuidadosamente sistematizado.

As pontuações resultantes são, então, agregadas usando métricas para avaliar a extensão do risco. Grupos de especialistas auditam regularmente os testes para garantir que sejam precisos e alinhados com as classificações dos humanos, diz Bird.

“Fazer com que o sistema de IA se comporte como os especialistas é algo que exige muito trabalho e inovação. É realmente desafiador e divertido de desenvolver”, à medida que a Microsoft investe neste campo da ciência da avaliação em evolução, diz Bird.

Os clientes da Microsoft também podem usar a ferramenta para medir o desempenho de seus chatbots ou outros sistemas de IA em relação às suas metas de segurança específicas.

“A avaliação é a coisa robusta que nos ajuda a entender como um sistema de IA está se comportando em escala”, conta Bird. “Como saberemos se nossas mitigações e soluções são eficazes a menos que as mensuremos?

“Esta é a coisa mais importante na IA Responsável no momento.”