Por Catarina Santos Nunes, Head of Operations & Compliance da Starkdata
A regulamentação de AI prestes a entrar em vigor exige que as soluções de AI sejam explicáveis.
O problema coloca-se quando nos debruçamos sobre áreas mais complexas de AI, como o Deep Learning.
O que é Deep Learning?
O deep learning é uma sub-área da inteligência artificial (IA) que utiliza redes neurais para aprender a partir de dados. As redes neurais são inspiradas no cérebro humano e são compostas por uma série de camadas que processam informação e que são capazes de aprender padrões complexos em dados.
Existem uma série de aplicações possíveis de deep learning. São exemplos não exaustivos:
- Reconhecimento de imagem: Identificar objetos em imagens, como pessoas, animais, carros e edifícios.
- Reconhecimento de voz: Identificar fala humana e extrair informações (como por exemplo o sentimento associado à voz dos interlocutores)
- Tratamento de linguagem natural: Entender e gerar linguagem humana.
- Recomendação de produtos: Recomendação de produtos ou serviços com base em segmentação comportamental, por exemplo
De todas as áreas da inteligência Artificial, o Deep Learning é tido como a área de melhor performance, nomeadamente a nível de capacidade de previsões.
É também pela sua maior complexidade, a área que mais dúvidas levanta a nível regulatório, nomeadamente porque a legislação que tem vindo a ser desenvolvida exige a “explicabilidade” das soluções de IA.
Ora, da mesma forma que não conseguimos explicar como funciona a nossa rede de neurónios para decidirmos numa determinada circunstância se vamos fazer A ou B, ou ainda, porque temos determinada percepção ou preferência (embora exista seguramente uma razão), não conseguimos fazê-lo relativamente a redes neuronais artificiais.
Apesar de existirem no sector diversos projectos para se desenvolver a chamada Explainable AI, estamos longe de conseguir explicar decisões geradas através de redes neuronais.
Como devemos então proceder relativamente a aplicações de IA que assentam em deep learning, e como fazer para garantir o seu Compliance?
Explainable AI, Responsible AI e Trusted AI 360º Toolkit
Há uma série de abordagens possíveis ao Explainable AI em redes neuronais.
De um ponto de vista mais técnico, algumas das abordagens mais comuns incluem:
Análise de input-output: Esta abordagem implica examinar a entrada e a saída da rede neuronal para compreender como é que a rede faz as suas previsões. Por exemplo, se a rede for utilizada para classificar imagens, é possível analisar as imagens classificadas correcta e incorretamente para ver que características a rede utiliza para tomar as suas decisões.
Importância das características (features): Esta abordagem envolve a medição da importância de cada caraterística nos dados de entrada para as previsões da rede. Isto pode ser feito utilizando uma variedade de técnicas, como remover características e ver como o desempenho da rede se altera, ou utilizando métodos estatísticos para medir a correlação entre cada caraterística e o resultado da rede.
Visualização do modelo: Esta abordagem envolve a criação de visualizações da rede neural para ajudar a entender como ela funciona. Por exemplo, é possível criar uma visualização dos pesos da rede para ver quais conexões entre os neurônios são mais importantes.
Análise contrafactual: Esta abordagem envolve a geração de exemplos contrafactuais, que são exemplos hipotéticos semelhantes aos dados de entrada, mas com resultados diferentes. Por exemplo, se a rede for utilizada para classificar imagens, pode gerar uma imagem contrafactual que seja semelhante à imagem de entrada, mas classificada de forma diferente. Ao examinar a imagem contrafactual, é possível obter informações sobre como a rede faz suas previsões.
Para além destas abordagens gerais, existem também vários métodos específicos que foram desenvolvidos para explicar as redes neuronais. Alguns desses métodos incluem:
Propagação de relevância por camadas (LRP): O LRP é um método para explicar o resultado de uma rede neuronal, propagando a relevância do resultado através da rede para os dados de entrada. Isto permite identificar as características de entrada que são mais importantes para a previsão da rede.
Valores SHAP: Os valores SHAP são um método para explicar as previsões de um modelo de aprendizagem automática, comparando a previsão do modelo com as previsões de um modelo mais simples. Isto permite identificar as características que são mais importantes para a previsão do modelo e quantificar o impacto de cada caraterística na previsão.
Gradientes integrados: Os gradientes integrados são um método para explicar as previsões de uma rede neural, calculando a média dos gradientes da saída da rede em relação aos dados de entrada. Isto permite identificar as características que são mais importantes para a previsão da rede.
Estas são apenas algumas das muitas abordagens possíveis. A melhor abordagem a utilizar dependerá da rede neuronal específica e da tarefa para a qual está a ser utilizada.
É importante notar que a IA explicável é um problema difícil e não existe uma solução “one size fits all”.
No entanto, as abordagens descritas acima podem ser utilizadas para obter informações sobre o funcionamento das redes neuronais e para tornar as previsões mais interpretáveis.
E parece-nos que no quadro regulatório que se tem vindo a desenhar estas serão provavelmente as formas mais seguras de abordar a exigência de explicabilidade em modelos complexos compostos por redes neuronais.
De um modo mais geral, e para áreas não exclusivamente técnicas, apontam-se como frameworks as abordagens de Responsible AI, de que já tivemos oportunidade de falar e mais recentemente o Trusted AI 360º Toolkit.
O Trusted AI 360º Toolkit é uma ferramenta desenvolvida pelo European AI Alliance (EAIA) para ajudar empresas e organizações a desenvolver e usar sistemas de IA de forma responsável. O toolkit fornece um conjunto de recursos e orientações para ajudar as organizações a abordar uma ampla gama de questões de IA responsável, incluindo:
Transparência: Como garantir que os sistemas de IA sejam transparentes e explicáveis?
Equidade: Como garantir que os sistemas de IA não sejam discriminatórios?
Privacidade: Como proteger a privacidade dos dados usados em sistemas de IA?
Segurança: Como garantir que os sistemas de IA sejam seguros e robustos?
Responsabilidade: Como garantir que os sistemas de IA sejam usados de forma ética e responsável?
O Trusted AI 360º Toolkité dividido em quatro módulos:
Módulo 1: Fundamentos da IA responsável: Este módulo fornece uma visão geral dos princípios e práticas da IA responsável.
Módulo 2: Avaliação de riscos: Este módulo ajuda as organizações a identificar e avaliar os riscos potenciais associados aos seus sistemas de IA.
Módulo 3: Mitigação de riscos: Este módulo fornece orientações para mitigar os riscos identificados no módulo 2.
Módulo 4: Gestão contínua: Este módulo fornece orientações para manter os sistemas de IA responsáveis ao longo do tempo.
O toolkit compreende guias e checklists, ferramentas de avaliação e exemplos de boas práticas que empresas e organizações devem adoptar.
Como devemos abordar estes temas a nível de AI Compliance?
Em primeiro lugar é importante verificar se a documentação do sistema de IA é clara e concisa. Esta deve incluir informações sobre o modo de funcionamento do sistema, os dados com que é treinado e as suas limitações. Uma das formas de o fazer é garantir que a solução implementada, quer seja internamente quer seja através de um prestador de serviços é acompanhada de um Data Architecture Document e que deve conter todas as informações referidas acima, bem como informação relacionada com privacidade, segurança, medidas de mitigação de risco, responsabilidade de supervisão, etc.
Para cada projecto é importante levar a cabo avaliações de impacto e risco dos datasets selecionados, bem como dos usos dos referidos datasets.
Reforçamos que a utilização das frameworks de Responsible AI e do Trusted AI 360º Toolkit facilitam muito o desenvolvimento de projectos de AI em cenários complexos como os que vimos discutindo.
Existem adicionalmente outras frameworks que podem ser usadas quer se trate de projectos internos ou de prestadores, e que podem ser utilizadas.
A decisão relativamente à framework ou frameworks a utilizar deverá ser feita numa primeira fase mais ampla no momento de desenvolvimento do Governance Interno de AI, e adicionalmente deve garantir-se projecto a projecto que as frameworks usadas são adequadas para a análise do projecto a desenvolver atendendo à sua complexidade.
Take aways
- Explainable AI (XAI) é importante porque nos permite compreender e confiar nos resultados obtidos através de AI.
- A exigência de Explicabilidade de sistemas de AI é uma constante na regulação.
- A Explicabilidade de sistemas complexos de AI como os que assentam na utilização de redes neuronais deve ser assegurada.
- A XAI é uma área de pesquisa ativa, e existem muitos métodos diferentes de XAI e, desenvolvimento, sendo provável que seja uma das áreas de maior evolução em termos de investigação.
- Para as empresas, podendo não ser uma área core de foco, deve estar sempre presente, de modo que se garanta o cumprimento da regulamentação de AI que está prestes a entrar em vigor.