Há uma pergunta que a maioria das empresas brasileiras ainda não fez a si mesma de forma séria: se o sistema de inteligência artificial mais crítico do negócio produzir um erro grave hoje, quem tem autoridade documentada para agir, o que essa pessoa deve fazer e em que ordem?
A resposta honesta, na maior parte dos casos, é que não existe uma resposta. Existe uma expectativa de que nada vai dar errado.
Essa expectativa é compreensível. Sistemas de IA bem implementados funcionam com notável regularidade. Os erros, quando ocorrem, costumam ser pequenos e difusos o suficiente para passar despercebidos no ruído operacional do dia a dia. O problema é que essa regularidade cria uma ilusão de controle que não resiste ao primeiro incidente sério. E incidentes sérios são uma consequência previsível de operar IA em ambientes reais, onde dados mudam, modelos derivam e decisões automatizadas têm efeitos que se acumulam antes de qualquer humano perceber.
O debate sobre governança de IA no Brasil avançou significativamente nos últimos dois anos. O país aprovou o marco regulatório de proteção de dados, tem hoje uma lei específica para uso de IA em decisões de crédito e perfis de risco, e o projeto de lei de regulamentação geral da IA avança no Congresso com atenção crescente ao tema da responsabilidade. No ambiente corporativo, porém, governança de IA ainda é tratada predominantemente como questão de conformidade regulatória, e não como questão de gestão de risco operacional. Essa distinção é de extrema importância.
Tratar governança de IA como exercício de conformidade regulatória é diferente de tratá-la como gestão de risco operacional. A primeira abordagem concentra energia em políticas, comitês e documentação que demonstram adequação às exigências legais. A segunda concentra energia em entender o que pode sair errado, qual o impacto potencial e se a organização está de fato preparada para responder. Não são excludentes, mas tampouco são equivalentes. Organizações que ficam na primeira descobrem, no momento do incidente, que têm excelente documentação e nenhuma capacidade real de agir.
A diferença entre os dois tipos de falha de IA torna esse preparo ainda mais urgente. Quando um servidor cai, a falha é binária e visível. O sistema funciona ou não funciona, há um momento claro de início do problema e a equipe de TI tem repertório para lidar com isso. Sistemas de IA falham de maneira fundamentalmente diferente. Um modelo de crédito pode passar meses produzindo decisões com viés crescente antes que o padrão se torne visível nos dados agregados. Um sistema de triagem de atendimento ao cliente pode degradar sua precisão gradualmente à medida que o perfil dos usuários muda em relação ao perfil dos dados de treinamento. Um agente autônomo pode executar centenas de ações incorretas enquanto a equipe ainda está tentando entender se há de fato um problema.
Esse último cenário merece atenção especial porque representa uma ruptura com toda a lógica de resposta a incidentes que as organizações desenvolveram até aqui. Sistemas de IA passivos produzem recomendações que humanos aceitam ou rejeitam. Agentes de IA executam ações diretamente. A diferença operacional é enorme. Quando um agente de IA responsável por processos de compras age com base em dados desatualizados, os pedidos são enviados, os fornecedores recebem confirmações e compromissos financeiros são criados, tudo antes que qualquer pessoa perceba que algo está errado. A contenção do dano, nesse cenário, depende de uma capacidade de desconexão imediata que precisa existir no nível da infraestrutura, não somente no nível do processo.
O que uma governança de IA madura exige, portanto, ultrapassa políticas de uso e comitês de ética. Exige que a organização defina com precisão o que constitui um incidente de IA, distinto de um incidente de TI convencional. Exige que haja uma pessoa nomeada com autoridade documentada para classificar a gravidade do problema, decidir pela suspensão do sistema quando necessário e comunicar o que ocorreu aos afetados. Exige que a equipe de resposta inclua competências técnicas, jurídicas, de comunicação e de operações, reunidas em torno de um protocolo testado antes que a pressão do incidente real torne impossível pensar com clareza. E exige, talvez o ponto mais negligenciado, um processo rigoroso de revisão pós-incidente que produza mudanças reais na governança, não só relatórios arquivados.
Para os conselhos e executivos que tomam decisões sobre investimento em IA, a pergunta relevante é se a empresa está preparada para o dia em que a inteligência artificial falhar. Organizações que respondem bem a incidentes de IA são as que os antecipam com seriedade suficiente para construir, antes que precisem usar, a capacidade de responder.
Larissa Pigão é advogada especialista em proteção de dados pessoais, direito digital e inteligência artificial, e sócia do Pigão e Fioravante Sociedade de Advogados.