Foco no uso da inteligência artificial e a armadilha da confiança excessiva
A inteligência artificial (IA) já faz parte do dia a dia de empresas e profissionais brasileiros. Uma pesquisa conduzida pela KPMG e pela Universidade de Melbourne aponta que 86% dos trabalhadores usam ferramentas de automação em suas rotinas. Desses, 71% perceberam ganhos de eficiência e qualidade em suas atividades.
Um levantamento da YouGov, a pedido da Zendesk, revela que sete em cada 10 brasileiros confiam na IA para gerenciar finanças pessoais. Em países como Alemanha e Reino Unido, essa confiança é bem menor, cerca de uma a cada dez pessoas. O Brasil se destaca como um dos países que mais abraçam a tecnologia, talvez também um dos que menos questionam seus limites.
Desde o lançamento do ChatGPT em 2022, as empresas vêm explorando as possibilidades dos Large Language Models (LLMs). Contudo, junto com essas oportunidades, surgiu um desafio importante: as “alucinações da IA”. Elas são situações onde os algoritmos geram informações convincentes, mas que podem ser incorretas ou fabricadas.
Modelos de inteligência artificial usam mecanismos preditivos para dar respostas quando há incertezas, de forma semelhante ao cérebro humano preenchendo lacunas de memória. A diferença é que os humanos possuem uma visão crítica para distinguir o que é correto do que não é. Sistemas de IA, como o ChatGPT, podem falhar e insistir no erro, e a confiança nessas informações falsas pode enganar.
As alucinações da IA podem criar problemas éticos e operacionais. Sistemas de IA podem produzir textos que parecem verdadeiros, mas sem base factual. No ambiente corporativo, isso pode comprometer decisões, a reputação da empresa e a privacidade de dados. No setor da saúde, o impacto é grave, com casos de diagnósticos fictícios gerados por sistemas automatizados de análise médica.
Carlos Schmiedel, co-fundador e CEO da Draiven, e mestre em ciência da informação pela Universidade Federal de São Carlos (UFSCar), afirmou, em artigo na IA Brasil Notícias, que “confiar na IA é inevitável. Confiar cegamente, não! O verdadeiro avanço tecnológico depende de uma relação madura entre humanos e máquinas”.
Os riscos da inteligência artificial em ambientes corporativos
Apesar do grande potencial em automatizar tarefas, reduzir custos e aumentar a produtividade, as ferramentas de IA também apresentam riscos. A SoftExpert Blog detalha que, em mercados regulamentados, essa tecnologia pode afetar a governança, a conformidade e a imagem das empresas. A velocidade com que a tecnologia é adotada muitas vezes supera a maturidade das estruturas de governança projetadas para controlá-la.
Muitas organizações estão integrando algoritmos em processos importantes sem a proteção adequada contra falhas, vieses ou vulnerabilidades de segurança. A consultoria McKinsey indica que a adoção de IA nas empresas subiu para mais de 72% globalmente em 2024. Porém, apenas 18% dessas empresas estabeleceram um conselho ou comitê formal dedicado à governança de IA no ano passado.
Uma pesquisa da consultoria Deloitte mostra que a conformidade regulatória se tornou a principal barreira na adoção da Inteligência Artificial. A Universidade de Stanford aponta um aumento de 56,4% nos incidentes éticos e falhas de segurança envolvendo IA em 2024. Este número deve continuar crescendo à medida que a adoção da tecnologia sem estrutura amplia os erros.
O funcionamento da IA é diferente dos softwares tradicionais, que operam com regras fixas. Modelos de IA, especialmente os generativos e de aprendizado profundo, introduzem variáveis probabilísticas que desafiam os métodos de controle usuais. Ignorar esses novos tipos de riscos é um grande perigo para gestores focados em conformidade e governança.
Vieses algorítmicos e o impacto na reputação
A IA aprende com dados históricos. Se esses dados contiverem preconceitos, o algoritmo pode tomar decisões erradas em áreas como contratação ou concessão de crédito. A confiança global na imparcialidade dos sistemas de IA está em queda, com apenas 47% das pessoas acreditando que as empresas de IA agem de forma ética, segundo a Universidade de Stanford.
Para empresas regulamentadas, decisões automáticas discriminatórias podem resultar em multas pesadas e danos sérios à confiança da marca. Para diminuir esse risco, é essencial usar modelos de Inteligência Artificial Responsável (RAI) que sigam normas como a ISO 27001 e a ISO 42001. A tecnologia deve considerar conceitos como:
- Privacidade
- Governança de dados
- Imparcialidade
- Transparência
- Explicabilidade
Assim, a companhia corre menos riscos de usar a IA com algum viés preconceituoso.
Segurança da informação e a “shadow ai”
A facilidade de acesso a ferramentas de IA generativa criou a “Shadow AI”, um desafio invisível. Colaboradores podem, sem intenção, alimentar modelos públicos com dados confidenciais, estratégias de negócio ou informações protegidas por sigilo industrial. Sem uma política clara e ferramentas de monitoramento, a organização corre o risco de perder propriedade intelectual e violar leis de proteção de dados.
Isso ocorre porque, ao serem inseridas nessas plataformas, as informações podem se tornar parte do treinamento do modelo externo. Segundo um relatório da consultoria IBM, o custo médio global de uma violação de dados chegou a US$ 4,4 milhões. O uso de IA para segurança pode economizar até US$ 1,9 milhão para empresas com governança integrada.
Para que sua empresa aproveite a IA sem riscos de segurança, adote as seguintes medidas:
- Crie uma política de governança de IA e estabeleça um comitê de IA, envolvendo áreas como CISO, Chief Data Officer, Jurídico e Negócios.
- Institua proteções específicas contra ataques como prompt injection e abuso, usando sanitização de prompts, context windows segregadas e “guardrails” que detectem pedidos de exfiltração.
- Organize treinamentos e capacite colaboradores sobre os riscos da shadow AI, definindo o que é permitido e como reportar ferramentas não autorizadas.
- Realize simulações de phishing geradas por IA para treinar colaboradores sobre como usar a mesma tecnologia a favor da defesa da companhia.
Alucinações e a qualidade dos dados
A capacidade de a Inteligência Artificial se expressar bem não significa que ela sempre fala a verdade. Os modelos de linguagem são suscetíveis a “alucinações”, ou seja, podem gerar informações falsas com total confiança. A imprecisão é a maior preocupação de 76% dos consumidores, de acordo com a Forbes.
Em áreas onde a precisão é fundamental, confiar sem verificação em informações geradas por IA pode levar a erros graves. Em setores como o financeiro e farmacêutico, uma “alucinação” em documentos pode resultar em não conformidade com normas regulatórias, gerando multas altas. A integridade dos dados que a IA gera é tão importante quanto a dos dados que ela recebe. Sem validação, a IA pode se tornar uma fonte de problemas estratégicos.
A falta de rastreabilidade
Um ponto crítico para a conformidade é a rastreabilidade. Muitos modelos avançados de IA funcionam como “caixas pretas”: sabe-se o que entra e o que sai, mas o processo de tomada de decisão interno não é claro. O Foundation Model Transparency Index mostra que a pontuação média das empresas de IA foi de 40% em 2025, uma queda em relação aos 58% de 2024.
Para auditorias e órgãos reguladores, apenas conhecer o resultado de um processo não é suficiente. É preciso provar o caminho até esse resultado, rastreando cada etapa. A incapacidade de rastrear e justificar como uma decisão automatizada foi tomada cria uma lacuna de auditoria inaceitável para certificações ISO e regulamentações rígidas. O EU AI Act, uma importante regulação global, prevê multas que podem chegar a 7% do faturamento global, ou 35 milhões de euros, para empresas que adotarem práticas de IA proibidas.
Controles internos para mitigar os riscos da inteligência artificial
Para diminuir esses perigos de forma eficaz, as ferramentas de Inteligência Artificial precisam ser tratadas como parte de Sistemas de Gestão Integrada, e não como um projeto isolado de TI. A publicação da norma ISO/IEC 42001:2023, o primeiro padrão internacional para sistemas de gestão de IA, marca uma nova era de exigência corporativa e oferece estrutura para a governança da tecnologia. Implementar controles internos não é apenas burocracia, é a única maneira de transformar a aleatoriedade algorítmica em previsibilidade de negócio.
Estruturas de proteção
A governança de IA não precisa ser criada do zero. Existem frameworks que já oferecem um guia para a conformidade. Os principais são a ISO/IEC 42001, que define requisitos para avaliar impactos, gerenciar riscos e monitorar o desempenho contínuo dos sistemas de IA, e o AI TRiSM (Trust, Risk, and Security Management).
A consultoria Gartner aponta o AI TRiSM como um conjunto de práticas que envolvem transparência de modelos, detecção de anomalias de conteúdo, proteção de dados em IA, monitoramento de modelos e aplicações, resistência a ataques e segurança de aplicações de IA.
Supervisão humana como filtro
A Inteligência Artificial deve atuar como um copiloto, não como um substituto autônomo em processos críticos. O conceito de Human-in-the-loop (humanos no ciclo) garante a validação de um especialista antes que a decisão da IA seja executada. Identifique todos os processos e decisões importantes da sua operação que usam IA e certifique-se de que haverá supervisão humana qualificada para apontar correções e verificações.
Padronização do ciclo de vida com modelops
Assim como na indústria, que tem linhas de montagem com controle de qualidade, a IA precisa de ModelOps. Isso assegura que o modelo não seja apenas lançado, mas auditado constantemente em relação ao seu desempenho, evitando o “data drift”, que é quando a IA perde a precisão com o tempo. Como os fornecedores de tecnologia, como OpenAI, Google e DeepSeek, nem sempre são totalmente transparentes, cabe à empresa criar controles internos de teste. Esses pontos de controle validam os resultados antes que afetem o cliente final.
Gerenciamento de documentação e rastreabilidade
Em auditorias de Compliance, a falta de registro significa não conformidade. Para evitar isso, é fundamental criar controles internos que garantam que cada decisão automatizada possa ser rastreada até um conjunto de dados específico e uma versão aprovada do modelo. Se uma empresa não adotar essas medidas, pode sofrer perdas de qualidade na operação e sanções de órgãos reguladores.
Sistemas integrados para uma gestão de riscos eficaz
Para executivos de setores regulamentados, a excelência não está apenas na intenção de estar em conformidade, mas na capacidade de provar essa conformidade. A gestão de riscos de IA falha quando é fragmentada em planilhas ou ferramentas isoladas. A mitigação acontece de verdade quando a governança é organizada por Sistemas Integrados de Gestão, como um GRC (Governança, Risco e Compliance).
A automação da governança é a única resposta escalável para a complexidade dos novos modelos de Inteligência Artificial. Sistemas integrados ajudam na centralização com uma “única fonte da verdade”, eliminando informações inconsistentes e “alucinações” ao garantir que os modelos usem dados saneados e aprovados. Eles também impõem barreiras de qualidade automatizadas contra a “Shadow AI”, exigindo testes e aprovação de compliance para novos modelos.
O monitoramento contínuo via AI TRiSM é possível com a gestão integrada. Indicadores técnicos de desempenho da IA são conectados aos KPIs de risco corporativo, disparando alertas automáticos em caso de anomalias. Isso garante que a tecnologia continue a acelerar a empresa, mas sempre dentro dos trilhos de segurança, protegida contra problemas regulatórios e danos à reputação.
