A Privado AI alcança 90% de precisão na conformidade global com normas de privacidade utilizando o Llama 3.1 otimizado na AWS

As empresas enfrentam riscos significativos e atrasos operacionais ao utilizar métodos manuais e baseados em avaliações para manter registros das atividades de processamento (RoPA). Essas abordagens tradicionais têm dificuldade em acompanhar o ritmo acelerado do desenvolvimento de software, o que resulta em documentação de conformidade imprecisa e desatualizada. Para lidar com isso, o Parceiro da AWS Privado AI desenvolveu um sistema automatizado utilizando modelos Meta Llama 3.1 ajustados. Essa solução identifica os fluxos de processamento de dados diretamente a partir do código-fonte para gerar registros prontos para auditoria. Como resultado, a plataforma aumentou a precisão da detecção para 90% e reduziu a variação entre idiomas para menos de 5%. Esses resultados permitem que as equipes de privacidade redirecionem 90% de seus esforços da coleta manual de dados para a mitigação ativa de riscos.

Sair do labirinto das avaliações manuais de privacidade

A Privado AI colabora com equipes de privacidade corporativas para manter uma documentação de conformidade precisa em ambientes de aplicações complexas e em constante mudança. A plataforma da empresa foi projetada para ajudar os responsáveis pela privacidade a reduzir os riscos de não conformidade, identificando violações de alta prioridade em sites e aplicações móveis e automatizando a criação de mapas de dados. Através de seu trabalho com os clientes, a Privado AI observou que os processos tradicionais de RoPA costumam ser lentos, manuais e imprecisos.

As organizações que operam sob frameworks como o RGPD devem documentar como os dados pessoais são coletados, processados e compartilhados. Para muitas empresas, isso depende de entrevistas e questionários que solicitam às equipes de engenharia que descrevam os fluxos de dados de memória. Como as informações são coletadas de várias partes interessadas que podem não ter visibilidade completa de todo o sistema, os registros resultantes são frequentemente baseados em conhecimento parcial ou desatualizado. Essa dependência da memória humana cria um problema significativo de fonte de verdade, em que a documentação não reflete o estado real dos sistemas técnicos.

O desafio é ainda mais acentuado pela realidade do ciclo de vida do software moderno, em que as equipes de engenharia enviam código e lançam novos recursos diariamente. As abordagens tradicionais baseadas em avaliações simplesmente não conseguem acompanhar o ritmo do desenvolvimento, fazendo com que a documentação fique desatualizada em relação ao ambiente de produção no momento em que uma alteração é implementada. Esse atraso leva as equipes de privacidade a um ciclo reativo de coleta de dados, em vez de uma gestão proativa de riscos. Em uma auditoria ou investigação, registros imprecisos aumentam significativamente o risco de violações e multas.

Como afirma Ben Werner, diretor de marketing da Privado AI: “É um trabalho manual de levantamento de dados muito demorado, que fica desatualizado logo na semana seguinte, assim que as equipes de engenharia alteram a forma como processam os dados. É uma espécie de labirinto em que é impossível manter registros totalmente precisos e atualizados o tempo todo.”

Automatizando a conformidade com o Llama 3.1 otimizado e a troca de adaptadores na AWS

Para preencher a lacuna entre avaliações estáticas e bases de código dinâmicas, a Privado AI desenvolveu um sistema que gera registros diretamente a partir de sinais técnicos. A empresa escolheu o Meta Llama 3.1-8B como base, pois sua natureza de peso aberto oferece a flexibilidade necessária para a implantação do modelo diretamente na Amazon Virtual Private Cloud (Amazon VPC) do cliente. Essa arquitetura atende a um requisito de segurança fundamental: garantir que o código-fonte confidencial permaneça no próprio ambiente do cliente, em vez de ser processado por provedores externos de IA. Com a execução na Amazon Web Services (AWS), a Privado AI encontrou um “ponto ideal” no qual conseguiu obter resultados de alta fidelidade com uma única GPU, equilibrando performance e relação custo-benefício.

Um obstáculo significativo na construção da solução foi a falta de conjuntos de dados existentes que mapeassem códigos empresariais complexos para taxonomias de privacidade. Para criar um conjunto de treinamento, a Privado AI utilizou uma estratégia de consenso multimodelo, submetendo 1.000 sequências de código anônimas a vários modelos de ponta para identificar padrões nos quais os modelos concordavam. Esse consenso formou uma “verdade de referência” de alta confiança para o treinamento. A equipe então aplicou a Quantized Low-Rank Adaptation (QLoRA) para ajustar o Llama 3.1-8B para tarefas especializadas, como detectar atividades de processamento e classificar titulares de dados usando adaptadores LoRA leves — artefatos compactos de 50 a 200 MB. Para potencializar a performance, a arquitetura incorpora vLLM via contêiners de Inferência de modelos de grande porte (LMI) do Amazon SageMaker, habilitando recursos essenciais como processamento contínuo em lote e a capacidade de trocar adaptadores LoRA em milissegundos. Essa abordagem de “troca de adaptadores” permite que uma única máquina execute nove ou mais tarefas de conformidade, carregando um modelo base e trocando adaptadores específicos conforme necessário para cada solicitação.

A infraestrutura computacional da plataforma é alimentada pelo Amazon Elastic Compute Cloud (Amazon EC2), que gerencia workloads complexas de verificação em instâncias de GPU de alta performance. A Privado AI utiliza instâncias G6e.xlarge para fornecer a memória expandida necessária para janelas de treinamento de seis a oito horas, enquanto as instâncias G6.xlarge lidam com a inferência em tempo real com ótima relação custo-benefício. Como os requisitos de verificação corporativa costumam ser esporádicos, o Amazon MQ gerencia filas de tarefas assíncronas para lidar com picos de grandes bases de código, garantindo que o sistema mantenha uma velocidade consistente sem provisionar recursos em excesso.

Para minimizar os custos de computação ociosa, a Privado AI implementou uma arquitetura de inferência com escalonamento até zero. Tradicionalmente, é necessário baixar um modelo base de 12 GB por até 10 minutos, o que impossibilita a escalabilidade em tempo real. Para resolver isso, a equipe utiliza o Amazon Elastic File System (Amazon EFS) como um cache de modelos compartilhado, o que reduz o tempo de inicialização para aproximadamente um minuto. Essa velocidade torna a escalabilidade baseada na demanda viável para workloads corporativas. O Amazon CloudWatch fornece os sinais de monitoramento e escalabilidade necessários para gerenciar essa capacidade, garantindo que a plataforma só ative recursos de GPU de alto custo no Amazon EC2 quando houver uma fila ativa para processar.

“A equipe da AWS nos deu um grande apoio, disponibilizando especialistas técnicos sempre que necessário para nos ajudar a melhorar nossa arquitetura atual e testar técnicas avançadas”, afirma Prashant Mahajan, cofundador da Privado AI. “Algumas das ideias que implementamos surgiram originalmente dessas discussões aprofundadas com a equipe da AWS.”

Reorganizando a semana de trabalho: transferindo 90% do esforço da coleta de dados para a mitigação de riscos

Ao projetar sua plataforma de automação de privacidade na AWS, a Privado AI redefiniu fundamentalmente a velocidade e a precisão dos relatórios de conformidade. A transição para uma arquitetura Meta Llama 3.1-8B otimizada proporcionou um salto significativo na performance, elevando a precisão na detecção de atividades de processamento de uma base de referência de 50% para 90%. Da mesma forma, o agrupamento de atividades e a classificação de titulares de dados alcançaram 95% de precisão, fornecendo os detalhes confiáveis e granulares necessários para uma documentação pronta para auditoria. Essa saída de alta fidelidade fornece os detalhes granulares necessários para uma documentação pronta para auditoria, garantindo que as equipes de privacidade possam confiar nos resultados automatizados sem a necessidade de uma verificação manual exaustiva.

Além da precisão em si, a solução resolveu o problema de inconsistência que há muito tempo afeta as bases de código das empresas globais. Anteriormente, o sistema apresentava uma variação de 40% na performance entre diferentes linguagens de programação; após a otimização no Amazon EC2, essa variação caiu para menos de 5%. Essa confiabilidade entre linguagens, aliada a uma conformidade de 99% com a estrutura JSON, permite que a Privado AI envie os resultados diretamente para fluxos de trabalho de automação posteriores. Ao eliminar o atrito causado pela reformatação manual, a plataforma possibilita um fluxo contínuo de dados, desde o código bruto até os relatórios finais de conformidade.

O impacto mais significativo é a mudança operacional vivida pelas equipes jurídicas e de privacidade. Ao basear a conformidade na realidade técnica, em vez de na memória humana, o Privado AI devolveu a semana de trabalho aos seus usuários. Como explica Mahajan: “Antes, as equipes de privacidade dedicavam 90% do tempo à coleta manual de dados. Agora, elas dedicam 90% do tempo à compreensão e mitigação de riscos, e apenas 10% às operações de coleta de dados.” Essa transformação permite que as equipes de privacidade acompanhem o ritmo da inovação acelerada, mantendo uma base de confiança.

Quer enfrentar desafios complexos do mundo real com IA na AWS? O AWS Activate fornece às startups as ferramentas e os recursos necessários para escalar com confiança. Os créditos do AWS Activate podem ser usados para compensar o custo da infraestrutura da AWS, dos serviços de dados e dos principais modelos de IA e ML. Quando você estiver pronto para executar workloads de produção, as instâncias flexíveis do Amazon EC2permitem que você ofereça suporte de forma eficiente tanto ao treinamento quanto à inferência em grande escala. Entre em contato com a  the Equipe de Contas da AWS para saber mais.