Privado AI atteint 90 % de précision pour la conformité mondiale en matière de confidentialité grâce à Llama 3.1 optimisé sur AWS

Les entreprises s’exposent à des risques importants et à des retards opérationnels lorsqu’elles s’appuient sur des méthodes manuelles centrées sur les évaluations pour tenir des registres des activités de traitement (RoPA). Ces approches traditionnelles peinent à suivre le rythme rapide du développement logiciel, ce qui aboutit à une documentation de conformité imprécise et obsolète. Pour y remédier, le partenaire AWS Privado AI a développé un système automatisé utilisant des modèles Meta Llama 3.1 optimisés. Cette solution identifie les chemins de traitement des données directement à partir du code source afin de générer des registres prêts pour les audits. La plateforme a ainsi porté la précision de détection à 90 % et réduit la variance entre les langages à moins de 5 %. Ces résultats permettent aux équipes chargées de la confidentialité de faire passer 90 % de leurs efforts de la collecte manuelle de données à l’atténuation active des risques.

Sortie du « terrier » des évaluations manuelles de la confidentialité

Privado AI collabore avec les équipes de confidentialité des entreprises pour tenir à jour une documentation de conformité précise dans des environnements applicatifs complexes et en évolution rapide. La plateforme de l’entreprise aide les responsables de la confidentialité à réduire les risques de conformité en identifiant les violations prioritaires sur les sites Web et les applications mobiles, et en automatisant la création de cartes de données. Dans le cadre de son travail avec ses clients, Privado AI a constaté que les processus RoPA traditionnels étaient souvent lents, manuels et imprécis.

Les organisations soumises à des réglementations comme le Règlement général sur la protection des données (RGPD) doivent documenter la façon dont les données personnelles sont collectées, traitées et partagées. Pour de nombreuses entreprises, ce travail repose sur des entretiens et des questionnaires qui demandent aux équipes d’ingénierie de décrire de mémoire les flux de données. Comme les informations sont recueillies auprès de multiples parties prenantes qui n’ont pas toujours une visibilité complète sur l’ensemble du système, les registres obtenus s’appuient souvent sur des connaissances partielles ou obsolètes. Cette dépendance à la mémoire humaine crée un important problème de source de vérité : la documentation ne reflète pas l’état réel des systèmes techniques. 

Le défi est encore accentué par la réalité du cycle de vie logiciel moderne, dans lequel les équipes d’ingénierie livrent du code et publient de nouvelles fonctionnalités chaque jour. Les approches traditionnelles fondées sur des évaluations ne peuvent tout simplement pas avancer au rythme du développement, ce qui désynchronise la documentation de l’environnement de production dès qu’un changement est déployé. Ce décalage enferme les équipes chargées de la confidentialité dans un cycle réactif de collecte de données, au lieu d’une gestion proactive des risques. Lors d’un audit ou d’une enquête, des registres inexacts augmentent considérablement le risque d’infractions et d’amendes.

Comme l’explique Ben Werner, responsable marketing chez Privado AI : « Il s’agit d’une très longue mission manuelle de recherche des faits qui est déjà obsolète la semaine suivante, dès que les équipes d’ingénierie modifient leur façon de traiter les données. C’est une sorte de terrier dans lequel il est impossible de disposer en permanence de registres parfaitement exacts et à jour. »

Automatisation de la conformité avec Llama 3.1 optimisé et l’échange d’adaptateurs sur AWS

Pour combler l’écart entre évaluations statiques et bases de code dynamiques, Privado AI a conçu un système qui génère des registres directement à partir de signaux techniques. L’entreprise a choisi Meta Llama 3.1-8B comme socle, car ses pondérations ouvertes offrent la flexibilité nécessaire pour déployer le modèle directement au sein de l’instance Amazon Virtual Private Cloud (Amazon VPC) d’un client. Cette architecture répond à une exigence de sécurité essentielle : veiller à ce que le code source sensible reste dans l’environnement propre du client, au lieu d’être traité par des fournisseurs d’IA tiers externes. En s’exécutant sur Amazon Web Services (AWS), Privado AI a trouvé le bon équilibre pour obtenir des résultats haute fidélité sur un seul GPU, en conciliant performances techniques et rentabilité.

Un obstacle majeur à la création de la solution était l’absence de jeux de données existants associant du code d’entreprise complexe à des taxonomies de confidentialité. Pour créer un jeu d’entraînement, Privado AI a utilisé une stratégie de consensus multimodèle, en faisant passer 1 000 chemins de code anonymisés par plusieurs modèles frontières afin d’identifier les schémas sur lesquels les modèles concordaient. Ce consensus a constitué une « vérité de terrain » à haut niveau de confiance pour l’entraînement. L’équipe a ensuite appliqué l’adaptation quantifiée de faible rang (QLoRA) pour optimiser Llama 3.1-8B pour des tâches spécialisées, comme la détection des activités de traitement et la classification des personnes concernées à l’aide d’adaptateurs LoRA légers, des artefacts compacts de 50 à 200 Mo. Pour augmenter considérablement les performances, l’architecture intègre vLLM via des conteneurs d’inférence de grands modèles (LMI) Amazon SageMaker, qui activent des fonctionnalités clés comme le traitement par lots continu et la possibilité d’échanger des adaptateurs LoRA en quelques millisecondes. Cette approche d’« échange d’adaptateurs » permet à une seule machine de prendre en charge au moins neuf tâches de conformité en chargeant un modèle de base et en échangeant les adaptateurs spécifiques nécessaires pour chaque requête.

L’infrastructure de calcul de la plateforme repose sur Amazon Elastic Compute Cloud (Amazon EC2), qui gère des charges de travail d’analyse complexes sur des instances GPU hautes performances. Privado AI utilise des instances G6e.xlarge pour fournir la mémoire accrue nécessaire aux fenêtres d’entraînement de six à huit heures, tandis que des instances G6.xlarge assurent l’inférence en temps réel avec une rentabilité optimale. Comme les besoins d’analyse des entreprises sont souvent ponctuels, Amazon MQ gère des files de tâches asynchrones afin d’absorber les pics issus de bases de code volumineuses, ce qui garantit une vitesse constante sans surprovisionnement des ressources.

Pour réduire au minimum les coûts de calcul inactif, Privado AI a mis en œuvre une architecture d’inférence avec mise à l’échelle jusqu’à zéro. Traditionnellement, le téléchargement d’un modèle de base de 12 Go peut prendre jusqu’à 10 minutes, un délai qui rend impossible la mise à l’échelle en temps réel. Pour résoudre ce problème, l’équipe utilise Amazon Elastic File System (Amazon EFS) comme cache de modèle partagé, ce qui réduit les temps de démarrage à environ une minute. Cette rapidité rend la mise à l’échelle à la demande viable pour les charges de travail d’entreprise. Amazon CloudWatch fournit les signaux de surveillance et de mise à l’échelle nécessaires pour gérer cette capacité, en veillant à ce que la plateforme ne démarre des ressources GPU coûteuses sur Amazon EC2 que lorsqu’une file d’attente active doit être traitée. 

« L’équipe AWS nous a beaucoup soutenus, en faisant appel à des experts techniques selon les besoins pour nous aider à améliorer notre architecture existante et tester des techniques avancées », explique Prashant Mahajan, cofondateur de Privado AI. « Certaines des idées que nous avons mises en œuvre au départ sont issues de ces discussions approfondies avec l’équipe AWS. »

Réappropriation de la semaine de travail : 90 % des efforts passent de la collecte de données à l’atténuation des risques

En architecturant sa plateforme d’automatisation de la confidentialité sur AWS, Privado AI a profondément redéfini la rapidité et la précision des rapports de conformité. Le passage à une architecture Meta Llama 3.1-8B optimisée a apporté un bond considérable en performances techniques, faisant passer la précision de détection des activités de traitement d’un niveau de référence de 50 % à 90 %. De même, le regroupement des activités et la classification des personnes concernées ont atteint une précision de 95 %, fournissant le niveau de détail fiable et granulaire requis pour une documentation prête pour les audits. Cette sortie haute fidélité fournit le niveau de détail granulaire nécessaire à une documentation prête pour les audits, en permettant aux équipes chargées de la confidentialité de se fier aux résultats automatisés sans vérification manuelle exhaustive. 

Au-delà de la précision brute, la solution a résolu le problème de cohérence qui affecte depuis longtemps les bases de code mondiales des entreprises. Auparavant, le système présentait une variance de performances de 40 % entre les différents langages de programmation ; après optimisation sur Amazon EC2, cette variance est tombée à moins de 5 %. Cette fiabilité d’un langage à l’autre, associée à une conformité JSON structurée de 99 %, permet à Privado AI d’alimenter directement les flux de travail d’automatisation en aval avec ses résultats. En éliminant la friction du reformatage manuel, la plateforme assure un flux de données fluide, du code brut aux rapports de conformité finaux.

L’impact le plus important est le changement opérationnel vécu par les équipes chargées de la confidentialité et les équipes juridiques. En ancrant la conformité dans la réalité technique plutôt que dans les souvenirs humains, Privado AI a rendu la semaine de travail à ses utilisateurs. Comme l’explique Prashant Mahajan : « Auparavant, les équipes chargées de la confidentialité consacraient 90 % de leur temps à la collecte manuelle de données. Aujourd’hui, elles consacrent 90 % de leur temps à comprendre et atténuer les risques, et seulement 10 % aux opérations de collecte de données. » Cette transformation permet aux équipes chargées de la confidentialité de suivre le rythme de l’innovation rapide tout en maintenant une base de confiance.

Vous cherchez à relever des défis complexes et concrets avec l’IA sur AWS ? AWS Activate fournit aux start-ups les outils et les ressources nécessaires pour mettre à l’échelle en toute confiance. Les crédits AWS Activate peuvent être utilisés pour compenser le coût de l’infrastructure AWS, des services de données et des principaux modèles d’IA et de ML. Lorsque vous êtes prêt à exécuter des charges de travail de production, les instances flexibles Amazon EC2 vous permettent de prendre en charge efficacement l’entraînement et l’inférence à grande échelle. Contactez l’équipe de gestion de compte AWS pour en savoir plus.