Privado AI raggiunge un'accuratezza del 90% per la conformità globale alla privacy grazie a una versione ottimizzata di Llama 3.1 su AWS.

Le imprese si trovano ad affrontare rischi significativi e ritardi operativi quando utilizzano metodi manuali e basati sulla valutazione per mantenere la documentazione delle attività di elaborazione (RoPA). Questi approcci tradizionali faticano a tenere il passo con il rapido sviluppo del software, portando a una documentazione di conformità imprecisa e obsoleta. Per affrontare questo problema, AWS Partner Privado AI ha sviluppato un sistema automatizzato utilizzando i modelli Meta Llama 3.1 ottimizzati. Questa soluzione identifica i percorsi di elaborazione dei dati direttamente dal codice sorgente per generare record pronti per la verifica. Di conseguenza, la piattaforma ha migliorato l'accuratezza del rilevamento al 90% e ridotto la varianza tra le lingue a meno del 5%. Questi risultati consentono ai team addetti alla privacy di spostare il 90% del loro impegno dalla raccolta manuale dei dati alla mitigazione attiva del rischio.

Sfuggire al "vicolo cieco" delle valutazioni manuali della privacy

Privado AI collabora con i team aziendali dedicati alla privacy per mantenere una documentazione di conformità accurata in ambienti applicativi complessi e in rapida evoluzione. La piattaforma dell'azienda è progettata per aiutare i responsabili della privacy a ridurre il rischio di non conformità identificando le violazioni prioritarie su siti web e app mobile e automatizzando la creazione di mappe dei dati. Attraverso la collaborazione con i clienti, Privado AI ha osservato che i processi RoPA tradizionali sono spesso lenti, manuali e imprecisi.

Le organizzazioni che operano in base a normative come il Regolamento generale sulla protezione dei dati (GDPR) devono documentare le modalità di raccolta, elaborazione e condivisione dei dati personali. Per molte aziende, ciò si basa su interviste e questionari in cui ai team di ingegneri viene chiesto di descrivere i flussi di dati a memoria. Poiché le informazioni vengono raccolte da diverse parti interessate che potrebbero non avere una visione completa dell'intero sistema, i documenti risultanti si basano spesso su conoscenze parziali o obsolete. Questa dipendenza dalla memoria umana crea un significativo problema di attendibilità della fonte, in quanto la documentazione non riflette lo stato effettivo dei sistemi tecnici.

La sfida è ulteriormente amplificata dalla realtà del moderno ciclo di vita del software, in cui i team di ingegneri rilasciano codice e nuove funzionalità quotidianamente. Gli approcci tradizionali basati sulla valutazione non riescono a tenere il passo con lo sviluppo, causando una mancata sincronizzazione della documentazione con l'ambiente di produzione nel momento stesso in cui viene implementata una modifica. Questo ritardo costringe i team addetti alla privacy a un ciclo reattivo di raccolta dati anziché a una gestione proattiva del rischio. In caso di audit o indagine, registrazioni imprecise aumentano significativamente il rischio di violazioni e sanzioni.

Come afferma Ben Werner, responsabile marketing di Privado AI: "Si tratta di una lunghissima e complessa ricerca manuale di informazioni, che diventano immediatamente obsolete la settimana successiva, non appena i team di ingegneri modificano le modalità di elaborazione dei dati. È una sorta di labirinto in cui è impossibile avere sempre a disposizione dati completamente accurati e aggiornati".

Automatizzazione della conformità con Llama 3.1 ottimizzato e sostituzione degli adattatori su AWS

Per colmare il divario tra valutazioni statiche e codebase dinamiche, Privado AI ha creato un sistema che genera record direttamente da segnali tecnici. L'azienda ha scelto Meta Llama 3.1-8B come base, poiché la sua natura open-weight offre la flessibilità necessaria per implementare il modello direttamente all'interno dell'Amazon Virtual Private Cloud (Amazon VPC) del cliente. Questa architettura risponde a un requisito di sicurezza fondamentale: garantire che il codice sorgente sensibile rimanga all'interno dell'ambiente del cliente anziché essere elaborato da fornitori di IA esterni. Grazie all'utilizzo di Amazon Web Services (AWS), Privado AI ha trovato il punto di equilibrio ideale per ottenere risultati di alta fedeltà su una singola GPU, bilanciando prestazioni tecniche ed economicità.

Un ostacolo significativo nella realizzazione della soluzione è stata la mancanza di set di dati esistenti che mappassero il codice aziendale complesso alle tassonomie della privacy. Per creare un set di addestramento, Privado AI ha utilizzato una strategia di consenso multi-modello, passando 1.000 percorsi di codice anonimizzati attraverso diversi modelli di frontiera per identificare i pattern in cui i modelli concordavano. Questo consenso ha costituito una "verità di base" ad alta affidabilità per l'addestramento. Il team ha quindi applicato l'adattamento quantizzato a basso rango (QLoRA) per ottimizzare Llama 3.1-8B per attività specializzate come il rilevamento delle attività di elaborazione e la classificazione dei soggetti dei dati utilizzando adattatori LoRA leggeri, ovvero artefatti compatti da 50-200 MB. Per massimizzare le prestazioni, l'architettura incorpora vLLM tramite i container Amazon SageMaker Large Model Inference (LMI), abilitando funzionalità chiave come il batching continuo e la possibilità di sostituire gli adattatori LoRA in millisecondi. Questo approccio di "sostituzione degli adattatori" consente a una singola macchina di supportare nove o più attività di conformità caricando un modello base e sostituendo gli adattatori specifici a seconda delle necessità per ciascuna richiesta.

L'infrastruttura di calcolo della piattaforma è basata su Amazon Elastic Compute Cloud (Amazon EC2), che gestisce carichi di lavoro di scansione complessi su istanze GPU ad alte prestazioni. Privado AI utilizza istanze G6e.xlarge per fornire la memoria espansa necessaria per finestre di addestramento da sei a otto ore, mentre le istanze G6.xlarge gestiscono l'inferenza in tempo reale con un'efficienza dei costi ottimale. Poiché i requisiti di scansione aziendali sono spesso episodici, Amazon MQ gestisce code di attività asincrone per gestire i picchi di codebase di grandi dimensioni, garantendo che il sistema mantenga una velocità costante senza sovradimensionare le risorse.

Per ridurre al minimo i costi di elaborazione inattivi, Privado AI ha implementato un'architettura di inferenza scalabile a zero. Tradizionalmente, il download di un modello base da 12 GB può richiedere fino a 10 minuti, un ritardo che rende impossibile la scalabilità in tempo reale. Per risolvere questo problema, il team utilizza Amazon Elastic File System (Amazon EFS) come cache del modello condiviso, che riduce i tempi di avvio a circa un minuto. Questa velocità rende la scalabilità basata sulla domanda pratica per i carichi di lavoro aziendali. Amazon CloudWatch fornisce i segnali di monitoraggio e scalabilità per gestire questa capacità, assicurando che la piattaforma utilizzi costose risorse GPU su Amazon EC2 solo quando è attiva una coda di elaborazione.

"Il team di AWS ci ha fornito un supporto eccezionale, mettendo a disposizione esperti tecnici quando necessario per aiutarci a migliorare la nostra architettura esistente e a sperimentare tecniche avanzate", afferma Prashant Mahajan, co-fondatore di Privado AI. "Alcune delle idee che abbiamo implementato sono nate proprio da queste approfondite discussioni con il team di AWS."

Riconquistare la settimana lavorativa: spostare il 90% degli sforzi dalla raccolta dati alla mitigazione del rischio

Grazie all'architettura della sua piattaforma di automazione della privacy basata su AWS, Privado AI ha ridefinito radicalmente la velocità e la precisione della reportistica di conformità. La transizione a un'architettura Meta Llama 3.1-8B ottimizzata ha portato a un notevole miglioramento delle prestazioni tecniche, portando il rilevamento delle attività di elaborazione da una precisione del 50% a una del 90%. Analogamente, il raggruppamento delle attività e la classificazione dei soggetti interessati hanno raggiunto una precisione del 95%, fornendo i dettagli affidabili e granulari necessari per una documentazione pronta per gli audit. Questo output di alta qualità fornisce i dettagli granulari indispensabili per una documentazione pronta per gli audit, garantendo che i team addetti alla privacy possano fidarsi dei risultati automatizzati senza dover ricorrere a verifiche manuali esaustive.

Oltre alla pura accuratezza, la soluzione ha risolto il problema di coerenza che storicamente affligge le codebase delle aziende globali. In precedenza, il sistema presentava una varianza di prestazioni del 40% tra i diversi linguaggi di programmazione; dopo l'ottimizzazione su Amazon EC2, la varianza è crollata a meno del 5%. Questa affidabilità tra i diversi linguaggi, unita a una conformità del 99% al formato JSON strutturato, consente a Privado AI di integrare direttamente i risultati nei flussi di lavoro di automazione successivi. Eliminando la necessità di riformattazione manuale, la piattaforma permette un flusso di dati continuo dal codice sorgente ai report di conformità finali.

L'impatto più significativo è il cambiamento operativo sperimentato dai team legali e della privacy. Basando la conformità su dati tecnici concreti anziché sulla memoria umana, Privado AI ha permesso ai suoi utenti di ottimizzare il proprio tempo lavorativo. Come spiega Mahajan: "Prima, i team che si occupano di privacy dedicavano il 90% del loro tempo alla raccolta manuale dei dati. Ora, dedicano il 90% del loro tempo alla comprensione e alla mitigazione dei rischi e solo il 10% alle operazioni di raccolta dati". Questa trasformazione consente ai team che si occupano di privacy di tenere il passo con la rapida innovazione, mantenendo al contempo una solida base di fiducia.

Desideri affrontare sfide complesse e concrete con l'intelligenza artificiale su AWS?AWS Activate fornisce alle startup gli strumenti e le risorse necessari per crescere con sicurezza. I crediti AWS Activate possono essere utilizzati per compensare i costi dell'infrastruttura AWS, dei servizi dati e dei modelli di IA e machine learning più avanzati. Quando sei pronto per eseguire carichi di lavoro di produzione, le istanze  flessibili di Amazon EC2 ti consentono di supportare in modo efficiente sia l'addestramento che l'inferenza su larga scala. Contatta il Team di account AWS per saperne di più.