Privado AI logra una precisión del 90 % en cuanto al cumplimiento de la privacidad global mediante Llama 3.1 refinado en AWS

Las empresas se enfrentan a importantes riesgos y retrasos operativos cuando utilizan métodos manuales basados en evaluaciones para mantener registros de las actividades de procesamiento (RoPA). Estos enfoques tradicionales tienen dificultades para seguir el ritmo del rápido desarrollo del software, lo que genera una documentación de cumplimiento imprecisa y anticuada. Para solucionar este problema, el socio de AWS , Privado AI desarrolló un sistema automatizado con modelos refinados de Meta Llama 3.1. Esta solución identifica las rutas de procesamiento de datos directamente a partir del código de origen para generar registros listos para la auditoría. En consecuencia, la plataforma mejoró la precisión de la detección en un 90 % y redujo la varianza entre idiomas a menos del 5 %. Estos resultados permiten a los equipos de privacidad dedicar el 90 % de sus esfuerzos a la recopilación manual de datos a la mitigación activa de los riesgos.

Cómo escapar del “laberinto” de las evaluaciones manuales de privacidad

Privado AI ayuda a los equipos de privacidad empresarial a mantener una documentación de cumplimiento precisa en entornos de aplicaciones complejos y en constante cambio. La plataforma de la empresa está desarrollada para ayudar a los líderes en privacidad a reducir el riesgo de cumplimiento mediante la identificación de infracciones de alta prioridad en sitios web y aplicaciones móviles y la automatización de la creación de mapas de datos. Privado AI, mediante su trabajo con los clientes, observó que los procesos tradicionales de RoPA suelen ser lentos, manuales e imprecisos.

Las organizaciones que operan bajo marcos como el Reglamento general de protección de datos (GDPR) deben documentar cómo se recopilan, procesan y comparten los datos personales. Para muchas empresas, esto depende de entrevistas y cuestionarios en los que se pide a los equipos de ingeniería que describan los flujos de datos de la memoria. Dado que la información se recopila de múltiples partes interesadas que pueden carecer de una visibilidad total de todo el sistema, los registros resultantes se basan con frecuencia en conocimientos parciales o desactualizados. Esta dependencia de los recuerdos humanos crea un problema importante en cuanto a la fuente de información, ya que la documentación no refleja el estado real de los sistemas técnicos.

El desafío se ve agravado aún más por la realidad del ciclo de vida del software moderno, en el que los equipos de ingeniería envían código y lanzan nuevas funciones a diario. Los enfoques tradicionales basados en la evaluación simplemente no pueden avanzar a la velocidad del desarrollo, lo que hace que la documentación no esté sincronizada con el entorno de producción en el momento en que se introduce un cambio. Este retraso obliga a los equipos de privacidad a adoptar un ciclo reactivo de recopilación de datos en lugar de una gestión proactiva de los riesgos. En una auditoría o investigación, los registros inexactos aumentan significativamente el riesgo de infracciones y multas.

Ben Werner, director de marketing de Privado AI, afirma: “Es una misión manual de investigación muy larga que queda obsoleta inmediatamente la semana siguiente, después de que los equipos de ingeniería cambien la forma en que procesan los datos. Es una especie de laberinto donde es imposible tener registros precisos y actualizados en todo momento”.

Automatizar la conformidad con Llama 3.1 refinado y el intercambio de adaptadores en AWS

Para cerrar la brecha entre las evaluaciones estáticas y las bases de código dinámicas, Privado AI creó un sistema que genera registros a partir de señales técnicas. La empresa eligió Meta Llama 3.1-8B como base, ya que su naturaleza abierta brinda la flexibilidad necesaria para implementar el modelo directamente en Amazon Virtual Private Cloud (Amazon VPC) de un cliente. Esta arquitectura responde a un requisito de seguridad fundamental: garantizar que el código de origen confidencial permanezca en el propio entorno del cliente en lugar de ser procesado por proveedores de IA externos. Privado AI, al ejecutarse en Amazon Web Services (AWS), encontró un “punto ideal” en el que podía lograr resultados de alta fidelidad en una sola GPU, equilibrando el rendimiento técnico con la rentabilidad.

Un obstáculo importante para crear la solución fue la falta de conjuntos de datos existentes que asignen códigos empresariales complejos a taxonomías de privacidad. A fin de crear un conjunto de capacitación, Privado AI utilizó una estrategia de consenso multimodelo, pasando 1000 rutas de código anonimizadas por varios modelos de frontera para identificar los patrones en los que los modelos coincidían. Este consenso constituyó una “línea base” para la formación basada en la confianza. Luego, el equipo aplicó la adaptación cuantificada de bajo rango (QLoRA) para refinar Llama 3.1-8B para tareas especializadas, como detectar actividades de procesamiento y clasificar a los sujetos de datos mediante adaptadores LoRA ligeros (artefactos compactos de 50 a 200 MB). Para mejorar el rendimiento, la arquitectura incorpora vLLM a través de contenedores de inferencia de grandes modelos (LMI) de Amazon SageMaker, lo que permite funciones clave como el procesamiento continuo por lotes y la posibilidad de intercambiar adaptadores LoRA en milisegundos. Este enfoque de “intercambio de adaptadores” permite que una sola máquina pueda realizar nueve o más tareas de cumplimiento cargando un modelo base e intercambiando los adaptadores específicos según sea necesario para cada solicitud.

El pilar de procesamiento de la plataforma funciona con Amazon Elastic Compute Cloud (Amazon EC2), que administra cargas de trabajo de escaneo complejas en instancias de GPU de alto rendimiento. La IA privada utiliza las instancias G6e.xlarge para brindar la memoria ampliada necesaria para los periodos de entrenamiento de seis a ocho horas, en cambio, las instancias G6.xlarge gestionan las inferencias en tiempo real con una rentabilidad óptima. Como los requisitos de escaneo empresarial suelen ser episódicos, Amazon MQ administra las colas de tareas asincrónicas para gestionar las ráfagas de bases de código masivas, lo que garantiza que el sistema mantenga una velocidad constante sin sobreaprovisionar los recursos.

A fin de reducir los costos de procesamiento inactivos, Privado AI implementó una arquitectura de inferencia de escala a cero. La descarga de un modelo base de 12 GB normalmente puede tardar hasta 10 minutos, un retraso que imposibilita el escalado en tiempo real. Para solucionar este problema, el equipo utilizó Amazon Elastic File System (Amazon EFS) como caché de modelos compartida, lo que reduce los tiempos de arranque a aproximadamente un minuto. Esta velocidad hace que el escalado basado en la demanda sea práctico para las cargas de trabajo empresariales. Amazon CloudWatch envía las señales de supervisión y escalado necesarias para gestionar esta capacidad, lo que garantiza que la plataforma solo utilice los costosos recursos de GPU de Amazon EC2 cuando haya una cola activa que procesar.

“El equipo de AWS nos brindó un gran apoyo y contrató a expertos técnicos para ayudarnos a mejorar nuestra arquitectura actual y probar técnicas avanzadas”, señala Prashant Mahajan, cofundador de Privado AI. “Algunas de las ideas que implementamos originalmente surgieron de estos exhaustivos debates con el equipo de AWS”.

El regreso de la semana laboral: Cómo pasar el 90 % del esfuerzo de la recopilación de datos a la mitigación de riesgos

Privado AI, al desarrollar su plataforma de automatización de la privacidad en AWS, redefinió radicalmente la velocidad y la precisión de los informes de cumplimiento. La transición a una arquitectura Meta Llama 3.1-8B refinada supuso un enorme salto en el rendimiento técnico, ya que la detección de la actividad de procesamiento pasó de tener una precisión inicial del 50 % a una precisión del 90 %. Del mismo modo, la agrupación de actividades y la clasificación de los sujetos de datos alcanzaron una precisión del 95 %, lo que resultó en detalles granulares y confiables necesarios para la documentación lista para la auditoría. Este resultado de alta fidelidad proporciona los detalles granulares necesarios para la documentación lista para la auditoría, lo que garantiza que los equipos de privacidad puedan confiar en los resultados automatizados sin necesidad de una verificación manual exhaustiva.

Aparte de la precisión, la solución resolvió la brecha de consistencia que históricamente ha afectado a las bases de código empresariales globales. Anteriormente, el rendimiento del sistema tenía una variación del 40 % entre los distintos lenguajes de programación. Tras la optimización en Amazon EC2, la varianza se redujo a menos del 5 %. Esta confiabilidad en varios idiomas, junto con un 99 % de cumplimiento de la normativa JSON estructurada, permite a Privado AI incorporar los resultados directamente a los flujos de trabajo de automatización posteriores. Al eliminar la fricción que supone el reformateo manual, la plataforma permite un flujo continuo de datos desde el código sin procesar hasta los informes de cumplimiento finales.

El impacto más importante es el cambio operativo experimentado por los equipos legales y de privacidad. Al basar el cumplimiento en la realidad técnica y no en el recuerdo humano, Privado AI ha recuperado la semana laboral para sus usuarios. Mahajan explica: “Antes, los equipos de privacidad dedicaban el 90 % de su tiempo a la recopilación manual de datos. Ahora, dedican el 90 % de su tiempo a comprender y mitigar los riesgos, y solo el 10 % a las operaciones de recopilación de datos”. Esta transformación permite a los equipos de privacidad seguir el ritmo de la rápida innovación, sin dejar de mantener una base de confianza.

¿Desea abordar desafíos complejos reales con la IA en AWS? AWS Activate proporciona a las startups las herramientas y los recursos necesarios para escalar con confianza. Los créditos de AWS Activate se pueden utilizar para compensar el costo de la infraestructura, los servicios de datos y los principales modelos de IA y machine learning de AWS. Cuando tenga todo listo para ejecutar cargas de trabajo de producción, las instancias flexibles de Amazon EC2 permiten respaldar de manera eficiente tanto la formación como la inferencia a escala. Contacte al equipo de cuentas de AWS para obtener más información.