Privado AI Mencapai Akurasi 90 persen untuk Kepatuhan Privasi Global Menggunakan Llama 3.1 yang Disempurnakan di AWS

Korporasi menghadapi risiko yang signifikan dan penundaan operasional ketika menggunakan metode manual yang didorong penilaian untuk menyimpan catatan aktivitas pemrosesan (RoPA). Pendekatan tradisional ini kesulitan untuk mengimbangi perkembangan perangkat lunak yang pesat, yang menyebabkan dokumentasi kepatuhan yang tidak tepat dan usang. Untuk mengatasi hal ini, Partner AWS Privado AI mengembangkan sistem otomatis menggunakan model Meta Llama 3.1 yang disempurnakan. Solusi ini mengidentifikasi jalur pemrosesan data langsung dari kode sumber untuk menghasilkan catatan siap audit. Hasilnya, platform meningkatkan akurasi deteksi hingga 90 persen serta mengurangi varian lintas bahasa menjadi kurang dari 5 persen. Hasil ini memungkinkan tim privasi untuk mengalihkan 90 persen upaya mereka dari pengumpulan data manual ke mitigasi risiko aktif.

Keluar dari “dilema” penilaian privasi manual

Privado AI bekerja dengan tim privasi korporasi untuk memelihara dokumentasi kepatuhan yang akurat di seluruh lingkungan aplikasi yang kompleks dan cepat berubah. Platform perusahaan ini dirancang untuk membantu para pimpinan privasi mengurangi risiko kepatuhan dengan mengidentifikasi pelanggaran prioritas tinggi di situs web dan aplikasi seluler serta mengotomatiskan pembuatan peta data. Melalui kerja samanya dengan para pelanggan, Privado AI mengamati bahwa proses RoPA tradisional seringkali lambat, manual, dan tidak tepat.

Organisasi yang beroperasi di bawah kerangka kerja seperti Peraturan Perlindungan Data Umum (GDPR) harus mendokumentasikan cara data pribadi dikumpulkan, diproses, dan dibagikan. Bagi banyak korporasi, ini bergantung pada wawancara dan kuesioner yang meminta tim rekayasa untuk menggambarkan aliran data dari memori. Karena informasi dikumpulkan dari beberapa pemangku kepentingan yang mungkin tidak memiliki visibilitas penuh ke seluruh sistem, catatan yang dihasilkan sering didasarkan pada pengetahuan sebagian atau sudah usang. Ketergantungan pada ingatan manusia ini menciptakan masalah sumber kebenaran yang signifikan, karena dokumentasi tidak mencerminkan keadaan sebenarnya dari sistem teknis.

Tantangan ini makin diperkuat oleh realitas siklus hidup perangkat lunak modern, yang tim rekayasanya mengirimkan kode dan merilis fitur baru setiap hari. Pendekatan yang didorong penilaian tradisional tidak dapat bergerak secepat pengembangan, yang menyebabkan dokumentasi tidak sinkron dengan lingkungan produksi saat perubahan diterapkan. Keterlambatan ini memaksa tim privasi masuk ke dalam siklus pengumpulan data yang reaktif alih-alih manajemen risiko proaktif. Dalam audit atau investigasi, catatan yang tidak akurat secara signifikan meningkatkan risiko pelanggaran dan denda.

Seperti yang dikatakan Ben Werner, head of marketing di Privado AI: “Ini adalah misi penemuan fakta manual yang sangat panjang dan segera ketinggalan zaman pada minggu berikutnya setelah tim rekayasa mengubah cara mereka memproses data. Ini seperti dilema yang mustahil untuk memiliki catatan yang sepenuhnya akurat dan terkini setiap saat."

Mengotomatiskan kepatuhan dengan Llama 3.1 yang disempurnakan dan pertukaran adaptor di AWS

Untuk menjembatani kesenjangan antara penilaian statis dan basis kode dinamis, Privado AI membangun sistem yang menghasilkan catatan langsung dari sinyal teknis. Perusahaan ini memilih Meta Llama 3.1-8B sebagai fondasinya karena sifat bobot terbukanya memberikan fleksibilitas untuk melakukan deployment model secara langsung di dalam Amazon Virtual Private Cloud (Amazon VPC) pelanggan. Arsitektur ini mengatasi persyaratan keamanan penting: memastikan bahwa kode sumber sensitif tetap berada di lingkungan pelanggan sendiri alih-alih diproses oleh penyedia AI pihak ketiga eksternal. Dengan menjalankan pada Amazon Web Services (AWS), Privado AI menemukan “titik optimal” yang perusahaan ini dapat mencapai hasil dengan fidelitas tinggi pada satu GPU, menyeimbangkan performa teknis dengan efektivitas biaya.

Hambatan signifikan dalam membangun solusi adalah kurangnya set data yang ada yang memetakan kode korporasi yang kompleks ke taksonomi privasi. Untuk membuat set pelatihan, Privado AI menggunakan strategi konsensus multi-model, melewati 1.000 jalur kode anonim melalui beberapa model terdepan untuk mengidentifikasi pola yang modelnya disepakati. Konsensus ini membentuk “kebenaran dasar” dengan keyakinan tinggi untuk pelatihan. Tim kemudian menerapkan Quantized Low-Rank Adaptation (QLoRA) untuk menyempurnakan Llama 3.1-8B untuk tugas-tugas khusus seperti mendeteksi aktivitas pemrosesan dan mengklasifikasikan subjek data menggunakan adaptor LoRA ringan—artefak 50–200 MB yang ringkas. Untuk meningkatkan performa, arsitektur menggabungkan vLLM melalui kontainer Inferensi Model Besar (LMI) Amazon SageMaker, yang memungkinkan kemampuan utama seperti batching berkelanjutan dan kemampuan untuk menukar adaptor LoRA dalam hitungan milidetik. Pendekatan “pertukaran adaptor” ini memungkinkan satu mesin mendukung sembilan atau lebih tugas kepatuhan dengan memuat satu model dasar serta menukar adaptor tertentu sesuai kebutuhan untuk setiap permintaan.

Tulang punggung komputasi platform ini ditenagai oleh Amazon Elastic Compute Cloud (Amazon EC2), yang mengelola beban kerja pemindaian kompleks di seluruh instans GPU beperforma tinggi. Privado AI menggunakan instans G6E.xlarge untuk menyediakan memori yang diperluas yang diperlukan untuk jendela pelatihan enam hingga delapan jam, sementara instans G6.xlarge menangani inferensi secara waktu nyata dengan efisiensi biaya yang optimal. Karena persyaratan pemindaian korporasi seringkali bersifat episodik, Amazon MQ mengelola antrean tugas asinkron untuk menangani lonjakan dari basis kode masif, memastikan sistem mempertahankan kecepatan yang konsisten tanpa menyediakan sumber daya yang berlebihan.

Untuk meminimalkan biaya komputasi yang tidak aktif, Privado AI mengimplementasikan arsitektur inferensi skala-ke-nol. Secara tradisional, mengunduh model dasar sebesar 12 GB dapat memakan waktu hingga 10 menit, sebuah penundaan yang membuat penskalaan secara waktu nyata menjadi tidak mungkin. Untuk mengatasi ini, tim menggunakan Amazon Elastic File System (Amazon EFS) sebagai cache model bersama, yang mengurangi waktu mulai menjadi sekitar satu menit. Kecepatan ini membuat penskalaan berbasis permintaan menjadi praktis untuk beban kerja korporasi. Amazon CloudWatch menyediakan sinyal pemantauan dan penskalaan untuk mengelola kapasitas ini, memastikan platform hanya membuat sumber daya GPU yang mahal di Amazon EC2 ketika ada antrean aktif untuk diproses.

“Tim AWS sangat mendukung, membawa para ahli teknis sesuai kebutuhan untuk membantu kami meningkatkan arsitektur kami yang ada dan mencoba teknik canggih,” kata Prashant Mahajan, co-founder di Privado AI. “Beberapa ide yang telah kami implementasikan awalnya berasal dari diskusi mendalam dengan tim AWS."

Mengembalikan minggu kerja: mengalihkan 90 persen upaya dari pengumpulan data ke mitigasi risiko

Dengan merancang platform otomatisasi privasinya di AWS, Privado AI secara fundamental mendefinisikan ulang kecepatan dan akurasi pelaporan kepatuhan. Transisi ke arsitektur Meta Llama 3.1-8B yang disempurnakan menghasilkan lompatan besar dalam performa teknis, menggeser deteksi aktivitas pemrosesan dari acuan dasar akurasi 50 persen menjadi akurasi 90 persen. Demikian pula, pengelompokan aktivitas dan klasifikasi subjek data mencapai presisi 95 persen, memberikan detail terperinci yang andal yang diperlukan untuk dokumentasi siap audit. Output dengan fidelitas tinggi ini memberikan detail terperinci yang diperlukan untuk dokumentasi siap audit, memastikan bahwa tim privasi dapat memercayai hasil otomatis tanpa verifikasi manual yang lengkap.

Selain akurasi mentah, solusi ini memecahkan kesenjangan konsistensi yang secara historis mengganggu basis kode korporasi global. Sebelumnya, sistem ini memiliki varian 40 persen dalam performa di berbagai bahasa pemrograman; setelah optimisasi pada Amazon EC2, variannya anjlok menjadi kurang dari 5 persen. Keandalan lintas bahasa ini, dipasangkan dengan kepatuhan JSON terstruktur 99 persen, memungkinkan Privado AI untuk memasukkan hasil langsung ke alur kerja otomatisasi hilir. Dengan menghilangkan hambatan pemformatan ulang secara manual, platform memungkinkan aliran data yang lancar dari kode mentah ke laporan kepatuhan final.

Dampak yang paling signifikan adalah pergeseran operasional yang dialami oleh tim privasi dan hukum. Dengan mendasarkan kepatuhan pada realitas teknis alih-alih ingatan manusia, Privado AI telah merebut kembali minggu kerja bagi penggunanya. Seperti yang dijelaskan Mahajan: “Sebelumnya, tim privasi menghabiskan 90 persen waktu mereka untuk pengumpulan data manual. Sekarang, mereka menghabiskan 90 persen waktu mereka untuk memahami dan mengurangi risiko, serta hanya 10 persen untuk operasi pengumpulan data. Transformasi ini memungkinkan tim privasi untuk mengimbangi inovasi yang cepat sambil mempertahankan fondasi kepercayaan.

Ingin mengatasi tantangan dunia nyata yang rumit dengan AI di AWS? AWS Activate membekali startups dengan alat dan sumber daya yang dibutuhkan untuk menskalakan dengan keyakinan. Kredit AWS Activate dapat digunakan untuk menutupi biaya infrastruktur AWS, layanan data, serta model AI dan ML terkemuka. Saat Anda siap menjalankan beban kerja produksi, instans Amazon EC2 yang fleksibel memungkinkan Anda untuk mendukung pelatihan dan inferensi secara efisien dalam skala besar. Hubungi Tim Akun AWS untuk mempelajari selengkapnya.