Clienti di AWS Inferentia

NetoAI offre la suite TelcoCore, che include TSLAM, ViNG, DigiTwin e NAPI, per aiutare le aziende di telecomunicazioni ad automatizzare le loro complesse operazioni multidominio e la gestione del ciclo di vita dei clienti. Un esempio di questa innovazione è il nostro TSLAM LLM, il primo modello open source e orientato all’azione per questo settore. Per crearlo, abbiamo utilizzato un modello basato sul nostro enorme set di dati proprietario da 2 miliardi di token e, grazie a Amazon SageMaker con le istanze AWS Trainium trn1, abbiamo notevolmente ridotto i costi e completato l’intero processo di fine-tuning in meno di tre giorni. Per quanto riguarda la produzione, AWS Inferentia2 e Neuron SDK garantiscono una latenza di inferenza costantemente bassa, compresa tra 300 e 600 ms. Questa soluzione end-to-end su chip IA di AWS appositamente progettata, è fondamentale per la nostra missione di fornire un’IA specializzata e ad alte prestazioni a tutto il settore delle telecomunicazioni.

 

Ravi Kumar Palepu Fondatore e CEO

L’addestramento di modelli audio-to-audio di grandi dimensioni per HummingLM richiede un’elaborazione intensiva e molteplici iterazioni. Migrando i nostri carichi di lavoro di addestramento su AWS Trainium e orchestrandoli con Amazon SageMaker HyperPod, abbiamo registrato una riduzione dei costi di addestramento del 54% e un aumento della velocità dei cicli di addestramento del 50%, mantenendo invariata la precisione del modello. Inoltre, abbiamo migrato oltre 2 PB di dati su Amazon S3 in una sola settimana, avvalendoci di Amazon FSx per Lustre per garantire un accesso ad alto throughput e bassa latenza ai dati di addestramento e ai checkpoint. Grazie alle istanze Inf2 basate su AWS Inferentia2, le nostre latenze di inferenza possono essere ridotte fino a 10 volte, consentendo di generare musica in tempo reale in tempi molto più rapidi.

Tomofun, la startup pet-tech con sede a Taiwan che ha ideato Furbo Pet Camera, offre un modo nuovo per interagire da remoto con i propri animali domestici. Furbo integra l’IA nelle telecamere intelligenti per individuare diversi comportamenti, segnalando ad esempio se gli animali abbaiano, corrono o svolgono attività insolite, e informando i proprietari in tempo reale. Abbiamo raggiunto allo stesso tempo due obiettivi diversi, perché Tomofun aveva bisogno di ottenere costi competitivi per le attività di monitoraggio continuo del comportamento degli animali domestici con migliaia di dispositivi, ma doveva anche assicurare la fedeltà del modello e il throughput senza riscrivere ampie porzioni della codebase BLIP, che era già stata ottimizzata per PyTorch. Con il passaggio dell’inferenza BLIP alle istanze Amazon EC2 Inf2, Tomofun ha ridotto dell’83% i costi di distribuzione.