Nuovo Framework PPRoute Affronta i Rischi per la Privacy nei Sistemi di Routing dei Modelli Linguistici di Grande Dimensione

È stato sviluppato un nuovo framework per la preservazione della privacy chiamato PPRoute per affrontare le vulnerabilità di sicurezza nei sistemi di routing dei modelli linguistici di grande dimensione. Questi sistemi di routing selezionano dinamicamente servizi da diversi fornitori di modelli per bilanciare prestazioni e costi, ma introducono un livello intermedio che crea significativi rischi per la privacy dei dati degli utenti. Il framework PPRoute proposto impiega molteplici strategie per accelerare l'inferenza dell'encoder e la ricerca del vicino più prossimo mantenendo la qualità del routing. Utilizza operazioni compatibili con MPC per migliorare le prestazioni dell'inferenza dell'encoder. Il framework implementa anche un approccio basato sulla moltiplicazione per migliorare l'efficienza della ricerca del vicino più prossimo. Questi rischi per la privacy nel routing LLM non erano stati precedentemente studiati in modo sistematico. Sebbene tecniche crittografiche come il Secure Multi-Party Computation consentano calcoli che preservano la privacy, il loro design e implementazione dei protocolli rimangono poco esplorati. Le implementazioni naive di queste tecniche crittografiche tipicamente comportano un sovraccarico computazionale proibitivo che le rende impraticabili per applicazioni reali. La ricerca è stata pubblicata su arXiv con identificatore 2604.15728v1.