MinT: Infrastruttura Gestita per Addestramento e Servizio di LLM

Il MindLab Toolkit (MinT) funge da infrastruttura gestita per Low-Rank Adaptation (LoRA), facilitando il post-addestramento e la distribuzione online di modelli linguistici di grandi dimensioni. È particolarmente adatto per scenari in cui numerose politiche addestrate emergono da un numero limitato di costosi dispiegamenti di modelli di base. Invece di creare un checkpoint completo unito per ogni politica, MinT mantiene il modello di base e processa le revisioni dell'adattatore LoRA esportate attraverso varie fasi, tra cui rollout, aggiornamento, esportazione, valutazione, servizio e rollback, nascondendo efficacemente l'addestramento distribuito e il movimento dei dati dietro un'interfaccia di servizio. MinT offre scalabilità in tre dimensioni: Scale Up migliora il LoRA RL per architetture dense e MoE avanzate, validato per oltre 1 trilione di parametri; Scale Down esporta gli adattatori LoRA, potenzialmente inferiori all'1% della dimensione del modello di base, ottenendo una riduzione di 18,3x nei passaggi misurati per un modello da 4B; e Scale Out supervisiona più dispiegamenti di modelli di base e migliaia di adattatori. Il sistema è ottimizzato per gestire milioni di LLM in modo efficiente.