Unsloth e NVIDIA collaborano per accelerare l'addestramento degli LLM di circa il 25%

Unsloth ha collaborato con NVIDIA per introdurre ottimizzazioni che rendono l'addestramento dei modelli linguistici di grandi dimensioni (LLM) circa il 25% più veloce senza alcuna perdita di accuratezza. Questi miglioramenti si basano sull'attuale accelerazione di 2-5x di Unsloth e vengono attivati automaticamente su laptop RTX, GPU per data center e macchine DGX Spark dopo l'aggiornamento di Unsloth. La collaborazione affronta tre aree chiave: caching di sequenze impacchettate, checkpointing di attivazione a doppio buffer e routing efficiente di Mixture-of-Experts (MoE). Il caching di sequenze impacchettate riduce il sovraccarico riutilizzando i metadati attraverso i livelli del trasformatore invece di ricostruirli ogni volta. Il checkpointing di attivazione a doppio buffer sovrappone il trasferimento dei dati con il calcolo, nascondendo la latenza. Le ottimizzazioni del routing MoE minimizzano le query di indicizzazione dinamica. I benchmark su GPU NVIDIA B200 Blackwell mostrano accelerazioni costanti su modelli densi più grandi con un utilizzo minimo aggiuntivo di VRAM. Le perdite finali rimangono sostanzialmente invariate, confermando che queste ottimizzazioni preservano la qualità del modello.