LogFloor: I Modelli Piccoli Guidano l'Ordine dei Colli di Bottiglia delle Competenze nei Modelli Grandi

Un nuovo studio condiviso su arXiv (ID 2608.14936) introduce LogFloor, un controller a ciclo chiuso che utilizza modelli proxy piccoli per affrontare i colli di bottiglia delle competenze nei modelli più grandi durante la loro fase di addestramento. Questo metodo, chiamato 'addestramento delle competenze al primo passaggio', tiene traccia di ogni competenza per raggiungere un livello minimo target, con l'obiettivo di ridurre i token necessari per tutti i livelli. LogFloor si concentra sui colli di bottiglia esistenti con ogni ciclo di addestramento, creando percorsi di risoluzione efficienti. I test su Qwen2.5-1.5B in cinque segmenti di competenza bAbI hanno dimostrato una riduzione media del 56,2% dei costi in token. Passando da un modello da 70M a uno da 12B, una ripetizione in tre cicli di un percorso esplorativo da 70M ha completato tutti i livelli in otto esecuzioni target, ottenendo risparmi del 30,9% per coppia media e oltre.