UNO Framework migliora i LLM utilizzando i log degli utenti
Un nuovo framework chiamato UNO (User log-driveN Optimization) mira a migliorare i sistemi di modelli linguistici di grandi dimensioni (LLM) sfruttando i log di interazione degli utenti provenienti da implementazioni reali. Poiché l'aumento dei dati di addestramento e dei parametri del modello incontra rendimenti decrescenti e scarsità di dati di alta qualità, i ricercatori si stanno rivolgendo all'apprendimento continuo dai log degli utenti, che offrono feedback umano autentico e conoscenza procedurale. Tuttavia, questi log sono non strutturati e rumorosi, rendendo difficile per i sistemi LLM standard estrarre segnali utili. UNO affronta questo problema distillando prima i log in un formato strutturato, consentendo un'ottimizzazione efficace nonostante sfide come i problemi off-policy. Il framework è dettagliato in un articolo su arXiv (2602.06470).
Fatti principali
- UNO sta per User log-driveN Optimization
- È un framework unificato per migliorare i sistemi LLM con i log degli utenti
- L'approccio affronta la scarsità di dati di addestramento di alta qualità
- I log degli utenti forniscono feedback umano autentico e conoscenza procedurale
- I LLM standard hanno difficoltà con log rumorosi e non strutturati
- UNO distilla i log in un formato strutturato
- L'articolo è disponibile su arXiv con ID 2602.06470
- Il tipo di annuncio è replace-cross
Entità
Istituzioni
- arXiv