LoRA non riesce ad apprendere procedure multi-step nei LLM

Un recente studio pubblicato su arXiv evidenzia i limiti della messa a punto dei modelli di IA, in particolare per quanto riguarda la conoscenza procedurale che coinvolge più passaggi. In un'analisi di prenotazione di viaggi con 14 nodi, i modelli che utilizzano LoRA con ranghi da 16 a 128 hanno registrato un tasso di successo di appena 2,54, rispetto a 4,11 per la messa a punto completa, con una differenza statisticamente significativa (p<0,001). Entrambe le tecniche hanno mantenuto alti tassi di completamento della conversazione, pari al 95-99%. Ulteriori valutazioni in diversi scenari, tra cui una configurazione di supporto Zoom con 14 nodi e un processo di richieste di risarcimento assicurativo con 55 nodi, hanno rivelato che LoRA ha costantemente ottenuto risultati inferiori di 0,8-2,2 punti rispetto alla messa a punto completa, specialmente in compiti complessi.