Meta-Tool: L'iperrete LoRA non migliora l'uso di strumenti few-shot in LLM da 3B

Un nuovo studio da arXiv (2604.20148) scopre che l'adattamento LoRA basato su iperrete non fornisce alcun miglioramento misurabile rispetto al prompting few-shot per modelli linguistici di piccole dimensioni in compiti di uso di strumenti. Utilizzando un backbone Llama-3.2-3B-Instruct, i ricercatori hanno valutato quattro meccanismi di adattamento—prompting few-shot, codifica della documentazione, pesi LoRA generati da iperrete e beam search guidato da valori—su quattro benchmark: Gorilla APIBench, Spider 2.0, WebArena e InterCode. L'iperrete da 227,8 milioni di parametri ha aggiunto uno 0% di guadagno prestazionale, mentre gli esempi few-shot hanno contribuito per +21,5% e la documentazione per +5,0%. Il risultato negativo suggerisce che un attento prompting da solo è sufficiente per modelli di scala 3B.