Identificate le Leggi di Scala delle Competenze nei Sistemi di Agenti LLM

Uno studio recente su arXiv identifica due leggi di scala interconnesse che influenzano le librerie di competenze nei sistemi di agenti LLM. I ricercatori hanno esaminato 15 LLM avanzati, 1.141 competenze pratiche e oltre 3 milioni di scelte di routing o esecuzione. I loro risultati indicano che l'accuratezza del routing a singolo passo diminuisce logaritmicamente all'espandersi della libreria (R²>0,97 su tutti i modelli). Gli errori passano dalla competizione locale tra competenze a una deriva più ampia tra famiglie, portando spesso al dominio di 'competenze buco nero' eccessivamente generali. La legge di esecuzione suggerisce che, prima della realizzazione dello stato, il routing congiunto si comporta in modo quasi moltiplicativo, mentre un'esecuzione corretta può migliorare le decisioni a valle difficili di circa 4×. Un singolo parametro, la pendenza di decadimento logaritmico del routing b, collega le due leggi, consentendo aggiustamenti dal lato del routing per prevedere miglioramenti dal lato dell'esecuzione su vari modelli. Queste leggi offrono spunti pratici per migliorare i sistemi di agenti.