Mini-BEHAVIOR-Gran Benchmark Rivela una Curva di Prestazione a Forma di U nella Granularità delle Istruzioni AI

Un team di ricercatori ha introdotto un nuovo standard chiamato Mini-BEHAVIOR-Gran per esplorare in modo più efficace come il livello di dettaglio delle istruzioni influisca sugli agenti AI incorporati guidati dal linguaggio. Questo nuovo approccio potenzia il framework Mini-BEHAVIOR creando diversi tipi di istruzioni per ciascun compito, che vanno da obiettivi generali a guide dettagliate passo-passo. Hanno valutato quattro aspetti della granularità delle istruzioni: conteggio dei token, conteggio dei verbi d'azione, conteggio delle entità e ampiezza di pianificazione. Interessantemente, hanno riscontrato un legame costante tra l'ampiezza di pianificazione e le prestazioni degli agenti. Strutturando l'addestramento e la valutazione attorno a questa ampiezza, hanno osservato una tendenza a forma di U nelle prestazioni legata alla granularità delle istruzioni, con i migliori risultati sia a livelli fini che grossolani. Questo studio è disponibile nella preprint arXiv 2604.17019v1, affrontando una lacuna significativa nella valutazione dell'AI incorporata, poiché la maggior parte dei benchmark esistenti utilizza una sola istruzione statica per compito.