Nuovo Metodo di Generazione di Regole per la Stima della Composizionalità degli LLM

È stato introdotto un nuovo metodo per valutare la composizionalità nei modelli linguistici di grandi dimensioni (LLM), affrontando le carenze delle valutazioni convenzionali di generalizzazione composizionale. Questa tecnica, descritta in un articolo su arXiv (2604.27340), prevede che gli LLM creino un programma che funge da regole per mappare i dataset, valutando successivamente la composizionalità attraverso una teoria basata sulla complessità. Questo approccio affronta efficacemente due sfide significative: la mancanza di chiarezza nelle valutazioni basate solo sull'output e il problema della fuga di combinazioni dalle suddivisioni del dataset. Gli esperimenti sono stati condotti su LLM avanzati utilizzando compiti basati su stringhe. Questa ricerca offre un nuovo quadro analitico per comprendere la composizionalità degli LLM.