LLM testati sulla replicazione di modelli ad agenti da specifiche ODD

Un'indagine di ricerca ha analizzato 17 modelli linguistici estesi (LLM) per determinare la loro competenza nell'esecuzione di modelli ad agenti basati su specifiche ODD standardizzate, utilizzando il modello predatore-preda PPHPC come benchmark. Il codice Python generato è stato valutato attraverso controlli di eseguibilità, confronti statistici con una baseline NetLogo e valutazioni di efficienza di runtime e manutenibilità. I risultati suggeriscono che, sebbene implementazioni comportamentalmente accurate siano raggiungibili, non sono garantite, e la mera eseguibilità non è sufficiente per applicazioni scientifiche. GPT-4.1 ha costantemente fornito implementazioni statisticamente valide ed efficienti, con Claude 3.7 Sonnet che ha mostrato prestazioni encomiabili.