CreativityBench testa i LLM sul riutilizzo creativo degli strumenti basato sulle affordance

CreativityBench, un nuovo benchmark, valuta i grandi modelli linguistici in base alla loro capacità di utilizzare strumenti considerando attributi e affordance anziché applicazioni tradizionali. Presenta un'ampia base di conoscenza delle affordance composta da 4.000 entità e oltre 150.000 annotazioni che collegano oggetti, componenti, caratteristiche e usi pratici. Questa base genera 14.000 compiti contestualizzati che richiedono soluzioni non immediatamente ovvie ma fisicamente realizzabili entro vincoli specifici. Le valutazioni condotte su 10 LLM leader, sia open-source che chiusi, rivelano che, sebbene questi modelli spesso identifichino uno strumento plausibile, falliscono frequentemente nel ragionamento creativo. I risultati sono documentati su arXiv con ID 2605.02910.