Nuovo Framework Quantifica la Divergenza nel Ragionamento delle API dei LLM

È stato creato un nuovo framework di benchmarking per valutare quanto bene i modelli linguistici di grandi dimensioni performano nell'identificare e classificare API per compiti simili. I ricercatori hanno esaminato 15 diversi domini API provenienti da 5 famiglie di modelli, utilizzando varie metriche come Average Overlap e similarità di Jaccard. I risultati hanno mostrato un accordo complessivo moderato, con un Average Overlap intorno a 0.50 e un tau di Kendall vicino a 0.45. Tuttavia, lo studio ha evidenziato differenze significative in base al dominio: i compiti strutturati, come Meteo e Riconoscimento vocale, sono risultati più coerenti, mentre compiti aperti come l'Analisi del sentiment hanno mostrato maggiore variazione. Questa ricerca è disponibile nel paper 2604.22760 su arXiv.