Framework LLM-come-giudice per la valutazione di raccomandazioni di gite sostenibili in città

Un recente articolo di ricerca introduce un framework di calibrazione in tre fasi per utilizzare i LLM come valutatori di suggerimenti per gite sostenibili in città, concentrandosi su quattro aspetti chiave: pertinenza, diversità, sostenibilità ed equilibrio di popolarità. Questo studio, presentato su arXiv, affronta la difficoltà di valutare raccomandazioni conversazionali complesse per viaggi, specialmente quando le annotazioni umane sono costose e le metriche convenzionali trascurano obiettivi incentrati sugli stakeholder. Il framework comprende valutazioni iniziali con vari LLM, revisioni di esperti per individuare discrepanze sistematiche e calibrazione adattata a dimensioni specifiche utilizzando regole ed esempi few-shot. I ricercatori hanno riscontrato bias specifici del modello e una varianza significativa tra le dimensioni in due contesti di raccomandazione. La calibrazione ha migliorato la chiarezza del ragionamento per ciascuna dimensione, ma ha rivelato interpretazioni divergenti della sostenibilità, sottolineando la necessità di valutazioni trasparenti e consapevoli dei bias dei LLM. Prompt e codice sono stati resi disponibili per la riproducibilità.