TRIP-Evaluate: Benchmark multimodale aperto per l'IA nei trasporti

Un nuovo benchmark multimodale aperto chiamato TRIP-Evaluate è stato lanciato dai ricercatori per valutare i modelli linguistici di grandi dimensioni (LLM) e i modelli multimodali di grandi dimensioni (MLLM) specificamente nei compiti di trasporto. Questo benchmark supera le carenze sia dei benchmark generali che di quelli specializzati nei trasporti, incorporando flussi di lavoro che sono intensivi di regole, computazionalmente pesanti, critici per la sicurezza e intrinsecamente multimodali. Presenta 837 elementi categorizzati da un quadro ruolo-compito-conoscenza che include i settori veicolo, gestione del traffico, viaggiatore e pianificazione. TRIP-Evaluate facilita valutazioni dettagliate su testo, immagini e dati a nuvola di punti, misurando competenze come rispondere a domande normative, supportare la gestione del traffico, condurre revisioni ingegneristiche e ragionare in scenari di guida autonoma. I risultati sono documentati in un articolo disponibile su arXiv (2605.00907).