SportD: Valutare il processo decisionale strategico dei modelli visione-linguaggio nel calcio
Uno studio recente presenta SportD, un dataset e un framework di valutazione progettati per valutare i modelli visione-linguaggio (VLM) in contesti dinamici, utilizzando specificamente il calcio professionistico come banco di prova. Disponibile su arXiv (ID 2607.14616), il dataset comprende 1.415 scenari decisionali tratti da partite di calcio maschile e femminile. La ricerca rivela che gli attuali VLM selezionano l'azione ottimale solo nel 30% dei casi, risultando inferiori alle capacità umane. Questi modelli tendono a optare per azioni più sicure che producono minore varianza e valore, ostacolando l'avanzamento verso la porta. Sebbene i VLM siano abili nel prevedere il successo delle azioni, confondono erroneamente la probabilità con il valore, preferendo azioni probabili rispetto a quelle con maggiore beneficio strategico. Questo studio sottolinea le carenze dei VLM nella valutazione del valore e del rischio, stabilendo un punto di riferimento per futuri miglioramenti.
Fatti principali
- SportD è un dataset e una valutazione per testare il processo decisionale strategico dei VLM nel calcio.
- Il dataset include 1.415 scenari decisionali tratti da partite di calcio professionistiche maschili e femminili.
- I VLM scelgono l'azione ottimale solo circa il 30% delle volte, meno degli umani.
- I modelli preferiscono azioni più sicure, con minore varianza e valore, che fanno meno progressi verso la porta.
- I VLM all'avanguardia collocano l'azione con la più alta probabilità di successo tra le scelte migliori nell'83-92% dei casi.
- I VLM confondono sistematicamente la probabilità con il valore, assegnando un valore più alto alle azioni più probabili.
- L'articolo è disponibile su arXiv con ID 2607.14616.
- Lo studio usa il calcio come banco di prova oggettivo con azioni quantificabilmente valutate.
Entità
Istituzioni
- arXiv