Il dataset VideoNorms valuta la consapevolezza culturale nei modelli linguistici video

Un nuovo dataset chiamato VideoNorms è stato lanciato da ricercatori per valutare la consapevolezza delle norme culturali nei modelli linguistici video di grandi dimensioni (VideoLLM). Questo dataset presenta annotazioni tratte da noti programmi televisivi negli Stati Uniti e in Cina, evidenziando casi di adesione o violazione delle norme culturali, supportati da prove (non)verbali. Inizialmente, un grande VideoLLM ha annotato ciascun elemento, seguito da valutazioni di almeno tre annotatori monoculturali formati con profonde conoscenze culturali, portando a oltre 3.000 valutazioni umane. Il processo di verifica ha rivelato differenze nell'efficacia dell'estrazione delle norme tra i contesti statunitense e cinese, suggerendo cautela nell'uso di metodi completamente automatizzati per culture non adeguatamente rappresentate nei dataset di addestramento. L'analisi tramite modellazione lineare gerarchica di sette VideoLLM a pesi aperti ha indicato prestazioni inferiori in specifici contesti culturali.