Il Framework HyMOR Combina MLLM e CLIP per il Riconoscimento di Oggetti a Multi-Granularità nei Giochi Educativi

Un nuovo framework ibrido chiamato HyMOR integra Modelli Linguistici Multimodali di Grande Dimensione (MLLM) con modelli di tipo CLIP per affrontare le limitazioni nel riconoscimento aperto di oggetti. Mentre gli MLLM gestiscono l'identificazione di categorie ampie, i modelli CLIP si specializzano nel riconoscimento fine di oggetti specifici di dominio come animali e piante. Questo approccio consente una comprensione accurata attraverso molteplici granularità semantiche, creando una solida base percettiva per applicazioni a valle. Il framework si rivolge specificamente alla generazione di contenuti multimodali e al gameplay interattivo in scenari educativi. Per supportare la valutazione in ambienti ricchi di contenuti, i ricercatori hanno introdotto TBO. Il lavoro affronta il divario tra le capacità aperte degli MLLM e i punti di forza di granularità fine dei modelli CLIP, proponendo una soluzione pratica per giochi educativi interattivi che richiedono sia il riconoscimento grossolano che fine degli oggetti.