MELLON Migliora gli Agenti di Navigazione Web con Apprendimento Multimodale
Un nuovo articolo di ricerca introduce MELLON (Multimodal Enhanced LLM for Online Navigation), un metodo per migliorare gli agenti di navigazione web integrando la comprensione di testo e immagini. Lo studio, disponibile su arXiv, si concentra sul benchmark WebShop, una simulazione di sito web reale, e propone tre miglioramenti multimodali: MELLON, VQAgent e Multimodal Ranker. MELLON ha ottenuto un aumento del 9,26% nell'accuratezza del completamento delle attività dopo solo un'epoca di addestramento, dimostrando il potenziale degli approcci multimodali in questo dominio. Gli autori suggeriscono ulteriori esplorazioni sulle strategie di addestramento e allineamento per migliorare l'efficacia degli agenti. L'articolo è classificato sotto Informatica e Intelligenza Artificiale, con cronologia di invio su arXiv.
Fatti principali
- MELLON è un miglioramento multimodale per agenti di navigazione web basati su LLM.
- La ricerca si concentra sul benchmark WebShop, una simulazione di sito web reale.
- Sono proposti tre miglioramenti: MELLON, VQAgent e Multimodal Ranker.
- MELLON ha migliorato l'accuratezza del completamento delle attività del 9,26% dopo un'epoca di addestramento.
- L'articolo è disponibile su arXiv con ID 2608.09121.
- Lo studio esplora l'allineamento di testo e immagini per il ragionamento multimodale.
- Gli autori richiedono strategie di addestramento e allineamento più estese.
- L'articolo è classificato sotto Informatica e Intelligenza Artificiale.
Entità
Istituzioni
- arXiv