KoVRE: Nuovo Modello di Recupero di Documenti Visivi Coreani
È stato sviluppato un nuovo modello chiamato KoVRE (Korean Visual Document Retrieval Embedding) per migliorare il recupero di documenti visivi coreani. Questo retriever a vettore singolo supera i limiti degli attuali sistemi VDR, che sono spesso focalizzati sull'inglese e dipendono da backbone di grandi dimensioni o da complessi formati multi-vettore. KoVRE è stato addestrato su un dataset composto da 708.729 coppie query-pagina in coreano e inglese, utilizzando tecniche di hard-negative mining positive-aware. Il processo di addestramento ha comportato valutazioni accurate dei dati di addestramento, delle strategie di hard-negative e della distillazione della conoscenza tramite reranker. Questo modello da 2B parametri supera significativamente il suo backbone di base e supera le prestazioni di un modello da 8B nei compiti di recupero di documenti visivi coreani. La ricerca è disponibile su arXiv con l'identificatore 2608.01389.
Fatti principali
- KoVRE è un retriever a vettore singolo per documenti visivi coreani.
- Addestrato su 708.729 coppie query-pagina in coreano e inglese.
- Utilizza hard-negative mining positive-aware.
- Include analisi controllate sulla composizione dei dati di addestramento, sul trattamento degli hard-negative e sulla distillazione della conoscenza basata su reranker.
- Il modello da 2B supera il modello da 8B sui benchmark coreani.
- Affronta la natura incentrata sull'inglese dei modelli VDR esistenti.
- Evita backbone massicci e rappresentazioni multi-vettore che richiedono molta memoria.
- Disponibile su arXiv con identificatore 2608.01389.
Entità
Istituzioni
- arXiv