Nuova architettura AI combina recupero lessicale e denso per la ricerca di dataset

È stata introdotta una nuova architettura di riferimento per il recupero ibrido agentico nella ricerca di dataset, concepita per affrontare il problema dell'allineamento di query in linguaggio naturale sottospecificate con record di metadati sparsi e diversificati. Questo metodo riformula la ricerca di dataset come una sfida di architettura software, presentando un sistema delimitato e verificabile che unisce la ricerca lessicale BM25 con il recupero basato su embedding densi utilizzando la fusione di rango reciproco (RRF). Un agente di modello linguistico di grandi dimensioni (LLM) orchestra il processo pianificando le query, valutando l'adeguatezza dei risultati e riordinando le opzioni. Per affrontare le discrepanze lessicali tra l'intento dell'utente e i metadati creati dai fornitori, viene incorporata una fase di arricchimento offline dei metadati, in cui un LLM produce pseudo-query per ogni record del dataset, migliorando gli indici di recupero prima dell'esecuzione della query. Vengono esplorati due stili architetturali: un singolo agente ReAct e un'architettura orizzontale multi-agente. Questa ricerca è dettagliata nella preprint arXiv 2604.16394v1, annunciata come una cross submission.