OPTI-Q: Ottimizzatore Ispirato a Database per la Pianificazione di Domande Multi-LLM

Un nuovo framework di ottimizzazione chiamato OPTI-Q è stato sviluppato da ricercatori per la pianificazione di domande multi-LLM, incentrato sull'ottimizzazione basata su vincoli. Questo sistema rappresenta le invocazioni LLM come operatori fisici all'interno di un DAG di esecuzione, con l'obiettivo di trovare piani che migliorino la qualità delle risposte bilanciando costi, latenza ed energia in base a vincoli definiti dall'utente. Per stimare la qualità e le risorse senza eseguire ogni piano candidato, OPTI-Q utilizza PERFDB, un catalogo statistico derivato da benchmark e tracce di esecuzione. Il framework supporta operatori sequenziali che trasmettono risposte intermedie come contesto, insieme a operatori paralleli e di fusione che eseguono modelli simultaneamente e combinano i loro output. Questa iniziativa affronta le complessità dell'implementazione LLM con budget per il question answering in presenza di non determinismo e profili di risorse variabili.