MO-CAPO: Ottimizzazione Multi-Obiettivo dei Prompt per LLM
Un nuovo algoritmo, MO-CAPO, ottimizza congiuntamente le prestazioni e il costo di inferenza dei LLM, affrontando i limiti dei metodi esistenti a obiettivo singolo e basati su NSGA-II. Introduce un obiettivo di costo orientato al deployment e un'allocazione del budget per un'ottimizzazione efficiente, valutata su quattro compiti e tre LLM.
Fatti principali
- MO-CAPO è un algoritmo di ottimizzazione multi-obiettivo dei prompt.
- Ottimizza congiuntamente prestazioni e costo di inferenza.
- Utilizza l'allocazione del budget per un'ottimizzazione efficiente dei costi.
- Propone un obiettivo di costo orientato al deployment che cattura l'intero profilo computazionale.
- Valutato su quattro compiti e tre LLM.
- Confrontato con ottimizzatori basati su NSGA-II e a obiettivo singolo.
- Pubblicato su arXiv con ID 2605.18869.
- Affronta la sensibilità dei LLM alla progettazione dei prompt.
Entità
Istituzioni
- arXiv