Ricerca propone un quadro per ottimizzare l'allocazione di sondaggi umani-LLM
Un nuovo articolo di ricerca introduce un quadro per allocare ottimamente i rispondenti umani in sondaggi potenziati da Large Language Model. Lo studio affronta la sfida dell'imprevedibile accuratezza degli LLM attraverso diverse domande del sondaggio. I ricercatori hanno sviluppato un metodo che combina tre componenti: caratterizzare la difficoltà di rettifica specifica per domanda, derivare una regola di allocazione ottimale in forma chiusa e proporre un approccio di meta-apprendimento per nuovi sondaggi. Il quadro indirizza più etichette umane verso compiti dove gli LLM sono meno affidabili, massimizzando l'efficienza entro budget fissi. Questo approccio si estende a problemi generali di M-stima, inclusa la stima dei coefficienti di regressione. L'articolo è stato pubblicato su arXiv con identificatore 2604.17267v1.
Fatti principali
- I Large Language Model possono generare risposte sintetiche ai sondaggi a basso costo
- L'accuratezza degli LLM varia in modo imprevedibile attraverso diverse domande del sondaggio
- I ricercatori studiano l'allocazione di budget fissi di rispondenti umani attraverso compiti di stima
- Il quadro caratterizza la difficoltà di rettifica specifica per domanda
- La regola di allocazione ottimale indirizza più etichette umane verso compiti dove l'LLM è meno affidabile
- L'approccio di meta-apprendimento predice la difficoltà di rettifica per nuovi compiti senza dati pilota
- Il quadro si estende a problemi generali di M-stima
- Articolo pubblicato su arXiv con identificatore 2604.17267v1
Entità
Istituzioni
- arXiv