Sfide ingegneristiche nell'integrazione di modelli linguistici piccoli su dispositivo
Un caso di studio longitudinale esamina gli ostacoli ingegneristici incontrati nell'incorporare modelli linguistici piccoli (SLM) in Palabrita, un gioco Android di indovinare parole. Durante uno sprint di sviluppo di 5 giorni che ha coinvolto 204 commit, l'approccio è evoluto dalla produzione di puzzle completamente strutturati a un framework più pratico che utilizza liste di parole curate, con il LLM che fornisce solo tre brevi indizi e un fallback deterministico. La ricerca evidenzia cinque tipi distinti di fallimenti legati all'integrazione di SLM su dispositivo, in particolare riguardanti il formato di output. I modelli utilizzati sono Gemma 4 E2B (2,6 miliardi di parametri) e Qwen3 0.6B (600 milioni di parametri). Questo articolo è accessibile su arXiv.
Fatti principali
- Lo studio è un caso di studio longitudinale di un professionista.
- Gli SLM sono stati integrati in Palabrita, un gioco Android di indovinare parole.
- Lo sprint di sviluppo è durato 5 giorni con 204 commit.
- L'architettura è passata dalla generazione di puzzle strutturati completi all'uso di liste di parole curate.
- Il LLM ora genera solo tre brevi indizi con un fallback deterministico.
- Sono state identificate cinque categorie di fallimenti specifici dell'integrazione di SLM su dispositivo.
- Modelli utilizzati: Gemma 4 E2B (2,6 miliardi di parametri) e Qwen3 0.6B (600 milioni di parametri).
- L'articolo è pubblicato su arXiv con ID 2604.24636.
Entità
Istituzioni
- arXiv