Affidabilità dei LLM come esperti sostituti nei sondaggi sulla sicurezza: nuovo studio arXiv
Un nuovo framework pubblicato su arXiv (identificatore 2608.16893) valuta i modelli linguistici di grandi dimensioni (LLM) come esperti alternativi nei sondaggi di ricerca sulla sicurezza. Affronta la difficoltà di coinvolgere specialisti di dominio nei Security Operations Centres (SOC), che spesso devono gestire carichi di lavoro elevati e problemi di riservatezza. Questa ricerca suggerisce di utilizzare gli LLM per creare risposte sintetiche e valuta la loro affidabilità rispetto a quelle fornite dai professionisti SOC. Lo studio analizza sia le risposte degli LLM basate su persona sia quelle aggregate, concentrandosi sulla loro coerenza e allineamento con il contributo umano. I risultati indicano che, sebbene gli LLM producano risposte stabili, queste differiscono da quelle degli esperti umani, sollevando preoccupazioni sulla loro credibilità. Questo framework cerca di definire quando le informazioni generate dagli LLM possono essere considerate affidabili, influenzando la ricerca nelle scienze sociali con un coinvolgimento limitato di esperti.
Fatti principali
- Articolo pubblicato su arXiv con identificatore 2608.16893.
- Il tipo di annuncio è contrassegnato come 'cross'.
- Si concentra sull'uso degli LLM come esperti sostituti nei sondaggi sulla sicurezza.
- Evidenzia la difficoltà di reclutare esperti nei Security Operations Centres (SOC).
- Propone un framework per valutare gli LLM come sostituti o supplementi ai rispondenti esperti dei sondaggi.
- Confronta risposte generate da LLM basate su persona e aggregate attraverso più modelli e impostazioni di prompt.
- Misura stabilità, accordo tra modelli e allineamento con le risposte umane.
- Riscontra che gli LLM producono risposte internamente coerenti ma divergono sistematicamente dalle risposte degli esperti.
Entità
—