LLM-FACETS: Framework Open-Source per il Controllo della Trasparenza dell'IA
LLM-FACETS (LLM FActuality Cross-EvaluaTion System) è un framework open-source progettato per valutare i Large Language Models in termini di fondatezza fattuale, calibrazione epistemica e riproducibilità metodologica. Presenta un'interfaccia accessibile via browser e un'architettura a plugin, rivolgendosi a tre profili di professionisti: esperti tecnici, esperti di dominio e responsabili della conformità. Questi profili corrispondono alle categorie di stakeholder nell'AI Act dell'UE e nel NIST AI Risk Management Framework. Il framework rende espliciti i flussi di dati e include metriche deterministiche come BLEU e ROUGE. Affronta le barriere incontrate dai professionisti non tecnici, come i requisiti di programmazione e le preoccupazioni sulla privacy con piattaforme cloud. Il paper è disponibile su arXiv con ID 2605.31167.
Fatti principali
- LLM-FACETS è un framework open-source per valutare la trasparenza e la responsabilità dei LLM.
- Valuta la fondatezza fattuale, la calibrazione epistemica e la riproducibilità metodologica.
- Il framework ha un'interfaccia accessibile via browser e un'architettura a plugin.
- Si rivolge a tre profili di professionisti: esperti tecnici, esperti di dominio, responsabili della conformità.
- I profili rispecchiano le categorie di stakeholder nell'AI Act dell'UE e nel NIST AI Risk Management Framework.
- I flussi di dati sono resi espliciti nell'architettura.
- Le metriche deterministiche includono BLEU e ROUGE.
- Il paper è su arXiv con ID 2605.31167.
Entità
Istituzioni
- arXiv
- EU AI Act
- NIST AI Risk Management Framework