Collider-Bench: Agenti AI Testati su Riproduzioni di Fisica delle Particelle
Un nuovo benchmark chiamato Collider-Bench è stato sviluppato da ricercatori per valutare la capacità degli agenti basati su modelli linguistici di grandi dimensioni (LLM) di replicare analisi sperimentali del Large Hadron Collider (LHC). Questo benchmark sfida gli agenti a trasformare articoli di analisi pubblicati in pipeline funzionali di simulazione e selezione, utilizzando solo articoli pubblicamente disponibili e software scientifico aperto. L'iniziativa mira ad affrontare le sfide della riproduzione delle analisi LHC, che spesso derivano da approssimazioni nelle toolchain pubbliche e dettagli di implementazione incompleti nella letteratura. Gli agenti devono utilizzare ragionamento fisico, competenze di dominio e tentativi ed errori per colmare queste lacune. Ogni compito implica la previsione del numero di eventi di collisione in regioni di segnale designate. I risultati sono dettagliati in arXiv:2605.13950.
Fatti principali
- Collider-Bench è un benchmark per agenti LLM su compiti di uso di strumenti a lungo termine in fisica delle particelle.
- Richiede la riproduzione di analisi sperimentali LHC da articoli pubblici e software aperto.
- Le toolchain pubbliche approssimano solo il software interno utilizzato dalle collaborazioni sperimentali.
- Gli articoli pubblicati omettono dettagli di implementazione necessari per una ricostruzione fedele.
- Gli agenti devono utilizzare ragionamento fisico, conoscenza del dominio e tentativi ed errori.
- Ogni compito implica trasformare un'analisi pubblicata in una pipeline eseguibile.
- Gli agenti inviano previsioni del numero di eventi di collisione in regioni di segnale specificate.
- Il benchmark è introdotto in arXiv:2605.13950.
Entità
Istituzioni
- Large Hadron Collider
- arXiv