CausaLab: Piattaforma Interattiva per la Scoperta Causale per Scienziati dell'IA

CausaLab è stato sviluppato da ricercatori come piattaforma scalabile per valutare la scoperta causale interattiva tramite agenti LLM. Questo metodo di valutazione si differenzia dai precedenti esaminando sia l'uso delle evidenze causali nella risoluzione dei problemi sia la validità dell'ipotesi riguardante il meccanismo causale. In ogni scenario, un agente opera all'interno di un laboratorio sintetico, dove analizza dati di misurazione precedenti, manipola un cristallo e prevede la frequenza di risonanza di un cristallo reattore separato influenzato dallo stesso meccanismo. Il processo generatore di dati sottostante deriva da un modello causale strutturale (SCM) selezionato casualmente, costringendo gli agenti a ricostruire sia il grafo causale che le equazioni strutturali anziché fare affidamento su conoscenze esistenti. CausaLab presenta un linguaggio specializzato che traccia l'ipotesi SCM in evoluzione dell'agente, consentendo l'analisi e il confronto delle traiettorie rispetto alla verità di base. I risultati sperimentali rivelano un divario di prestazioni costante tra gli attuali agenti LLM e i risultati ottimali, sottolineando le difficoltà nel ragionamento causale.