ValueAlpha: Stress-Test dei Giudici LLM per le Motivazioni di Investimento

Un nuovo articolo introduce ValueAlpha, un protocollo di stress-test preregistrato con gate di accordo per valutare le motivazioni di investimento giudicate da LLM prima che i rendimenti siano osservabili. Il protocollo affronta il problema della valutazione pre-realizzazione nelle decisioni di investimento a lungo termine, dove i rendimenti realizzati arrivano troppo tardi e sono troppo rumorosi. ValueAlpha utilizza un gate di accordo per decidere quando le affermazioni giudicate da LLM sono pubblicabili, qualificate o non valide. In un prototipo controllato con 1.000 cicli decisionali onesti e 100 controlli avversari (1.100 traiettorie, 5.500 chiamate al giudice), il gate di accordo aggregato si è attestato a κ̄_w = 0,7168, ma diverse sovra-affermazioni sono state prevenute. I sistemi di rango inferiore sono collassati. L'articolo è disponibile su arXiv.