Benchmarking dell'RL Guidato da Esperti Rivela Tre Modalità di Fallimento

Uno studio recente standardizza la valutazione delle tecniche di reinforcement learning guidato da esperti al momento della query, utilizzando un framework SAC comune insieme a ottimizzazione degli iperparametri (HPO) e protocolli di valutazione unificati. Questa ricerca impiega 100/50 semi per ogni combinazione ambiente-metodo e conduce una sweep di degradazione che affronta il sotto-addestramento dell'esperto, il bias di azione e il rumore di osservazione. I risultati rivelano tre modalità di fallimento trascurate nelle valutazioni individuali degli articoli: un punto cieco del critico con argmax-plus-bootstrap che causa prestazioni peggiori di IBRL rispetto a SAC senza esperto quando gli esperti sono vicini al tetto del no-expert-RL; saturazione residua con esperti subottimali; e avvelenamento del buffer di warm-start che mina i metodi di handoff in fase di addestramento in scenari di implementazione reali. L'articolo completo è disponibile su arXiv.