Apprendimento per Rinforzo Inverso con Dimostratori Subottimali

I ricercatori propongono un quadro basato su insiemi di ricompense ammissibili per l'apprendimento per rinforzo inverso (IRL) quando le dimostrazioni provengono da più dimostratori imperfetti con diversi livelli di subottimalità. Invece di assumere un singolo dimostratore ottimale, il metodo codifica la subottimalità dichiarata di ciascun dimostratore come un vincolo lineare e interseca gli insiemi ammissibili tra i dimostratori. L'analisi teorica mostra che l'insieme ammissibile congiunto si restringe monotonicamente con l'aggiunta di dati, e vengono fornite le condizioni per cui un nuovo dimostratore lo restringe strettamente. Sono stabilite due garanzie di recupero per l'insieme di ricompense ottimali reali: una dipende dalla prossimità all'occupazione ottimale, l'altra richiede una copertura sufficiente senza un dimostratore quasi ottimale. Vengono introdotte strategie pratiche per gestire livelli di subottimalità sconosciuti.