ML-Agent: un framework di apprendimento per rinforzo per l'ingegneria ML autonoma basata su LLM

Uno studio recente presenta ML-Agent, un framework progettato per utilizzare l'apprendimento per rinforzo online per addestrare agenti basati su grandi modelli linguistici (LLM) nell'ingegneria del machine learning autonoma. I ricercatori evidenziano le carenze dei metodi basati su prompt esistenti: i modelli più piccoli non sono in grado di apprendere dai percorsi di esecuzione, mentre i modelli proprietari più grandi comportano costi computazionali elevati. Il framework è composto da tre elementi chiave: fine-tuning arricchito da esplorazione per generare azioni varie, apprendimento per rinforzo passo-passo per l'addestramento su singoli passi di azione e un meccanismo per accelerare la raccolta di esperienze. Questa ricerca segna la prima indagine sull'agentic ML basato sull'apprendimento, in cui un agente LLM acquisisce conoscenza attraverso la sperimentazione interattiva con compiti di ML.