Il vero ostacolo: non è il modello
La maggior parte delle aziende non dovrebbe sviluppare autonomamente modelli di IA all’avanguardia, ma dovrebbe personalizzare il modo in cui tali modelli operano nei propri ambienti specifici. La differenza è fondamentale, eppure spesso viene trascurata.
Il successo di un agente IA dipende tanto dalla sua “impalcatura” — il sistema di coordinamento che circonda il modello — quanto dal modello stesso. Questa impalcatura comprende i prompt di sistema, gli strumenti disponibili, la gestione della memoria, le regole di verifica, le politiche di esecuzione e la logica di recupero dagli errori. Un’“impalcatura” difettosa può compromettere anche un modello potente.
Il problema? I team continuano a mettere a punto queste “impalcature” manualmente, affidandosi al metodo per tentativi ed errori e all’intuizione umana piuttosto che a un feedback basato sui dati. Poiché emergono costantemente nuovi modelli, questo approccio diventa sempre più insostenibile.
Il vero problema della messa a punto manuale
Si potrebbe supporre che l’ostacolo sia rappresentato dal fatto che gli esseri umani siano lenti o incompetenti in questo compito. Ma non è così. Come sottolinea Hangfan Zhang, ricercatore capo del progetto Self-Harness: gli ingegneri esperti con una profonda conoscenza del settore spesso superano i modelli di linguaggio di grandi dimensioni (LLM) nel proporre miglioramenti.
Come spiegato qui, il vero ostacolo è di natura strutturale: la progettazione manuale dell’impalcatura manca di un ciclo di feedback sistematico. Gli ingegneri apportano modifiche basandosi sull’intuizione, su una manciata di errori osservati o su un debug ad hoc, non su prove concrete. Questo funzionava quando i modelli cambiavano lentamente, ma nell’odierno ciclo di rilascio rapido, la messa a punto manuale dell’impalcatura di ciascun modello sta diventando proibitiva in termini di costi.
Le soluzioni esterne — che utilizzano modelli più potenti per correggere le impalcature di quelli più deboli — creano nuovi problemi: costi, indisponibilità per i modelli all’avanguardia e un disallineamento fondamentale rispetto alle effettive modalità di errore del modello di destinazione.
Self-Harness: insegnare agli agenti a correggersi da soli
Il framework Self-Harness elimina questo ostacolo consentendo agli agenti di migliorare autonomamente le proprie regole operative. Funziona attraverso un elegante ciclo in tre fasi:
Fase 1: individuazione dei punti deboli
L’agente esegue una serie di attività e analizza sistematicamente i fallimenti. Anziché trattare i fallimenti come bug casuali, li classifica e identifica modelli ricorrenti, rivelando le difficoltà specifiche del modello.
Fase 2: Proposte mirate
Un componente “generatore di proposte” crea modifiche minime e specifiche all’impalcatura, legate a ciascun modello di errore rilevato. Questo è fondamentale: le modifiche sono chirurgiche, non generiche. Anziché sovraccaricare il prompt con istruzioni vaghe, il sistema identifica meccanismi precisi che affrontano le cause alla radice.
Fase 3: Convalida sicura
Le nuove modifiche all’impalcatura vengono testate sia rispetto alle attività originarie che hanno dato esito negativo, sia rispetto a casi di test tenuti da parte. Una modifica viene accettata solo se migliora il problema specifico senza causare regressioni altrove. Quando più miglioramenti superano la convalida, vengono integrati nella successiva iterazione dell’harness.
Come funziona nella pratica
Immaginate un agente di automazione interno che legga la documentazione della vostra azienda, scriva patch di codice e apra pull request. Un giorno, lo stile della documentazione cambia. Improvvisamente, l’agente smette di funzionare correttamente: estrae il contesto sbagliato e scrive patch errate.
Un ingegnere umano potrebbe perdere ore a correggere il bug. Self-Harness accelera il processo:
- Le tracce di errore rivelano esattamente dove l’agente fraintende il nuovo formato della documentazione
- Il richiedente genera correzioni mirate relative al modo in cui l’agente estrae e utilizza la documentazione
- Il validatore conferma che la correzione funzioni nei casi di errore senza compromettere le funzionalità esistenti
Il risultato è un agente potenziato, pronto a gestire la modifica della documentazione in modo automatico.
I numeri parlano da soli
I ricercatori hanno testato Self-Harness su Terminal-Bench-2.0, un benchmark impegnativo per gli agenti che utilizzano strumenti. Hanno iniziato con impalcature minime e li hanno lasciati evolvere mantenendo costante tutto il resto (il modello, gli strumenti, l’ambiente, i valutatori).
I risultati sono stati sorprendenti: i miglioramenti delle prestazioni variavano dal 33% al 60% tra i diversi modelli.
Ancora più importante, non si trattava di miglioramenti generici, ma di correzioni specifiche per ciascun modello:
- MiniMax M2.5 rimaneva bloccato in un’esplorazione infinita delle configurazioni, andando in timeout senza risultati. Il sistema ha aggiunto un “interruttore di loop” che costringe l’agente a resettarsi dopo 50 chiamate agli strumenti e crea in anticipo gli artefatti necessari. Problema risolto.
- Qwen-3.5 aveva l’abitudine di incorrere in errori nei file e di riprovare ciecamente lo stesso comando ripetutamente, finendo per cancellare file essenziali. L’impalcatura autonoma ha imposto una rigida disciplina di riprova dei comandi (non sono consentiti duplicati esatti) e il recupero automatico degli artefatti. Crisi scongiurata.
- GLM-5 faticava a preservare le modifiche all’ambiente e sprecava tempo in download massicci anche quando i controlli di validità fallivano. La sua impalcatura autogenerata ha aggiunto regole per rendere persistenti le variabili d’ambiente, limitare l’elaborazione esterna e riparare i controlli falliti prima di concludere. Efficienza sbloccata.
Ogni correzione è su misura per le patologie specifiche di quel modello — non si tratta di una patch “universale”.
Il costo reale: non solo calcolo, ma rigore
Prima di affrettarvi a implementare Self-Harness ovunque, comprendetene i compromessi:
Sovraccarico computazionale: il miglioramento automatizzato richiede la generazione continua di proposte, test paralleli e test di regressione. Ciò comporta un maggior numero di chiamate API, una maggiore latenza durante l’ottimizzazione e un’infrastruttura per l’esecuzione delle valutazioni. Si scambia il carico di ingegneria umana con cicli macchina.
Requisiti di valutazione rigorosi: Self-Harness funziona solo se è possibile misurare il successo in modo oggettivo e deterministico. Gli esperimenti di Terminal-Bench-2.0 si sono basati su validatori rigorosi e verificabili. Senza una «ground truth» rigorosa, il sistema rischia di promuovere aggiornamenti errati. Come osserva Zhang: «Il sistema di valutazione è ciò che ci permette di sostituire l’intuizione umana con prove empiriche». Non è facoltativo.
Ambito di implementazione limitato: Self-Harness dà il meglio di sé laddove i fallimenti sono misurabili e il metodo per tentativi ed errori è sicuro: attività di codifica, automazione dei flussi di lavoro interni e pipeline DevOps. Questi sono i contesti ideali.
Dovrebbe essere evitato del tutto in ambiti in cui la valutazione è soggettiva, ritardata, non deterministica o in cui un errore comporta costi elevati: processi decisionali in ambito medico, infrastrutture critiche per la sicurezza e giudizi legali. I rischi superano i benefici.
Il futuro dell’ingegneria: da “ottimizzatore di prompt” ad “architetto del feedback”
Questo cambiamento non renderà obsoleti gli ingegneri, ma ne farà evolvere il ruolo.
Gli ingegneri di oggi dedicano tempo a modificare manualmente i prompt e a risolvere i malfunzionamenti dei singoli strumenti. Gli ingegneri di domani progetteranno i sistemi di feedback che rendono possibile il miglioramento degli agenti. La professione sta salendo di livello nel processo di astrazione.
Zhang prevede: «Il ruolo degli ingegneri aziendali passerà dalla modifica manuale dei singoli prompt alla progettazione dei sistemi di feedback che rendono possibile il miglioramento degli agenti». Gli ingegneri diventeranno meno “ottimizzatori di prompt” e più “architetti del feedback”.
Man mano che i modelli diventeranno più capaci, assorbiranno compiti che attualmente richiedono una messa a punto manuale. Ma il controllo non scomparirà: si espanderà verso l’esterno per collegare i modelli a sistemi e dati esterni più ricchi. Finché quel confine non si sposterà oltre ciò che gli esseri umani sono in grado di valutare, il giudizio umano rimarrà essenziale.
Il futuro dell’intelligenza artificiale non risiede in agenti completamente autonomi. Consiste invece nella divisione del lavoro tra esseri umani e macchine in base ai rispettivi punti di forza: le macchine si occupano dell’ottimizzazione continua entro parametri definiti, mentre gli esseri umani definiscono i parametri e i criteri di valutazione più rilevanti.
