Che cos'è un «harness» e perché è importante
Quando assumi una persona molto intelligente, non le dai solo un computer. Le dai un ruolo, un capo, delle regole, un budget e qualcuno che controlla le cose importanti. Con l'intelligenza artificiale succede lo stesso.
L'harness è tutto ciò che circonda il modello di IA: quale modello usa ogni specialista, come si distribuiscono le richieste, cosa si ritenta, cosa si decide e quando ci si ferma. Il modello mette l'intelligenza; l'harness mette il criterio e la sicurezza.
ADRI, il team di specialisti di BionicAdri, funziona così. Qui ti spieghiamo come, senza tecnicismi.
Chi lavora in ogni compito: il capo squadra
Ogni specialista di ADRI chiede lavoro a un gruppo di modelli, che chiamiamo «pool», attraverso un gateway proprietario. Pensa al gateway come a un capo squadra che distribuisce i compiti tra i dipendenti disponibili.
Dal 19 settembre, ADRI non sceglie più il modello manualmente. Lo fa il gateway, con tre regole semplici:
- Per priorità. Si chiamano prima i modelli preferiti.
- A parità di priorità, al meno occupato. Come alla cassa di un supermercato: ti mettono dove c'è meno fila.
- Salta i saturi o gli inattivi prima di iniziare a rispondere, così nessuno aspetta un modello che non risponderà.
Inoltre, la fattura va solo al modello che ha risposto. Se uno era inattivo ed è stato saltato, non costa nulla.
Come modello principale usiamo Qwen, open source.
Meno livelli, più chiarezza
Prima c'erano tre livelli di qualità: basso, normale e alto. Il 7 settembre li abbiamo rimossi perché, misurando, due di essi andavano allo stesso modello: era complessità senza beneficio. Oggi c'è un gruppo per specialista. La voce in diretta ha il suo, e lì ciò che conta è la rapidità di risposta.
Cosa succede se un modello fallisce
I modelli a volte sbagliano in modi molto concreti: la risposta si interrompe a metà frase, oppure il modello continua a ripetere la stessa cosa in loop.
In quel caso, ADRI non si arrende né ti consegna mezza risposta. Chiede il lavoro a un altro modello del gruppo, come un capo che, se un dipendente si blocca, passa il compito a un collega. C'è un limite: al massimo due salti per richiesta, perché un problema non diventi una catena interminabile.
Le piccole decisioni: l'arbitro
Un sistema con molti specialisti prende centinaia di piccole decisioni: a chi va questa richiesta? Quale metodo uso per cercare questi dati? Prima si risolvevano con regole rigide di parole chiave: «se il messaggio contiene una certa parola, va in un certo posto». Funzionano finché qualcuno si esprime in modo diverso.
Per questo ADRI ha un decisore, un modello piccolo (circa 9 miliardi di parametri) che non scrive testi. È come un arbitro: risponde solo a domande sì o no, oppure sceglie tra opzioni, e dice con quale probabilità lo pensa. Sostituisce le regole basate su parole chiave in circa 36 decisioni del sistema.
Come è stato introdotto, passo dopo passo
- In ombra. Il decisore annota solo cosa avrebbe deciso e se coincide con la vecchia regola. Non invia nulla.
- Giorni di traffico reale. Lo si lascia osservare il lavoro reale prima di dargli potere.
- Decisione dopo decisione. Si attivano una alla volta, non tutte insieme.
In materia di sicurezza, inoltre, ha le mani legate: può solo inasprire, mai concedere un permesso. Se ha dubbi, il suo veto può solo togliere un «sì», mai aggiungerlo.
Cosa misuriamo
Su un insieme di 526 casi reali:
| Decisore | Accuratezza |
|---|---|
| Il precedente | 89 % |
| L'attuale | 92-93 % |
E lo fa velocemente: circa 63 millisecondi per decisione, in media. Quando dubita (bassa confidenza) può consultare un modello più grande. Ma anche questo lo abbiamo misurato: con giudici ciechi, il 9 ottobre abbiamo smesso di scalare il testo, perché il piccolo azzeccava di più (10 contro 6 nei casi in cui differivano). A volte il grande non migliora il piccolo.
Un esempio reale
Il 9 ottobre abbiamo cambiato qualcosa nel supervisore: non manda più «a programmazione» ciò che non sa dove collocare. In 14 giorni abbiamo visto che 22 dei 73 incarichi a programmazione erano semplicemente «leggi questo file». Ora lo risolve chi di competenza, e programmazione si dedica a programmare.
Senza limiti fissi: un controllo di avanzamento
Il 4 ottobre abbiamo rimosso i limiti fissi di lavoro. Prima, un'attività veniva interrotta dopo X chiamate, avesse senso o no. Era come dire a un dipendente: «alle 3 del pomeriggio lasci quello che stai facendo».
Ora un controllo di avanzamento valuta se vale la pena continuare, cambiare approccio o fermarsi e consegnare quanto raccolto. Si mantiene un tetto di spesa per attività nel gateway come fusibile: se qualcosa sfuggisse di mano, il costo ha un limite.
Come diversi modelli revisionano il lavoro
Per codice, sicurezza e parti delicate, ADRI può lanciare vari modelli di famiglie diverse in parallelo, ognuno con il proprio focus, e unire ciò che trovano. È come chiedere l'opinione a diversi revisori indipendenti che non si sono messi d'accordo prima.
Perché famiglie diverse? Perché ognuna sbaglia in modo diverso. Ciò che sfugge a una, un'altra lo vede.
Una sola opinione non basta; la coincidenza sì
In una misurazione interna su 1.112 riscontri:
- Un avviso isolato di un solo modello azzecca in un 16-25 % dei casi.
- Quando 3 o 4 famiglie coincidono, azzecca intorno al 90 %.
Per questo ciò che conta è la coincidenza, non l'avviso di uno. E ciò che è importante lo revisiona sempre una persona.
Una lezione di luglioUn benchmark dell'11 luglio ci ha insegnato qualcosa di utile: unire quattro modelli «alza il pavimento» (filtra gli errori) ma non «il soffitto» (non li rende più intelligenti). Serve a sbagliare meno, non a essere un genio.
Cosa significa questo per la tua azienda
- Meno spaventi. Se un modello fallisce, un altro continua il lavoro.
- Decisioni misurate. Ogni cambiamento è stato testato prima di essere attivato, con numeri.
- Sicurezza fin dalla progettazione. Nelle cose delicate, il sistema può solo chiudere porte.
- Controllo della spesa. Un tetto per attività evita costi inaspettati.
- Una persona alla fine. L'IA propone e filtra; ciò che è importante lo convalida qualcuno.
Conclusione
L'intelligenza di un assistente non è solo nel modello. È in come si distribuisce il lavoro, come si reagisce agli errori, chi decide i dubbi e chi revisiona. Questa è la parte che costruiamo in BionicAdri.
Se vuoi vedere ADRI al lavoro con i dati della tua azienda, richiedi una demo o scrivici a [email protected].
- Agenti IA
- Gateway dei modelli
- Decisore
- Revisione multimodello
Se vuoi vedere come funzionano dall'interno i modelli che sorvegliano ogni passaggio, leggi modelli di decisione specchio: come ADRI decide, vigila e si corregge.