Am povestit deja ce sunt hamurile ADRI și ce rol joacă decidentul. Aici coborâm un nivel: cum lucrează acel decident «în oglindă» alături de agent, cum frânează un instrument înainte de a fi executat, când corectează agentul și în ce cazuri face pasul singur. Și cum îl măsurăm înainte de a-i da putere.
Ce este un model de decizie oglindă
Un agent ADRI ia zeci de mici decizii în fiecare sarcină. Această pagină se citește cu HTML-ul ei sau e nevoie să deschizi un browser? Acest dat este de la compania pe care o căutăm sau de la alta? Înainte, aceste întrebări se rezolvau cu reguli de cuvinte-cheie scrise în cod.
Modelul oglindă este un model mic și rapid care nu scrie text. Primește două lucruri: starea (ceea ce agentul are în față) și o întrebare tipată. Răspunde cu o opțiune închisă și o probabilitate. Există trei tipuri de întrebare: da sau nu, alegerea unei opțiuni dintr-o listă și acordarea unui punctaj. Dacă există mai multe întrebări despre aceeași stare, toate merg într-un singur apel.
Chestia cu «tipată» contează. Răspunsul nu este un paragraf: este html_basta sau necesita_js, cu un 0,93 alături. Codul o validează împotriva opțiunilor permise; dacă ajunge altceva, se elimină.
Trei reguli care nu se negociază
- Faptele sunt decise de cod. Dacă un instrument a fost apelat, dacă a returnat eroare, dacă un fișier există sau ce permisiuni are utilizatorul: asta nu se întreabă niciun model. Modelul judecă doar semnificația.
- În securitate, poate doar să întărească. Poate coborî un nivel, adăuga un veto sau cere confirmare. Nu poate acorda niciodată o permisiune. Unele, cum ar fi profunzimea unui audit de securitate, nu pot comanda niciodată.
- Nimic nu comandă fără măsurare. Totul intră mai întâi în umbră.
Cum funcționează umbra
În modul umbră, modelul oglindă răspunde la aceeași întrebare la care răspunde deja regula codului, dar în plan secundar. Agentul nu îl așteaptă: latența adăugată utilizatorului este zero. Dacă există un blocaj, acel eșantion este eliminat în loc să frâneze sarcina.
Fiecare decizie este înregistrată: ce a decis regula, ce a decis modelul, cu ce probabilitate și cât a întârziat. Datele personale sunt eliminate înainte de a ieși. Ieșirea agentului este identică cu umbra pornită sau oprită.
Astfel acumulăm mii de cazuri reale, iar dezacordul dintre regulă și model este exact ceea ce trebuie studiat.
Cum se trece de la umbră la control
Mergem decizie cu decizie:
- Umbră cu trafic real timp de zile.
- Eșantion: toate dezacordurile și o parte din acorduri.
- Judecători: două modele mari din familii diferite etichetează fiecare caz pe cont propriu. Contează doar ceea ce ambele etichetează la fel.
- Comparație: acuratețea regulii față de acuratețea oglinzii când este sigură.
- Control într-o singură direcție, dacă oglinda câștigă clar.
Când are controlul, oglinda decide doar dacă probabilitatea sa ajunge la 0,85. Sub acest prag, sau dacă întârzie prea mult, eșuează ori se termină cota sa, decide regula obișnuită. Fiecare control se oprește separat din configurare, fără a atinge codul.
Un exemplu cu numere. În auditul SEO automat, oglinda decide în ce limbă este textul principal al fiecărei pagini. Pe 70 de pagini evaluate pe 11 octombrie, regula avea dreptate în 36 % din cazuri, iar oglinda în 100 %. Din acea zi, la acea întrebare oglinda are controlul.
Monitorizarea instrumentelor înainte de a le executa
Aici este o bună parte din economie: multe instrumente sunt costisitoare în timp sau bani, iar folosirea lor sau nu era o regulă fixă.
- Să deschidem un browser sau este suficient HTML-ul? Într-o serie reală din 10 octombrie, codul cerea browser pentru 52 de pagini; oglinda a spus în 48 că HTML-ul este suficient, și s-au economisit 42 de browsere. În acea zi, așteptarea mediană pentru a obține un browser era de 142 de secunde.
- Ce surse să deschidă? Când investighează o companie, oglinda clasifică fiecare link (site oficial, director, altceva) înainte de a-l deschide. Măsurat pe 3 octombrie cu trafic real, când este sigură, are o acuratețe de 97 % față de 56 % a regulii.
- Este nevoie de o altă căutare? Înainte de a lansa o interogare suplimentară, oglinda verifică dacă informația este deja în ce s-a strâns.
- A fost o eroare de format? Când un instrument eșuează, sistemul decide dacă eroarea a fost de format pentru a învăța să nu o repete. Acea lecție se împărtășește între sarcini, așa că un „da” fals ar contamina-o. Aici oglinda are un veto: poate elimina un „da” din regulă dacă este sigură că este „nu”, dar nu poate adăuga niciodată unul.
Corectarea agentului când greșește
Oglinda verifică și ceea ce produce agentul. Aici mergem cu mai multă atenție: a corecta greșit este mai rău decât a nu corecta.
- Date de la altă companie. Când investighezi o entitate, o informație extrasă dintr-o pagină (un CIF, un șablon, un telefon) poate aparține altei companii care apare în același text. Oglinda decide dacă informația aparține entității căutate și o elimină pe cea care nu aparține. După refacerea întrebării și a stării, între 10 și 11 octombrie a trecut de la 64 % la 91 % acuratețe, fără erori cu încredere ridicată în eșantionul de test.
- Afirmații fără susținere. La ieșirea tuturor agenților, un judecător verifică dacă răspunsul spune că a trimis, a publicat sau a verificat ceva ce traseul instrumentelor nu susține. Astăzi este în umbră: înregistrează, nu atinge răspunsul.
- Progresul sarcinii. În loc de limite fixe de apeluri, un control decide dacă agentul trebuie să continue, să schimbe abordarea sau să se oprească și să predea. Când va comanda, va adăuga doar un avertisment; nu va întrerupe niciodată sarcina. Rămâne în umbră: în primele măsurători a dat false „schimbă abordarea” cu încredere mare.
Să facă pasul el însuși
Scopul este ca modelul mic să facă pași compleți în locul celui mare, doar acolo unde datele o justifică.
În auditul SEO deja face asta: un singur apel pe pagină răspunde la patru întrebări (tip de pagină, dacă este o eroare deghizată, limbă și imagine decorativă). Pe un al doilea site, un magazin online care nu a fost folosit pentru a scrie întrebările, a nimerit 99 % la tipul de pagină față de 84 % al regulii.
În browser, încă nu conduce. Avem deja întrebarea pregătită: ce operație urmează (a apăsa, a scrie, a derula, a termina...) și pe ce element. În primele măsurători era prea în dezacord cu agentul, așa că vom începe cu pașii triviali.
Uneori măsurarea spune nu. În planificator am măsurat 30 de zile de sarcini: timpul era modelul mare care raționa, nu pași mecanici. Nu era nimic de scos și nu s-a construit.
Cât se economisește
- Timp de la un capăt la altul. Pe 5 și 6 octombrie am repetat 11 sarcini reale de trei ori, cu comenzile pornite și oprite. Cu comenzi au durat 863 de secunde în total; fără ele, 1.124 (cu 23 % mai puțin). Calitatea, judecată în orb, a ieșit la fel. În sarcini foarte simple, comenzile au adăugat între 2 și 13 secunde.
- O rundă de cercetare. Cu aceeași sarcină, pe 10 octombrie a trecut de la 17 minute la 5 minute și 46 de secunde, iar apelurile către modelul principal de la 71 la 36. Atenție: această îmbunătățire însumează comenzile și alte remedieri din aceeași zi, precum mai multe browsere în paralel.
- Costul oglinzii în sine. Între 29 septembrie și 1 octombrie, 3.618 decizii au costat 0,043 dolari în total. Pe server, fiecare decizie durează în medie aproximativ 63 de milisecunde; trecând prin gateway-ul nostru, între 0,3 și 0,9 secunde.
Limite și stare actuală
- Modelul mic greșește și el. Diferența este că greșeala lui rămâne înregistrată și măsurată și că sub prag decide regula.
- Când greșește cu încredere, de obicei îi lipsește informația. Dacă judecătorii au dreptate cu același text, iar oglinda nu, atunci starea pe care i-o dăm este defectă; dacă oglinda ezită, de obicei întrebarea este defectă.
- Majoritatea rămâne în umbră. Între 8 și 11 octombrie am înregistrat 74 de puncte de decizie. Pe serverul nostru central comandă 16. Într-o instalare nouă, oglinda vine oprită și se aprinde când se decide.
- Nu înlocuiește revizuirea. Lucrurile importante sunt în continuare validate de o persoană.
Cum protejăm datele pe parcurs este descris în securitate și conformitate. Pentru a vedea specialiștii la lucru, vezi ce face ADRI sau încearcă în chatul cu ADRI.
- Agenți IA
- Decizii tipizate
- Modul umbră
- ADRI