O que é um «arnês» e porque é que importa
Quando contratas uma pessoa muito inteligente, não lhe dás apenas um computador. Dás-lhe um posto, um chefe, algumas regras, um orçamento e alguém que revê o que é importante. Com a inteligência artificial acontece o mesmo.
O arnês é tudo o que rodeia o modelo de IA: que modelo usa cada especialista, como se repartem os pedidos, o que se tenta novamente, o que se decide e quando se para. O modelo põe a inteligência; o arnês põe o critério e a segurança.
A ADRI, a equipa de especialistas da BionicAdri, funciona assim. Aqui explicamos-te como, sem tecnicismos.
Quem trabalha em cada tarefa: o chefe de equipa
Cada especialista da ADRI pede trabalho a um grupo de modelos, a que chamamos «pool», através de um gateway próprio. Pensa no gateway como um chefe de equipa que distribui as tarefas entre os funcionários disponíveis.
Desde 19 de setembro, a ADRI já não escolhe o modelo à mão. É o gateway que o faz, com três regras simples:
- Por prioridade. Chamam-se primeiro os modelos preferidos.
- A igual prioridade, ao menos ocupado. Como numa caixa de supermercado: colocam-te onde há menos fila.
- Salta os cheios ou os que estão em baixo antes de começar a responder, para que ninguém espere por um modelo que não vai responder.
Além disso, a fatura vai apenas para o modelo que respondeu. Se um estava em baixo e foi saltado, não custa nada.
Como modelo principal usamos o Qwen, de código aberto.
Menos níveis, mais clareza
Antes havia três níveis de qualidade: baixo, normal e alto. A 7 de setembro retirámo-los porque, ao medir, dois deles iam para o mesmo modelo: era complexidade sem benefício. Hoje há um grupo por especialista. A voz em direto tem o seu, e aí o que manda é a rapidez de resposta.
O que acontece se um modelo falhar
Os modelos às vezes erram de formas muito concretas: a resposta corta-se a meio da frase, ou o modelo fica a repetir o mesmo em loop.
Nesse caso, a ADRI não desiste nem te entrega meia resposta. Pede o trabalho a outro modelo do grupo, como um chefe que, se um funcionário ficar bloqueado, passa a tarefa a um colega. Há um limite: no máximo dois saltos por pedido, para que um problema não se transforme numa cadeia interminável.
As pequenas decisões: o árbitro
Um sistema com muitos especialistas toma centenas de pequenas decisões: para quem vai este pedido?, que método uso para procurar estes dados? Antes, resolviam-se com regras rígidas de palavras-chave: «se a mensagem contém determinada palavra, vai para determinado sítio». Funcionam até que alguém se expresse de outra maneira.
Para isso, a ADRI tem um decisor, um modelo pequeno (cerca de 9 mil milhões de parâmetros) que não escreve textos. É como um árbitro: só responde a perguntas de sim ou não, ou escolhe entre opções, e diz com que probabilidade o pensa. Substitui as regras de palavras-chave em cerca de 36 decisões do sistema.
Como foi introduzido, passo a passo
- À sombra. O decisor só anota o que teria decidido e se coincide com a regra antiga. Não manda nada.
- Dias de tráfego real. Deixa-se a observar trabalho a sério antes de lhe dar poder.
- Decisão a decisão. Ativa-se uma a uma, não todas de uma vez.
Em segurança, além disso, tem as mãos atadas: só pode endurecer, nunca dar permissão. Em caso de dúvida, o seu veto só pode retirar um «sim», nunca acrescentá-lo.
O que medimos
Sobre um banco de 526 casos reais:
| Decisor | Acerto |
|---|---|
| O anterior | 89 % |
| O atual | 92-93 % |
E fá-lo rapidamente: cerca de 63 milissegundos por decisão, em média. Quando duvida (confiança baixa) pode consultar um modelo maior. Mas também medimos isso: com juízes cegos, no dia 9 de outubro deixámos de escalar o texto, porque o pequeno acertava mais (10 contra 6 nos casos em que diferiam). Por vezes o grande não melhora o pequeno.
Um exemplo real
No dia 9 de outubro alterámos algo no supervisor: já não envia «para programação» o que não sabe onde encaixa. Em 14 dias vimos que 22 de 73 pedidos à programação eram simplesmente «lê este ficheiro». Agora resolve-o quem corresponde, e a programação dedica-se a programar.
Sem limites fixos: um controlo de progresso
No dia 4 de outubro retirámos os limites fixos de trabalho. Antes, uma tarefa era cortada após X chamadas, fizesse sentido ou não. Era como dizer a um funcionário: «às 3 da tarde deixas o que estiveres a fazer».
Agora um controlo de progresso avalia se vale a pena continuar, mudar de abordagem ou parar e entregar o que já foi reunido. Mantém-se um teto de gasto por tarefa no gateway como fusível: se algo se descontrolar, o custo tem um limite.
Como vários modelos revisam o trabalho
Para código, segurança e partes delicadas, a ADRI pode lançar vários modelos de famílias distintas em paralelo, cada um com o seu próprio foco, e juntar o que encontram. É como pedir a opinião a vários revisores independentes que não combinaram nada antes.
Porquê famílias distintas? Porque cada uma erra de forma diferente. O que a uma escapa, a outra vê.
Uma só opinião não basta; a coincidência sim
Numa medição interna sobre 1.112 achados:
- Um alerta isolado de um único modelo acerta em 16-25 % dos casos.
- Quando 3 ou 4 famílias coincidem, acerta em cerca de 90 %.
Por isso, o que vale é a coincidência, não o alerta de um. E o importante é sempre revisto por uma pessoa.
Uma lição de julhoUm benchmark de 11 de julho ensinou-nos algo útil: juntar quatro modelos «eleva o mínimo» (filtra erros) mas não «o máximo» (não os torna mais inteligentes). Serve para errar menos, não para ser um génio.
O que isto significa para a tua empresa
- Menos sustos. Se um modelo falha, outro continua o trabalho.
- Decisões medidas. Cada alteração foi testada antes de ser ativada, com números.
- Segurança desde a conceção. No que é delicado, o sistema só pode fechar portas.
- Controlo do gasto. Um teto por tarefa evita custos inesperados.
- Uma pessoa no final. A IA propõe e filtra; o importante é validado por alguém.
Conclusão
A inteligência de um assistente não está só no modelo. Está na forma como se reparte o trabalho, como se reage às falhas, quem decide as dúvidas e quem revê. É essa a parte que construímos na BionicAdri.
Se queres ver a ADRI a trabalhar com os dados da tua empresa, pede uma demo ou escreve-nos para [email protected].
- Agentes de IA
- Gateway de modelos
- Decisor
- Revisão multimodelo
Se quiser ver como funcionam por dentro os modelos que vigiam cada passo, leia modelos de decisão espelho: como a ADRI decide, vigia e se corrige.