Homologação ponta a ponta com agentes de IA

Desafio

Homologar uma customização na base do cliente era trabalho manual de ponta a ponta. O desenvolvedor lembrava o que tinha mudado, escrevia um roteiro, procurava dado real que servisse para o teste, executava tela por tela e anotava o resultado. O roteiro saía no vocabulário de quem programou, difícil de seguir para o usuário-chave, e caso de borda ficava de fora quando o prazo apertava.

Solução

Construí uma ferramenta com três comandos que orquestra quatro agentes de IA, cada um com um papel e limites claros.

Contexto. O primeiro agente lê a branch, o diff e as anotações do projeto e devolve as rotinas alteradas, as regras envolvidas, os cenários de teste e os dados de que cada cenário precisa.

Dados reais, sem acesso de escrita. A ferramenta monta scripts de consulta somente leitura, o desenvolvedor roda na base do cliente e devolve o resultado. Nenhum agente grava na base do cliente.

Roteiro. O segundo agente escreve o roteiro de teste para uma pessoa sem conhecimento do projeto conseguir seguir, copiando do código-fonte as mensagens e os rótulos exatos que vão aparecer na tela. O roteiro vira uma página que o desenvolvedor revisa antes de qualquer execução.

Execução. O terceiro agente roda o roteiro no sistema web do ERP por um driver Playwright e registra, em tempo real, o esperado e o obtido de cada caso.

Correção. As falhas vão para o quarto agente, que classifica a causa entre código, roteiro, dado e ambiente. Quando o defeito é do sistema, corrige no ambiente de desenvolvimento e registra a correção para o desenvolvedor enviar. Ele nunca envia nada ao cliente e nunca faz commit.

Entre as etapas há pontos de parada em que uma pessoa aprova o próximo passo.

Resultado

O roteiro deixou de ser anotação do desenvolvedor e passou a ser um documento que o usuário-chave consegue seguir, com resultado registrado caso a caso. A ferramenta nasceu de scripts Playwright que eu escrevia para homologar projetos específicos e virou ferramenta compartilhada da equipe.

O que esse case mostra

IA aplicada ao processo de desenvolvimento, com os limites desenhados antes das capacidades: os agentes leem, propõem e testam; quem aprova e quem envia para o cliente é uma pessoa.