Brasileiro Cria Engenharia de Prompt Própria e a Submete a 27 Modelos de IA — Inclusive Contra Si Mesma

Paulo Teixeira, criador da engenharia de prompt NTC, durante o trabalho de medição do benchmark

As sete notações testadas: acerto praticamente igual, custo em tokens até 45% maior

No grupo de instrução mais densa, o NTC é o mais preciso e um dos mais enxutos

Estudo de caso conduzido por Paulo Teixeira avaliou 17.850 respostas de inteligência artificial contra gabarito e publicou o empate técnico da própria notação.

JOAO PESSOA, PB, BRAZIL, July 28, 2026 /EINPresswire.com/ -- Numa madrugada do segundo semestre de 2025, um profissional brasileiro de automação comparava dez versões do mesmo conjunto de instruções para um agente de inteligência artificial. Uma delas era visualmente estranha. O agente encarregado do planejamento avaliou aquela versão e disse que não funcionaria — que seria preciso ensinar ao modelo o significado dos símbolos incomuns antes de usá-los. Nos testes, era justamente a estranha que rendia mais.

Paulo Teixeira decidiu confiar na medição, não no parecer. Dissecou a instrução em fragmentos, comparou parte por parte e ficou com o que sobrevivia ao teste. Ao perguntar ao agente se aquilo era a adaptação de algum método já conhecido, recebeu uma resposta que guardou: "Não, Paulo, o NTC não existe. Foi a partir desses nossos testes exaustivos — você criou isto agora."

O termo não existia mesmo. Batizada de engenharia de prompt NTC, a notação nasceu de uma dor concreta, não de uma ambição de pesquisa. Ele operava agentes de IA em escala industrial com instruções de sistema que passavam de 40 mil tokens — o suficiente para consumir a memória de trabalho do modelo antes que ele começasse a trabalhar. Em uma semana particularmente ruim, a conta de API do Gemini chegou a 10 mil reais. O problema não era o preço por token. Era que a instrução ocupava o espaço onde o raciocínio deveria acontecer.

A tentativa óbvia — comprimir o texto — cobra a economia em qualidade. O caminho escolhido foi outro, e é nele que está a tese: em vez de encurtar, aumentar a clareza. Reorganizar a instrução de modo que a máquina precise de menos palavras para entender a mesma ordem. "Comprimir é diferente de clarear", resume. "Comprimir paga a economia com um pedaço da qualidade. Clarear faz as duas coisas subirem juntas." A redução de tokens deixa de ser o objetivo e passa a ser consequência.

Quase um ano depois, a hipótese virou experimento. Entre 15 e 22 de julho de 2026, Paulo Teixeira submeteu a própria notação a um teste que também mediu as alternativas públicas. Foram 17.850 respostas de inteligência artificial avaliadas uma a uma contra um gabarito calculado por código, somando 34 execuções completas de 525 células cada, com 27 modelos distintos de seis provedores, sete formas de escrever a mesma instrução e dois idiomas. A bateria levou uma semana e custou cerca de 900 dólares em chamadas de API. É, até onde se sabe, o maior estudo aberto de engenharia de prompt já conduzido no Brasil — ressalva do próprio autor, já que não existe registro central que permita cravar o recorde.

O desenho do teste é mais duro do que a média da área. A verificação é determinística: cada resposta foi comparada caractere a caractere com o gabarito, sem juiz humano e sem a prática hoje comum de usar uma IA para avaliar a resposta de outra. Ou o modelo produziu a sequência exata, ou errou. Célula não respondida conta zero. Um dos quebra-cabeças não foi resolvido por ninguém: zero acerto em 1.190 tentativas.

Um terço das tarefas foi construído especificamente contra a memorização. Batizado de VOLTGRID, é um sistema fictício com uma regra deliberadamente omitida, que não existia em lugar nenhum da internet antes da publicação. O modelo recebe a documentação e alguns registros de execução, precisa inferir a regra que não está escrita e simular o resultado. Benchmarks públicos envelhecem porque acabam absorvidos pelos dados de treinamento — um teste que o modelo já viu mede memória, não raciocínio. Um sistema que ninguém pode ter visto contorna o problema por construção.

Cada quebra-cabeça foi entregue em sete embalagens: Markdown, YAML e XML, cada um em inglês e em português, mais o NTC. Os dados numéricos são byte-idênticos nas sete variantes e as instruções, semanticamente equivalentes, de modo que qualquer diferença de acerto viesse da forma, não do conteúdo.

E aqui o estudo faz o que quase nenhum faz: publica o resultado que contraria quem o conduziu. Em acurácia, o NTC ficou em 49,29% e o XML em português em 49,25% — diferença de um acerto em 2.550. Submetida ao teste de McNemar, o valor de p é 1,00. Nenhuma diferença detectável. Contra o Markdown em português, p igual a 0,69. Também nenhuma.

"Estudo bom mostra também onde a própria aposta perde", escreveu Paulo Teixeira no estudo de caso que acompanha o benchmark. O mesmo arquivo, o mesmo teste e o mesmo conjunto de execuções produziram valores de p da ordem de 2×10⁻⁶⁶ para outros efeitos que o trabalho mediu — e é precisamente essa simetria que dá a esses números o direito de serem levados a sério. Não há um método para os achados favoráveis e outro para os desfavoráveis.

O que separa as sete formas de escrever não é acerto: é custo. Medido em tokens por prompt, o XML em português consumiu 686 e o Markdown em inglês, 473 — 45% a mais pelo mesmo resultado. Contar token é operação determinística, sem margem de erro, e a diferença se repete em toda chamada. Apenas duas notações sobreviveram no que o estudo chama de fronteira de eficiência, aquelas que ninguém supera simultaneamente em acerto e em custo: o NTC, com a maior acurácia, e o Markdown em inglês, o mais barato.

Sobre a economia, os números pedem contexto — e o autor faz questão de separá-los. No benchmark, o NTC gastou 507 tokens por prompt contra 473 do formato mais enxuto: 7% a mais, não menos. A razão está no desenho do teste, em que cerca de 85% de cada prompt é dado numérico e apenas 15% é instrução. Como a vantagem da notação está na instrução, e não nos dados, prompts curtos deixam pouco espaço para ela aparecer.

O comportamento muda onde a instrução domina. No VOLTGRID — o grupo com a especificação mais densa, o mais próximo de um prompt de sistema real — o NTC foi ao mesmo tempo o mais preciso, com 46,0%, e o segundo mais enxuto, com 444 tokens, contra 665 do XML em português. Ou seja: mais acerto gastando um terço a menos que a alternativa mais cara, e o único formato na fronteira de eficiência nos dois eixos simultaneamente.

Fora do laboratório, a diferença é maior. Medidos com o contador de tokens da OpenAI em 93 pares reais de produção — a mesma instrução antes e depois de reescrita —, os textos passaram de 418.158 para 182.121 tokens, uma redução de 56,45%, com mediana de 55,72% por par e melhor caso em 73,7%. Um par ficou 3,3% maior, e o dado negativo consta do relatório. Nos prompts de sistema mais inchados, na casa dos 40 mil tokens, o autor relata reduções de 70% a 80% — número que ele apresenta como vivência de produção, não como medição controlada, e que o estudo não tenta transformar em média.

A distinção importa porque define onde a notação faz sentido. "Ela funciona especialmente bem nos prompts de sistema longos, que eram justamente a minha dor", diz Paulo Teixeira. Em arquiteturas onde um agente de IA escreve instruções para outro agente de IA — e o processo se repete milhares de vezes ao dia —, cada token poupado na instrução é multiplicado pela escala da operação.

O benchmark levantou ainda três achados que o autor mediu no mesmo conjunto de dados e que serão detalhados separadamente: um modelo de linha superior que se recusou a responder 43 das 525 células por decisão de um classificador de segurança; um modelo econômico que saltou de 6,5% para 48,2% de acerto apenas com o raciocínio estendido ativado; e diferenças de até 20,6 pontos no mesmo modelo, com o mesmo prompt, apenas trocando o ambiente em que ele roda. Os três apontam para a mesma direção: variáveis que nada têm a ver com a inteligência do modelo mexem no resultado mais do que trocar de modelo.

Paulo Teixeira atribui o método menos a intuição e mais a volume de tentativa. "Nada disso veio de talento ou de sorte", diz. "Veio de repetição: de criar o mesmo projeto centenas de vezes, de gastar dinheiro e token errando, de testar até o que a própria IA dizia que não ia funcionar." Em outro trecho do estudo, formula a mesma ideia de forma mais seca: "A repetição é o que te torna melhor."

Há um histórico atrás disso. Ele acumula mais de 25 anos em automação e SEO, com mais de 25 mil pedidos entregues em mais de 100 países — números que constam do perfil da Ana SEO Agency na plataforma Fiverr, que exibe o selo Vetted Pro e média de 4,9 estrelas em cerca de 7.600 avaliações. Em uso de IA, ele registra trilhões de tokens ao longo da carreira, mais de 30 bilhões processados através do Claude Code em três meses no fim de 2025, e um ritmo atual em torno de 1,5 bilhão de tokens por dia. Convém ler esses números pelo que são: volume de token mede escala de uso, não competência. É essa distinção que justifica um benchmark — o uso intenso gera hipóteses, e só a medição decide quais resistem. Foi o que aconteceu com a hipótese do próprio autor sobre a superioridade da sua notação em acurácia, que o teste pareado não confirmou.

O estudo também declara sua margem de erro, o que é menos comum do que deveria. Com 525 células por execução, o intervalo de confiança de 95% sobre uma pontuação geral é de aproximadamente seis pontos para mais ou para menos — larga o suficiente para embaralhar o topo do próprio ranking que o trabalho publica. Os três primeiros colocados estão estatisticamente empatados. O conjunto separa faixas de capacidade, não vizinhos de pódio.

Todo o material está aberto. Os prompts das seis notações públicas, os rankings e um arquivo com as 17.850 células individuais — cada linha registrando execução, tarefa, formato, idioma, repetição e se houve acerto — estão publicados sob licença que permite uso e adaptação, inclusive comercial, mediante atribuição. Por ser pareado, o arquivo admite os testes estatísticos que exigem comparação sujeito a sujeito, o que significa que qualquer pessoa pode refazer as contas do autor, incluindo com o objetivo de contestá-las. Ficaram de fora os gabaritos, retidos para que o benchmark continue utilizável contra modelos futuros, e a notação do NTC, que é proprietária e aparece no estudo pelos resultados, não pelo conteúdo.

Sobre a engenharia de prompt NTC

A engenharia de prompt NTC é uma notação de instrução criada por Paulo Teixeira em 2025, durante a otimização de prompts de sistema em operação real com agentes de inteligência artificial. Seu princípio é aumentar a clareza da instrução para o modelo; a redução de tokens é consequência, não objetivo. A notação passou por duas validações independentes: um estudo de compreensão em outubro de 2025, com 36 testes em 6 modelos de 3 empresas, e o benchmark concluído em julho de 2026, com 17.850 respostas avaliadas contra gabarito em 27 modelos de 6 provedores — cujos prompts, rankings e resultados célula a célula são públicos. A notação integra o método Prompthen, também criado por Teixeira, que reúne suas práticas de construção e direção de sistemas de agentes de IA. Ele acumula mais de 25 anos em automação, com mais de 25.000 projetos entregues em mais de 100 países, e compartilha sua prática no canal do YouTube "Fica a Dica com Paulo Teixeira". Mais informações estão disponíveis em https://ficaadica.com.br

Paulo Teixeira
SEO Experts
email us here
Visit us on social media:
LinkedIn
Instagram
YouTube

Legal Disclaimer:

EIN Presswire provides this news content "as is" without warranty of any kind. We do not accept any responsibility or liability for the accuracy, content, images, videos, licenses, completeness, legality, or reliability of the information contained in this article. If you have any complaints or copyright issues related to this article, kindly contact the author above.