agent-fleet 1.6.0: hook fires on fan-out words and on "pesquisa" from many sources

bench/plugins/agent-fleet/results/2026-10-26-pesquisa-trigger/CLAIMS.md

@@ -0,0 +1,43 @@
+# Batch 2026-10-26-pesquisa-trigger — claims
+
+**Trigger measurements, not run records.** What fires agent-fleet on Portuguese
+"pesquisa" prompts and on fan-out words, in Claude Code and in the agents that
+run its hooks.
+
+## Description
+
+skill-creator's `run_eval` on the 20 Portuguese prompts of `logs/dev.json` (the
+first 20), 3 runs each, `claude -p` on claude-opus-5-5, with the installed
+plugin disabled in the scratch folder so only the description under test was
+offered: 3 of 30 should-trigger runs invoked the skill (no prompt reached the
+0.5 threshold), 0 of 30 near-miss runs did (`logs/description-eval.json`). Same
+picture as the English eval of 2026-08-06 (2 of 30). The description is left
+as is; the hook carries the trigger.
+
+## Hook
+
+`check_hook.py` pipes each prompt into `hooks/inject.sh` and counts the
+agent-fleet header in its output.
+
+| Set | Written | New hook | Hook on main before |
+|---|---|---|---|
+| `logs/dev.json` (28) | by the author, before the rule | 14/15 fired, 0/13 near-misses | 2/15, 0/13 |
+| `logs/blind-1.json` (24) | by a Haiku subagent that never saw the rule; its misses shaped the rule | 12/12, 0/12 | 1/12, 0/12 |
+| `logs/blind-2.json` (30) | by a Haiku subagent after the rule was fixed, told to avoid its phrases | 12/15, 0/15 | 0/15, 0/15 |
+| `logs/aug-2026-08-06.json` (20) | the 2026-08-06 English eval's queries | 4/10, 0/10 | 1/10, 0/10 |
+
+`logs/blind-2.json` is the honest score. Two of its three misses never say
+"pesquisa" ("compara as release notes…", "tem alguma notícia recente…"); the
+third ("pesquisa de jurisprudência… pelo menos 5 acórdãos") has no source word
+the rule knows. A one-sided rule ("pesquisa" alone) fired on 9 of 13 dev
+near-misses: code search, a survey form, a search box, Gmail, ripgrep, a
+Postgres index, a typo fix, a pasted article, a TCC section.
+
+## Other agents
+
+The same `inject.sh` runs through `adapters/claude_hooks.py` (Kimi, ZCode,
+Muse), the opencode and Hermes bridges, and natively in Grok Build and Cursor.
+Through the dispatcher: a market-research prompt and a `/dwf` prompt injected
+about 6 KB each; "pesquisa no repo onde calcularFrete() é chamada" injected
+nothing. Codex and Antigravity run none of these hooks; there only the
+description applies.

bench/plugins/agent-fleet/results/2026-10-26-pesquisa-trigger/check_hook.py

@@ -0,0 +1,34 @@
+#!/usr/bin/env python3
+"""Run agent-fleet's UserPromptSubmit hook on each labeled set in logs/ and score it.
+
+  python3 check_hook.py [path/to/inject.sh]
+
+Each set is a JSON array of {"query", "should_trigger"}. A prompt counts as
+fired when the hook prints the agent-fleet header. Stdlib only.
+"""
+import json, subprocess, sys
+from pathlib import Path
+
+HERE = Path(__file__).resolve().parent
+HOOK = Path(sys.argv[1]) if len(sys.argv) > 1 else HERE.parents[4] / "plugins/agent-fleet/hooks/inject.sh"
+if not HOOK.is_file():
+    sys.exit(f"hook not found: {HOOK}")
+SETS = ["dev.json", "blind-1.json", "blind-2.json", "aug-2026-08-06.json"]
+
+def fires(prompt: str) -> bool:
+    p = subprocess.run(["bash", str(HOOK)], input=json.dumps({"prompt": prompt}),
+                       capture_output=True, text=True, timeout=30)
+    return "agent-fleet skill applies" in p.stdout
+
+for name in SETS:
+    data = json.loads((HERE / "logs" / name).read_text(encoding="utf-8"))
+    tp = fn = fp = tn = 0
+    for d in data:
+        hit = fires(d["query"])
+        if d["should_trigger"]:
+            tp, fn = (tp + 1, fn) if hit else (tp, fn + 1)
+        else:
+            fp, tn = (fp + 1, tn) if hit else (fp, tn + 1)
+        if hit != d["should_trigger"]:
+            print(f"  {'MISS ' if d['should_trigger'] else 'FALSE'} {name}: {d['query'][:80]}")
+    print(f"{name:22s} fired {tp}/{tp + fn} should-trigger, {fp}/{fp + tn} near-misses")

bench/plugins/agent-fleet/results/2026-10-26-pesquisa-trigger/logs/aug-2026-08-06.json

@@ -0,0 +1,82 @@
+[
+  {
+    "query": "/deep-research quais frameworks de orquestracao de agentes suportam handoff de contexto entre modelos diferentes, com fontes primarias",
+    "should_trigger": true
+  },
+  {
+    "query": "como eu crio um subagente customizado no claude code? quero um .md em .claude/agents com tools restritas e model haiku",
+    "should_trigger": false
+  },
+  {
+    "query": "confere se esse link ta fora do ar: https://nginx.org/en/docs/http/ngx_http_core_module.html",
+    "should_trigger": false
+  },
+  {
+    "query": "escreve um agente de atendimento com a API da anthropic que chama tools do meu CRM",
+    "should_trigger": false
+  },
+  {
+    "query": "meu docker compose sobe 12 containers e dois ficam reiniciando em loop, investiga ai",
+    "should_trigger": false
+  },
+  {
+    "query": "meu script python com multiprocessing ta deadlockando quando spawna os workers, olha esse traceback aqui",
+    "should_trigger": false
+  },
+  {
+    "query": "minhas pesquisas profundas tao caras demais, quais fases dao pra rodar em modelo menor sem perder qualidade?",
+    "should_trigger": true
+  },
+  {
+    "query": "o kubernetes tem aquele PodDisruptionBudget ne, me explica quando faz sentido usar",
+    "should_trigger": false
+  },
+  {
+    "query": "o relatorio que o time gerou tem 25 citacoes de docs oficiais e desconfio que algumas foram escritas de memoria, quero validar cada uma contra a pagina viva",
+    "should_trigger": true
+  },
+  {
+    "query": "os agentes voltaram com 40 achados do scan de seguranca e alguns me parecem falso positivo, como eu confiro isso sem reler tudo na mao?",
+    "should_trigger": true
+  },
+  {
+    "query": "pesquisa bem feita sobre o mercado de baterias de sodio: quero muitas fontes primarias, checadas uma a uma, nao um resumao de blog",
+    "should_trigger": true
+  },
+  {
+    "query": "preciso comparar como umas 30 bibliotecas python de PDF lidam com formulario interativo, com fonte oficial pra cada uma. como voce organizaria isso?",
+    "should_trigger": true
+  },
+  {
+    "query": "quanto custa o managed agents da anthropic? e o sdk de agentes tem suporte a go?",
+    "should_trigger": false
+  },
+  {
+    "query": "quero levantar a legislacao de trabalho remoto nos 50 estados dos EUA, cada estado com citacao da lei estadual. da ultima vez isso virou 200 agentes e estourou tudo, monta um plano melhor",
+    "should_trigger": true
+  },
+  {
+    "query": "quero listar minhas rotinas agendadas na nuvem e pausar a de segunda-feira",
+    "should_trigger": false
+  },
+  {
+    "query": "resume os 5 PDFs da pasta ~/Documentos/artigos, um paragrafo cada",
+    "should_trigger": false
+  },
+  {
+    "query": "spin up a bunch of subagents to cross-check these 15 vendor claims against their official docs, i want verbatim quotes for each",
+    "should_trigger": true
+  },
+  {
+    "query": "tenho uns 60 arquivos de log pra classificar por tipo de erro, vale paralelizar com subagentes ou faco num loop so?",
+    "should_trigger": true
+  },
+  {
+    "query": "traduz esse relatorio de 30 paginas pro ingles mantendo a formatacao e as tabelas",
+    "should_trigger": false
+  },
+  {
+    "query": "vou montar um workflow dinamico pra auditar 80 repositorios, me ajuda a desenhar o schema de saida dos agentes antes de rodar",
+    "should_trigger": true
+  }
+]

bench/plugins/agent-fleet/results/2026-10-26-pesquisa-trigger/logs/blind-1.json

@@ -0,0 +1 @@
+[{"query": "faz uma pesquisa de mercado sobre ferramentas de observabilidade tipo Sentry, Datadog e Grafana Cloud, com fonte oficial e preço do plano pra time de 15 devs", "should_trigger": true}, {"query": "pesquisa no código onde a função calcularFrete() é chamada no projeto loja-api e me mostra os arquivos e as linhas", "should_trigger": false}, {"query": "pesquise no X e nos fóruns o que o pessoal tá falando do Bun 1.2 vs Node 22 em produção, quero pelo menos 5 fontes diferentes", "should_trigger": true}, {"query": "tá dando erro no campo de pesquisa do SearchBar.tsx, o enter não dispara a busca, arruma o onKeyDown", "should_trigger": false}, {"query": "preciso que vc pesquise os changelogs do Next.js 15, React 19 e Vite 6 dos últimos 3 meses e diga quais breaking changes pegam meu projeto", "should_trigger": true}, {"query": "cria um formulário de pesquisa de satisfação com 5 perguntas de 1 a 5 e um campo de comentário, em HTML puro", "should_trigger": false}, {"query": "pesquisa aprofundada: estudos publicados em 2025 e 2026 sobre eficácia de code review com IA, cita os papers e os números de redução de bugs", "should_trigger": true}, {"query": "pesquisar full-text no postgres: monta um índice GIN com to_tsvector em português na tabela produtos, coluna descricao, e a query de busca", "should_trigger": false}, {"query": "/fleet: pesquisa preço e limite de contexto do Claude Sonnet, GPT-4.1 e Gemini 2.5 Pro, cada vendor num agente separado", "should_trigger": true}, {"query": "escreve a introdução do meu TCC sobre metodologia de pesquisa qualitativa, uns 2 parágrafos falando da diferença entre pesquisa exploratória e explicativa", "should_trigger": false}, {"query": "ultracode: quebra essa migração do Angular 14 pra 18 em módulos e roda um agente por pasta em paralelo (src/app/auth, src/app/billing, src/app/admin)", "should_trigger": true}, {"query": "corrige o typo 'recebimnto' pra 'recebimento' em todos os arquivos da pasta src/views", "should_trigger": false}, {"query": "faz uma pesquisa comparativa entre Supabase, Neon e PlanetScale pro app de delivery em Curitiba, com preço do plano free e limite de conexões, com link oficial de cada um", "should_trigger": true}, {"query": "resume essa pesquisa que colei abaixo em 3 bullets pro meu chefe, são uns 2 parágrafos sobre o resultado do Q3", "should_trigger": false}, {"query": "dynamic workflow pra revisar os 40 PRs abertos do repo mobile-app, um agente por PR, e me manda um resumo consolidado no fim", "should_trigger": true}, {"query": "ajusta o workflow do GitHub Actions em .github/workflows/deploy.yml pra rodar só na branch main e não em PR", "should_trigger": false}, {"query": "pesquisar artigos recentes sobre RAG com reranking e quais métricas eles usaram, preciso de pelo menos 4 papers com link", "should_trigger": true}, {"query": "qual a versão mínima do Python que suporta match/case? só uma resposta rápida", "should_trigger": false}, {"query": "dá uma pesquisada no que a comunidade diz sobre o Zig 0.14 pra backend, olha reddit, hacker news e blogs e cita os links", "should_trigger": true}, {"query": "pesquisa dentro da tabela pedidos no SQLite do dev.db só os com status pendente criados depois de 01/09", "should_trigger": false}, {"query": "pesquisa de mercado sobre plataformas de PIX pra SaaS no Brasil: Asaas, Pagar.me, Mercado Pago, taxas atuais e o que os clientes reclamam", "should_trigger": true}, {"query": "a pesquisa do Elasticsearch no índice de produtos tá voltando vazia quando tem acento, dá uma olhada no analyzer", "should_trigger": false}, {"query": "pesquise os releases do Ollama, LM Studio e llama.cpp desde janeiro e diz qual teve suporte novo pra GGUF, com a data de cada release", "should_trigger": true}, {"query": "adiciona um botão de pesquisa no header do app Next.js que abre um modal, usa o componente que já existe em components/ui", "should_trigger": false}]

bench/plugins/agent-fleet/results/2026-10-26-pesquisa-trigger/logs/blind-2.json

@@ -0,0 +1 @@
+[{"query": "Pesquise as principais alternativas ao Terraform Cloud para gerenciar o estado da infraestrutura em 2026, comparando preço, limites do plano gratuito e o que os usuários reclamam em fóruns e no Reddit, com pelo menos 5 fontes.", "should_trigger": true}, {"query": "pesquisa no repo todos os lugares onde a função calcularFrete() é chamada e lista os arquivos, pfv, to com medo de quebrar o checkout em produção.", "should_trigger": false}, {"query": "bora fazer uma pesquisa sobre os concorrentes da Shopee e do Mercado Livre no nicho de cosméticos veganos, vê preço médio, frete e o que o povo fala nas avaliações, manda com os links", "should_trigger": true}, {"query": "pesquisa no meu Gmail os comprovantes de pagamento do cartão Itaú de 2025 que têm anexo PDF e soma o total pra mim, mano.", "should_trigger": false}, {"query": "Preciso que você pesquise estudos empíricos publicados entre 2019 e 2025 sobre o efeito da semana de quatro dias na produtividade, com DOI e tamanho da amostra de cada um, uns 10 no mínimo.", "should_trigger": true}, {"query": "Escreve uma seção de metodologia pro meu TCC explicando a diferença entre pesquisa qualitativa e quantitativa, em 2 parágrafos, sem citar autor que eu não tenha certeza.", "should_trigger": false}, {"query": "pesquisa as taxas de custódia e de transferência das principais corretoras que operam no Brasil e me monta uma tabela com a fonte de cada uma, pfv", "should_trigger": true}, {"query": "resume em 5 linhas essa pesquisa do IBGE que colei aqui: [texto colado]", "should_trigger": false}, {"query": "quais estudos mais citados sobre creatina pra mulheres acima de 50 anos saíram nos últimos 3 anos? Tenta pesquisar bem e me traz resumo, tamanho da amostra e link de cada um.", "should_trigger": true}, {"query": "traduz pro inglês esse trecho da bula: 'Tomar com alimento para reduzir náuseas. Não ultrapassar 4 comprimidos por dia.'", "should_trigger": false}, {"query": "quero pesquisar a reação da comunidade ao patch mais recente de Baldur's Gate 3 no Reddit, no Steam e nos fóruns, ver quais bugs mais aparecem, tipo save corrompido, e juntar tudo num resumo", "should_trigger": true}, {"query": "pesquisa na tabela de pedidos todos os clientes que compraram mais de 3 vezes em outubro e não voltaram em novembro, usando o campo id_cliente", "should_trigger": false}, {"query": "Faz uma pesquisa de jurisprudência recente do STJ e do TJSP sobre cobrança de taxa de conveniência em ingressos online, pegando pelo menos 5 acórdãos com número do processo e data.", "should_trigger": true}, {"query": "configura a barra de pesquisa da minha loja na Shopify pra ignorar acentos e buscar também pelo SKU, tem como sem app pago?", "should_trigger": false}, {"query": "Divide essa tarefa entre agentes: um pesquisa preços de fone bluetooth na Amazon, Magalu e Americanas, outro checa as avaliações dos últimos 6 meses e um terceiro vê os prazos de entrega pra SP e RJ.", "should_trigger": true}, {"query": "monta um questionário de pesquisa de satisfação com 8 perguntas pro pós-venda da minha loja de roupas, escala de 1 a 5, em português bem informal", "should_trigger": false}, {"query": "compara as release notes dos últimos 3 meses do Next.js, do Remix e do SvelteKit e me diz quais breaking changes afetam quem usa App Router, com o link de cada changelog.", "should_trigger": true}, {"query": "explica pra mim como ler uma pesquisa eleitoral: margem de erro, intervalo de confiança e por que o Datafolha e o Quaest dão números diferentes", "should_trigger": false}, {"query": "tem alguma notícia recente sobre a reforma do IR que o governo mandou pro Congresso? quero ver o que os principais jornais falaram nos últimos 7 dias, de veículos diferentes, pra ter um panorama.", "should_trigger": true}, {"query": "revisa a ortografia do documento 'Pesquisa de Clima 2025' que eu escrevi, corrige acentos e vírgulas sem mexer no conteúdo.", "should_trigger": false}, {"query": "pesquisinha grande aqui: manda 4 agentes ao mesmo tempo, cada um com um concorrente (Nubank, Inter, C6 e PicPay), pra levantar as campanhas de marketing dos últimos 90 dias com links.", "should_trigger": true}, {"query": "pesquisa rapidinho qual é a capital do Tocantins, só preciso da palavra.", "should_trigger": false}, {"query": "Pesquise artigos sobre uso de LLMs na triagem de pacientes em UBS no Brasil publicados no SciELO e no PubMed, e me traz título, ano e a conclusão principal de cada um, mínimo 8.", "should_trigger": true}, {"query": "pesquisa no meu Google Drive aquele PDF do contrato de locação de 2023, deve ter 'locação' no nome, e me diz em qual pasta ele está", "should_trigger": false}, {"query": "Dá uma pesquisada nas reclamações no Reclame Aqui e no Reddit sobre Creditas, Ben e Agibank (consignado e portabilidade) e resume os pontos negativos que mais se repetem, com as fontes.", "should_trigger": true}, {"query": "pesquisa nos logs do servidor de ontem as linhas com 'timeout' do payment-service e me mostra as 20 mais recentes", "should_trigger": false}, {"query": "dividi em 3 agentes: um pesquisa o meta atual de Valorant por agente, outro levanta os patches das últimas 8 semanas e outro vê o que o pessoal do subreddit e do Discord fala sobre o balanceamento novo.", "should_trigger": true}, {"query": "Explica a diferença entre pesquisa-ação e estudo de caso pra uma dissertação de educação, com um exemplo de 3 linhas.", "should_trigger": false}, {"query": "quero que você pesquise as normas da ANPD e as recomendações do Procon sobre armazenamento de dados de clientes em apps de delivery, com pelo menos 4 fontes oficiais e link.", "should_trigger": true}, {"query": "meu Stardew Valley travou na hora de salvar e o arquivo ficou com 0 KB, como recupero o save da pasta de backup no Windows?", "should_trigger": false}]