[Research Radar] AI inference performance & RSI — daily categorized insights

目标

持续跟踪 AI inference 性能优化与递归/自主改进（RSI） 的 GitHub repo、paper、作者/官方工程 blog，为 InferRSI 架构和方向演进提供可追溯的研究输入。本 issue 是固定研究索引；每日报告使用新的 comment，避免覆盖历史结论。
google sheet 链接：https://docs.google.com/spreadsheets/d/1xNv8vFVyignnvXGLKvIKpjmMuL2gczcfV4KW8iwCveA/edit?gid=1366588410#gid=1366588410

报告以中文洞察为主，保留英文技术名称与原始链接。研究、提案和已验证结果分开记录；本 issue 不授权模型/GPU调用、代码修改、知识自动推广或自动合并。

分类维度

每条发现同时带上以下标签，而不是只按论文列表排列：

模型/工作负载：LLM 与 Agentic；Diffusion 图像/视频/音频；Loop/Recurrent Transformer 与自适应计算深度；Decision/Action/Policy/World Model；跨模态与流式交互。Decision model 包括决策/动作策略推理，不默认等同于模型路由。
优化机制：Schedule；Cache；Parallel/Pipeline；Kernel/Compiler/Fusion；Quantization/Sparsity/Speculation；Compute/Quality Budget。
系统层级：单算子、模型执行、单机/分布式 serving、端到端任务/交互、优化控制器与知识反馈。
RSI 环节：瓶颈诊断 → 候选生成 → 受约束搜索 → 独立验证 → 成本/质量选择 → 可复用经验。区分 engine 优化与 harness/skill 优化。
证据成熟度：Idea / Paper-reported / Code available / Integrated / Locally validated；另外单列未验证、反例、失败与适用边界。合并不等于性能验收。
与 InferRSI 的关系：已有能力、已有 open issue/PR、可扩展缺口、暂不建议；映射实际模块与现有 owner，不重复建 runner/catalog。

每日报告约定

标明研究截止时间（北京时间）、InferRSI 默认分支 SHA；发布前重新核对代码基线。
优先最近发布/实质更新，补充必要的经典基础；明确“新发布”“新进展”“基础参考”，不把旧论文当今日新闻。无可靠新增时如实说明，不凑数量。
每条包含：来源及日期/版本、机制、为何重要、实验条件与限制、InferRSI 可借鉴点、最小验证建议和停止条件。
原始 paper、官方 repo、作者/厂商 blog 优先。Repo stars、单算子加速、作者报告、CPU fixtures、GPU/E2E 验证不能相互替代。
性能比较保留硬件、模型、版本、精度、输入/负载、baseline、质量与尾延迟限制；不跨条件排名、不叠加百分比。
总结 今日最值得阅读的 3 项、建议验证的 1–3 个方向、暂缓/反例。建议不是已授权实验或已承诺实现。
延续历史去重与更正：同一来源无实质变化不重复当新发现；已被修复/合并/否定的结论及时修正。
仅公开来源与技术分析，不发布私有笔记、原始敏感日志或凭据。

与现有工作的边界

复用架构文档、SearchSpace coverage #91、Harness improvement #93 和三类优化方法 #131。本研究不取代这些事项的验收，也不重复路由项目特性监测或 PR 审查。

首轮为建立研究基线；后续在本 issue 按日期追加日报。

2026-10-27｜表格版：优先看 model-specific inference engine

证据截止：北京时间 17:25。这是今日基线的可读性修订与五个重点引擎补充，不是把旧资料当今日新闻。发布前 main 仍为 38d5883b8e72。以下均为公开资料分析，未独立运行模型 / GPU。

1. 优先方向：为特定模型与工作负载设计执行引擎

项目 / 一手来源	特化对象与机制	证据边界	InferRSI 最值得借鉴
DwarfStar / ds4	选定 DeepSeek 等 MoE；C 运行时整合量化、专家流式、KV 与 serving	作者基线：V4 Flash Q2 / M5 Max 128 GB / 2K，decode 39.35 tok/s。不是跨引擎胜负，也非任意 GGUF 通用兼容	模型 × 量化产物 × 运行时联合候选；容量与速度分开评估
Strata	Qwen3.8 / Qwen3.6，另有 DeepSeek 引擎；热专家 VRAM + CPU 执行未缓存专家，配合 MTP	旧版实测：0.1.26 / RTX 5070 12 GB + Ryzen 7600 / 64 GB RAM / Q2 / MTP，4K decode 93 tok/s；当前 v0.2.6 部分专家跳过默认改变输出	异构放置搜索；版本、精度和质量 gate 缺一不可
Splash	选定 Qwen 等模型；专属 DFlash 2、Metal、KV / 循环状态缓存、连续批处理	作者 HTTP 实验：M5 Pro 48 GB、Qwen3.8-27B 短 prompt，decode 74 vs oMLX 38 tok/s；双方推荐配置，不是单因素对照	联合优化 draft、runtime、API 延迟与缓存；精确回放不能代替真实多轮
Lily	Qwen3.6-35B-A3B Q4 / group 64；Rust + Metal，融合 kernel、GPU 路由与 token 交接	9 月 2 日新基线：M5 Max 128 GB，MLX 0.32.2 + mlx-lm 0.31.3，batch 1，decode 1.236–1.319×；128K prefill 0.801×。不含 HTTP / 加载，非通用 serving	优先学习 benchmark contract；保留长上下文倒退。free-running token 可不同，MLX 还计算 Lily 不返回的 logprobs
Husky	Woof 4B 4-bit；Metal、INT8 KV、编辑 prompt lookup + 273 MB Flash draft	作者 M5 Max 128 GB：编辑 730 vs MLX 163 tok/s；无 draft 的普通写作仅 1.02–1.27×。已核实官方介绍，未核实公开源码；CUDA 为规划	根据编辑 / 写作选择 speculation，不把重复文本峰值泛化

这些项目不是同一模型 / 硬件 / 精度 / 缓存条件，不做总榜排名。它们是技术来源或潜在实验目标，不是已接入 InferRSI 的依赖。

2. 其他模型与 RSI 机制，保持分类

类别 / 来源	核心洞察	InferRSI 建议与限制
LLM / AgentX	调度、缓存、并行一起改变不同请求类别的体验	分开看短交互 / 长 prefill 的 TTFT、TPOT、P99 与 SLO goodput
Diffusion / SoftCache	缓存陈旧度与采样步长联合调节	固定采样器后搜索 cache × steps；去噪计时不能代替端到端收益
Loop / Continuous Depth Batching	深度调度必须保留 KV 语义	先验 live 退出与质量；预录轨迹回放不是线上质量证据
Loop / LoopSpec	中间深度 draft，最终深度验证	固定 verifier，计入拒绝、KV、编译和端到端成本
Decision / Real-Time Chunking	异步动作块可减少任务等待，而非加快模型 forward	用闭环成功任务 / 秒、观测年龄、deadline 评估；先限仿真
RSI / KernelAgent	候选去重、串行 profiling 与 profile 复用降低搜索成本	指纹包含 shape / 硬件 / 工具链；不跳过独立正确性验证

**架构优先级：**先把“模型 × 产物 × 硬件 × 工作负载”的验证契约接入已有 Harness × Model × Infra，再搜索 kernel / memory / draft / serving 的组合；不另建通用 engine 或第二 runner。近期最值得精读 Lily 的验证契约、Strata 的异构放置、Splash 的端到端 serving。这些是研究建议，不是实验执行或收益承诺。

2026-10-27 补录｜Project Maya

证据截止：北京时间 20:32。这是遗漏补录，不是首次发布新闻；核对当前主线 v1.1.30 / 8621e331（提交于 10 月 27 日）。未独立运行模型 / GPU。

方向 / 项目	模型与当前能力	证据与边界	InferRSI 借鉴
Model-specific / 异构 MoE / Project Maya	GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 的专属引擎；MiniMax-M3.1 为实验。VRAM / RAM / NVMe 专家分层、CPU 与 PCIe 分工、模型专属 draft。NVIDIA CUDA；AMD / Windows 实验	开源实现与测试可查，不等于已独立复现。作者 Maya-S 质量测试：五任务各 400 题，均分 80.8 vs FP8 82.5（97.9% 保留）；7,672 held-out positions 的同 top-token 为 83.3%，非无损。GLM 的最多 8 并发不能泛化到所有模型	Now：优先读校准方法，性能结论待复现。校准代码使用未见 prompt、交错复测、超过 3% 才接受；不回写学习到的专家 profile，避免反复跑同一文本把热缓存误当普遍收益

性能时效：10 月 6 日历史实验为 2×V100 32 GB、Xeon E5-2690 v4、30 GB RAM、GLM UD-IQ1_S、greedy、500 prompt / 300 output；plain 26.2 vs MTP split24 40.0 tok/s。这是旧实现的作者数据，不是当前 v1.1.30 实测，也不能与其他引擎直接排名。文件也保留了错误修复、无收益预取和 CPU 路径反例。
正确性与创新边界：批量 prefill 明确与单 token 路径舍入不同；单 GPU MTP 不与 parallel / DFlash 同开。项目明确源自 Strata，并使用 ggml / llama.cpp、exllamav3、beellama.cpp；值得研究的是特定模型下的工程组合与校准，不宣称专家分层或投机解码本身首创。
**最小验证建议：**固定模型产物 hash、RAM 预算、prompt / seed 和冷热缓存；同质量比较 CPU / PCIe 分工与 draft，计入端到端延迟和尾部；无稳定收益或质量越界即淘汰。主仓 MIT 不覆盖一切：可选 DFlash2 权重为非商用 CC BY-NC-ND 4.0，MiniMax 权重另有商业条件。

2026-10-27 补录｜JustGoal：知识与 harness 的价值必须通过对照证明

截止北京时间 22:19；InferRSI main 51fa1d31。来源是 OpenBMB JustGoal 的 10 月 26 日算子代码发布及随仓论文。已阅读论文方法、对照、限制并抽查代码；未运行模型/GPU，以下性能数字均为作者报告。

分类： LLM attention / GDN / MoE；Kernel/Compiler/Fusion；算子层＋优化控制器；候选生成→搜索→独立验证；Paper-reported / Code available，非本地验证。

最重要的洞察：不要把“goal-only”误读为“不需要验证”

JustGoal 是实验配置，不是新 agent 架构。通用 Claude Code 接收目标与约束，自建优化循环；本仓主要发布最终 kernels 和部分 solution.json，不是可直接接入的完整 campaign runner。
论文 §4.4 的同模型 Fable 5.1 2×2 对照比标题更有价值：single-shape 下，KDA-0.5 harness 相对 JustGoal 为 0.95×；whole-definition 下为 1.37×（相对参考分别 0.97× 与 0.71×）。这提示 harness 的价值可能更多来自跨 shape 分解、组织与覆盖，而非对每个窄任务添加更多流程。该解释仍有限：领域先验与分解机制没有被完全单独消融，KDA 复现也受公开材料限制。
§3.2 / §4.5 明确保留最终独立正确性检查：FlashInfer-Bench，FA4 backward 使用官方测试协议，不使用 agent 自定容差。作者还修复错误 kernels 后重新计时；自建检查仍会漏掉精度、输出、构建或运行错误。因此“作者最终修正后的速度”不能等同于“无人干预一次交付成功率”。
作者总体结果为 10 个可比较算子中 8 个快于所选开源库，几何均值 1.14–2.34×；FA4 forward 为 0.77×、KDA 为 0.99×。B200 / sm_100a，主环境 CUDA 13.0；计时是 cold-L2 的 CUPTI kernel span，排除 JIT、cache flush、同步开销，不是 serving/E2E 收益。不能推广到 A100、Ascend 或视频端到端。

对 InferRSI knowledge / workbench 的具体启发

flowchart LR
 A["#143 冻结目标、shape域、预算与质量门槛"] --> B["同模型 / effort / 工具 / 预算"]
 B --> C["Goal-only baseline"]
 B --> D["+检索知识"]
 B --> E["+流程或任务分解"]
 C --> F["统一独立 verifier 与未参与搜索的测试"]
 D --> F
 E --> F
 F --> G["正确率、覆盖率、搜索总成本、最终性能"]
 G --> H["保留有效知识；无增益或反例也归档"]

Knowledge 不以数量证明价值。 [Tracking] SearchSpace distillation coverage and knowledge consolidation #91 / docs: add a generated skill coverage reverse view #194 的反向视图回答“覆盖哪里”；Skill Eval 回答“在何种任务与模型下带来多少增益”。应允许知识无收益或误导的负结果，模型升级后重新比较。不能由本文推出“蒸馏/skill 无用”。
Workbench 的阶段应该是可检查的产物边界，而不是固定思考脚本。 目标、候选、证据、裁决保留稳定接口；给搜索策略自由度，同时限制其修改验收规则。与 Proposal: controlled task-local harness improvement on top of Skill Eval #93 的受控 harness 改进方向相关，但 issue 的关闭状态不等于该方案已完整实现。
从 kernel 蒸馏“适用域与状态契约”，不只摘调优技巧。 例如 full-shape DSA 包装含固定架构/维度约束、top-k fallback、设备级 workspace 和 stream 选择；single-shape 实现含缓存与 epoch 生命周期。这些是可审计的知识单元，不代表其并发安全或服务效果已经验证。

**最小验证建议（尚未执行/授权）：**先做离线接口审计，选一个窄 shape 任务和一个多 shape 任务，固定输入、正确性标准、时间边界及完整成本记录；后续若获实验授权，再以同模型/effort/工具/预算比较 goal-only、加知识、加分解，使用多次独立尝试并保留失败。收益不稳定、质量越界、只在搜索样本上提升或新增成本无法抵偿时，停止推广。复用现有 Skill Eval / harness，不新增第二套 runner，也不把 B200 结果移植成其他硬件的预期收益。

2026-10-28｜InferRSI 每日研究

证据截止：北京时间 08:30:57。发布前复核 main 51fa1d31cc4a805490ddfe8055a36c81d70c4f08 未变。

本轮是增量核验与历史补发现，不把旧论文冒充今日发布。所有性能均为作者报告；本轮仅原文、源码和配置静态核验，未运行模型/GPU/付费实验。阅读价值不等于生产可用。

主表：两项发布增量、一项历史补发现、一项昨日补录复核

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Maya / DeepSeek、MiniMax	新增独立请求序列并行；同时修补 MiniMax drafter 长 prompt 写入与 DeepSeek 共享 expert 表竞争。属于执行路径完善，不是新算法。	已读落地路径；MiniMax 并行会关闭 DSpark 与 KV streaming，更多 KV 占用显存、挤压 expert cache 空间。开放 PR #557 的 DSpark 并行与速度不能算进发布版。	代码可用 / 值得验证；未独立运行。	v1.1.34，2026-10-27；本轮实质增量。	P1：复用隔离/状态正确性验证；先测跨请求串扰、取消、drafter 回归，再谈吞吐。Maya 蒸馏不在本任务。	[E1]
Model-specific · Strata / Qwen、DeepSeek	v0.2.7 对 ≤13 GiB NVIDIA 的 Qwen 默认启用驻留偏置路由，改变专家选择；DeepSeek 另有默认专家数变化。不是透明 offload，先验是 Cache-Conditional Experts。	作者披露默认 prior=1.5 时任务分数低于关闭值；样本小且不等数，不能判定同质量加速。更高 prior 出现复制/代码错误。	代码可用 / 值得验证，默认质量风险优先；未独立运行。	v0.2.7 / engine 0.1.52 / 5e8a4cca，10-27；旧 93 tok/s 不外推。	P0：把 expert 选择改动纳入语义变更与质量预算，不与纯内存搬运优化混评。已有知识复用，不重复蒸馏。	[E2]
LLM 混合线性注意力 · ReaDy / Qwen3.8-27B	在 DSpark draft 中读取已提交的 Gated DeltaNet 状态；相邻 prior art 是目标 KV 条件化 draft。不是 loop Transformer 自适应深度。	原文/源码均可读；相对 DSpark 约 8% 包含额外微调，仅对微调对照约 5.7%。单 B200、并发 1、greedy；没有负载尾延迟证明。	代码可用 / 值得验证；明确增量机制，未独立复现。	论文 10-14 / v2 10-18；源码 8ac61b51，10-15。本轮历史补发现。	P1：对接在途 #121/#164/#169，复用 main 的通用 runner；专用 recurrent state 生命周期与回滚仍须验收，不新建 serving 框架。	[E3]
RSI 控制层 · JustGoal / 算子优化	昨日补录复核：goal-only 与知识/分解策略需要配对比较；发布物是算子代码与 solution.json，不是通用自主搜索引擎。	已核验论文同模型 2×2 对照与修复后重计时边界；知识包的独立因果收益仍未分离。NCU skill 也有负结果。	推荐阅读（研究设计）；有效加速仍是作者报告，未独立复现。	公开 release 10-26 / f052fc0b；昨日既有补充，不算今日新项目。	Now：复用现有 N/E/R skill evaluation 与有界 offline improvement。补持出任务和全搜索成本，不以 catalog 数量当收益。	[E4]

观察区：尚未通过关键复现门槛

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Diffusion · PoSTCache / 图像与视频	未来 anchor 校正已跳过步骤，再积分 solver；对比 forward reuse / Taylor 外推。离线校准选择 anchor。	原论文有质量对照和漂移反例，但未找到可核验 canonical 代码；计时非服务 E2E，离线校准成本未并入。	论文可读 / 观察，代码与复现入口未核验。	arXiv v1，2026-10-19；历史补发现。	Watch：先查代码/solver 端点及校准成本；不要先导入加速百分比。	[E5]
Decision / VLA · VLA-Rolling	学习旧 action-tail 的有效性，联合 warm start 与计算步数；先验含 ChainVLA、ActionCache、RTC，并非首次尾部复用。	原文、代码、发布权重配置存在训练损失/EMA 等对齐疑点；论文曾修正一项成功率增幅。部分模型无等价公开 rollout。	代码与权重可见 / 观察；复现配置须先澄清。	v1 10-18 / v3 10-21；本轮历史补发现。	Watch：采用 episode reset、缓存有效性、闭环失败率契约；暂不把 headline 纳入通用收益。	[E6]
Model-specific · cachedMoE	无已知 repo 名检索发现的 MoE cache 实现；可作为数值等价失败知识，而非新增推荐。	README 旧 NLL 与后续状态记录不一致；严格 decode 测试仍有失败，不足以认定同质量加速。	观察 / 暂不推荐集成；未独立运行。	84ba1ab7 / 10-22；10-21 数值基线有重设，严格 decode 后续仍失败。	Watch：先解决 source/experiment 版本一致性与质量失败；这是候选拒绝实例，不用 stars 筛选。	[E7]

Now / Next / Watch

Now：优先验证 Strata 的默认语义变化；Maya 并发是实际能力增量，但并发路径与单请求投机不是同一实验条件。
Next：ReaDy 值得读状态条件化 draft；对接在途状态契约，复用 main 通用 runner。JustGoal 支持更严格的 skill 因果对照，不支持再造一个宣称自主搜索的控制器。
Watch：PoSTCache、VLA-Rolling 和 cachedMoE 均有关键证据缺口；不因新颖或有源码就升级为 solid 加速。

最小验证建议（未执行，执行另需授权）

建议 1（未执行）：Strata prior=0 对照发布默认值，同硬件/权重/提示集，检查 expert 路由、任务质量、p50/p95 与全校准成本。先固定最多 20 个持出任务、2 次重复；出现正确性回归即停，扩大预算需另行授权。
建议 2（未执行）：ReaDy 比较 AR / DSpark / 微调但不读状态 / 状态 reader，保持目标、精度、greedy 与长度一致；检查 token 等价、拒绝回滚及吞吐。先做 10 个边界请求；任何状态泄漏/不等价立即停止，GPU 执行需另行授权。
建议 3（未执行）：复用 N/E/R 的运行/独立评分设施，另设因子对照比较 goal-only、知识、分解及二者组合；同模型/工具/预算、开发集与冻结持出集分离，计失败与总 token/时间成本。先 6 个算子族、每格 2 次；无质量通过或预算耗尽即停。

证据索引

[E1] Maya — release b04264526e93a3c7d3c051cb9cec97af86ae8a37，10-27 23:18Z；文档头 249f9a87d1a9d72bec2b684d704b0aa9296b1c9c。DeepSeek step_multi 保存各请求 state/KV；多请求同时 decode 不做 drafts，但维护各自 drafter rings；MiniMax forward_rows 保存 SeqKv，并发 >1 关闭 DSpark 与 KV streaming、KV 留显存。来源沿 Strata/ggml、既有 GLM 多序列方法，不主张新算法。29157105 修复 rows>16 时 drafter K/V 写入；32f3c8c6 修复 expert table/pending swap 竞争。并行 Python 测试主要是 mock/容量规则，矩阵逐行测试不是跨请求 GPU 隔离证明。PR #557 仍 open，不能引用其 DSpark 并行或 4.8× TTFT 为正式版能力。本文不运行测试，不引用跨条件速度。

来源 1 · 来源 2 · 来源 3 · 来源 4

[E2] Strata — SHA 5e8a4cca7d690ac60ca37eb09e7d0e010099ad6d，10-27 13:54Z；v0.2.7 发布 14:54Z，engine 0.1.52。Qwen ≤13 GiB NVIDIA 默认 STRATA_ROUTE_PRIOR=1.5；resident expert 加分改变 top-10 选择，使用原概率归一化，非 bitwise cache。作者 RTX3060 12GB / IQ3_XXS：80 tasks 未见 copy/code errors；agent 平均 4.5/10（4 runs）对 off 5.6/10（7 runs），运行数不等且 off 范围 4–6，不能判统计显著。prior=2.0 曾出现复制/代码错误。另 4×R9700 DeepSeek 默认 6→5 专家，小质量集不等于通用无损。既有先验 Mixture of Cache-Conditional Experts，非本轮新算法。layer-major prefill、batch pipeline 与近似路由必须拆分；release 保留 split-serve 变慢及 prefill/decode trade-off 负例。回退参数存在但本任务不改变设置。

来源 1 · 来源 2 · 来源 3

[E3] ReaDy — 首发 2026-10-14，v2 10-18；源码 8ac61b51d529fad980566cfde7a3c41415ba93a5（10-15）。读取 README、VALIDATION.json、environment.json、MODEL_SPEC.txt、adapter.py 与论文。SGLang pin 29481685462732237d80d86076d6563e1f658102；CUDA 12.9、Torch 2.13、Triton 3.7.1。Qwen3.8-27B，B200，BF16 / FP32 recurrent state，并发 1、greedy，输出上限 1024、上下文 16384、block 7。作者七项基准均值 TPS：AR 95.86、DSpark 280.42、仅微调 286.50、ReaDy 302.78；排除 prefill。状态 reader 相对微调对照约 5.68%，不能把总 7.97% 全归给状态读取。低秩查询读 committed GDN state，并接受目标 argmax 前缀/回滚拒绝状态。有限作者功能测试不等于七基准或服务负载复现；未独立运行。更多层/更高秩有接受率增而速度降的负例。GitHub issue 列表为空，不是正确性保证。

来源 1 · 来源 2

[E4] JustGoal — 昨日既有公开补充的重新核验，而非重复发现。源码 release f052fc0b28fc7f10b2ef1ae7aa4682aabbbe868d，10-26。本轮读取 repository PDF 全文相关方法/2×2/负例段落。B200 sm100a、CUDA 13、driver 580.105.08，Claude Code 2.1.304；固定 24h 预算比较，冷 L2/CUPTI kernel span，排除 JIT/flush/sync，非 serving E2E。发布的是 kernel 与 solution.json。单一模型完整 2×2 将 scope 与 harness 相交，但知识/分解策略的各自因果贡献未分离；另一 agent 的重现也非原团队全部私有流程。作者审查并修复错误后重计时，不等于首次自主正确率；NCU skill 对三个形状均落后于 NCU，部分候选需要修复。无需复制昨日速度表。InferRSI 已有 N/E/R 暴露对照与有界 offline verifier-guided improvement；现有模块不等于在线自主发现。

来源 1 · 来源 2

[E5] PoSTCache — 首发 2026-10-19。读取方法、实验配置和局限；未找到可核验 canonical 代码发布，paper 表述配置与依赖随代码发布。未来 full anchor 的残差校正过去跳过预测，再积分 solver，不增加网络调用；离线 10 条完整轨迹用于 covariance surrogate 与贪心 anchor 选择。H200，Python 3.12.13、CUDA 13.0.2、Torch 2.11、Diffusers 0.37.1、Transformers 5.4；FLUX/Qwen Image、Wan/CogVideoX/OpenSora。DrawBench 200×3 seeds、VBench 944×5，包含感知/语义质量。计时为 CUDA 同步生成 wall time、排除保存/指标计算；encoder/VAE 端点未由代码确认，不能称服务 E2E。离线校准未并入速度。baseline 参数有交代但缺不可变源码 pin；存在 offline-online gap、校正后 anchor 状态与已算输出不一致、长区间漂移。作者报告，不独立复现。

来源 1

[E6] VLA-Rolling — v1 10-18、v3 10-21；GitHub 8fdc5d75d93cd779e5fc9add05a069763c23978f，训练/模型代码 4430cce6（10-16），ACE revision 2a706069a660e80f695b137d0fdb237f155afd9e。读取全文/附录、源码与 9 份发布摘要。paper 非对称 L1 与发布 smooth_l1/asymmetric=false、EMA 权重方向及视觉结构等需对齐；不能据此断言论文实验错误。π0.5/MetaWorld 的 +9.32 pp 已在 v3 修正为 +0.66 pp，不应称最新版仍错。公开 rollout 主要是 PI05×3 benchmarks，9份权重不含 MolmoAct2。训练 RTX PRO 6000，仿真硬件原文写 4×RTX4090 32GB（无设备 manifest）；模型延迟非完整控制周期、无尾延迟。真机 14/20→15/20，仅多成功 1 次；两组 X-VLA 成功率下降。相比 ActionCache/STEP/ChainVLA/RTC 的新意是冻结 backbone 的学习式 confidence 联合预算，非首创 tail cache。未独立运行。

来源 1 · 来源 2 · 来源 3

[E7] cachedMoE — canonical acupof-ai/cachedMoE，SHA 84ba1ab723b1397e04e5532bdd50e8e0668594b2（10-22）；C++20 Vulkan/Slang + NVMe LRU，用于 DeepSeek-V4.1 FP4/FP8。读取 README、STATUS、store/planner.cpp；ScoreAwarePolicy 实际退回 LRU，热度策略有失败记录。README NLL .622784 是旧 checkpoint；STATUS #101 记录 10-21 coopmat 默认变化，gate 从 .660034 重设 .693887，2/64 top1 翻转；#104 的严格 teacher-forced 通过 7/8、free 通过 6/8，仍有失败。warm 91-token 一致不足以认定全面等价。最新只是删除 Python 死码，非新速度实验。此次为发现负例，未独立运行。

来源 1 · 来源 2

架构与覆盖

已阅读 main 的架构、skill evaluation 与有界 offline improvement，并核查全部 23 个开放 PR（第二页为空）。#121、#164、#169 仍在途。四个已合入的 engine 知识候选不代表 native 性能验收。

检索采用不含种子 repo 名的模型/架构 × engine/runtime/serving × cache/offload/speculation/kernel/compiler 组合；覆盖 GitHub、arXiv 原文及官方工程材料，并扩展论文 prior art/README 引用。DwarfStar、Splash、Lily、Husky 保留种子核验；未找到足够可靠的新语音流式、loop 自适应深度或世界模型条目，不凑数。这是有界发现，不宣称全网穷尽。

种子状态：DwarfStar 10-21、Lily 09-02 无新实质更新；Splash 1.4.1 当前增量早于昨日 cutoff；Husky 仍为 09-20 文档实验，公开 engine SHA 未确立。昨日 JustGoal 已有补充，此处只对齐架构结论和证据，不重发旧长报。

2026-10-29｜InferRSI 每日研究

证据截止：北京时间08:33；main 013a4815，发布前再次核验。所有性能为作者报告；未独立运行测试、模型/GPU或付费实验。历史补发现不冒充今日发布。

重点阅读 / 值得验证

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Maya / DeepSeek	2–3 请求可共享 DSpark 草稿执行，按请求验证和回滚。属于既有投机解码的模型特定系统集成。	v1.1.36 已接入；4 请求因成本退回普通解码，prefill 仍阻塞其他请求。MiniMax 并行禁 DSpark 的限制未解除。	代码可用 / 值得验证；未独立运行。	10-28 v1.1.36 / f031a23b；#611 关闭但未合并，以 cherry-pick 发布。	P1：现有 Maya 知识仍固定 v1.1.34；后续只补状态隔离、跨 GPU staging 和负收益回退，不重蒸整仓。	E1
Model-specific · DeepInfer / DeepSeek-V4.1-Flash	根据接受概率与运行时成本选择验证预算；复用 vLLM/SGLang 等系统思路。是模型专属执行核心，不是完整 serving。	有实现、测试和 sweep 入口；公开版不包含 KV cache system、完整阶段分离服务及 DP 负载均衡。确定性模式要求关闭可变草稿长度。	推荐阅读（成本调度源码）；效果值得验证，未独立复现。	10-20 首公开材料；当前 55374155（10-25），本轮历史补发现。	P1：与 Maya 单 pass 门控对照，复用现有 search-policy / runner，研究接受率×总耗时而非只追逐接受率。	E2

观察区

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Model-specific · Strata / DeepSeek Mac	新增 Metal 路径，默认完整 6 experts；线程数回退优先保稳定。属模型定制移植，不主张新算法。	Engram >2 线程出现输出漂移，默认2线程但损失 prefill 性能；量化质量非无损，DSpark 默认关闭。	观察 / 质量风险优先；未独立运行。	源码 46c152a1（10-28）；0.2.7 release 追加0.2.7.1，实验日期未单独确立。	P0：复用现有 Strata 验证契约，记录重复一致性、共租资源、量化质量及负结果。	E3
Decision/VLA · vla.cpp / SmolVLA	ROCm 接通 ggml 执行，复用 F32 权重与 F16 跨注意力缓存。后端移植，不是算法创新。	有数值对照和合成 predict 计时；HIP 未重跑闭环任务，最快选项改变动作，不能判有效控制加速。	观察 / 可读验证协议；未独立复现。	#35 10-28 合并；aeef71b7，实验 d0e5d00 / llama.cpp b11223。	P2：复用 Model/Infra 扩展点，先动作正确性和闭环成功率，再评反馈时延。	E4
RSI / serving · Standard Kernel + CoreWeave	官方描述配置、引擎和 kernel 联合搜索，并用服务测量拒绝组件级假收益。与现有多 agent 优化属系统组合。	公开材料没有足够源码、硬件和 baseline 版本锁定，也未给全搜索成本；不能确认独立有效加速或新颖性。	观察 / 方法边界参考，不作性能推荐。	官方博客10-27；本轮补发现，非今日新实验。	Watch：借鉴先组件后服务的否决门槛；InferRSI offline controller 仍不等于该自主搜索系统。	E5

经典基线 / 当前状态纠偏

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
LLM / recurrent state · ReplaySSM	输入缓存+周期 checkpoint 减少状态写回，并支持接受长度回滚。经典实现及状态纠偏，不算新算法。	部分 Mamba2 路径已合入；README 的三个旧在途 PR 已关闭未合并，替代 #55688 仍开放。吞吐提高不等于单请求更快。	经典基线；扩展 PR 观察，未独立运行。	博客06-15、论文10-09、源码09-30；#55688 更新10-28。	复用已合入 #121/#164 的候选契约；#169 仍在途。不能把不同 recurrent 架构/路径合并成已验证支持。	E6

结论

Maya 的 DeepSeek 并发投机已从在途进入 v1.1.36，但4请求回退、MiniMax限制仍在；发布、单次质量检查与生产收益分开。
DeepInfer值得读的是接受概率与执行总成本联合调度，不是把官方生产架构等同于完整开源服务。旧实验不能移植到新head。
Strata重复漂移、vla.cpp动作变化及ReplaySSM吞吐/单请求分歧，都说明正确性与目标指标应先冻结，再比较速度。

Now：复用现有 Maya / Strata、kernel-writing-guide 和 search-policy；把近期实现状态与旧知识pin分开，优先审查质量与状态边界。

Next：只建议 Maya v1.1.34→1.1.36 局部知识补充，并比较接受率驱动与成本驱动的预算选择；本日报不修改代码/知识包。

Watch：等待 Strata Engram 稳定性根因、vla.cpp HIP闭环结果、ReplaySSM #55688合并及Standard Kernel可复现材料。

小验证建议（不执行）

建议1（不执行）：Maya同模型/量化/固定expert placement，普通与投机并发1/2/3/4，先token/logit及取消后状态隔离，再测吞吐、TTFT/p99和峰值内存。冻结20条未用于调参的prompt、3次交错重复；预算上限2 GPU小时/12配置，任一串扰或质量失败立即停止并保留负例；计入校准和所有失败试验成本。

建议2（不执行）：成本调度对照只在同一DeepInfer固定pin中做varlen on/off，固定模型、设备、请求/采样与质量契约；先确认支持路径再比较接受率、总时延及SLO goodput。最多8配置/2 GPU小时，若质量不可比或成本缺失则INCONCLUSIVE；不得以不同引擎/硬件数字替代对照。

证据索引

[E1] Maya：源码 f031a23b9682551e744e29d0e9f8d527df49f282，v1.1.36 发布10-28 21:10Z。已读 DS4 主循环、验证回滚与 --multi-check；跨 GPU staging 按请求窗口分离。作者 RTX3090+8×5060Ti、TP8、EXL3 3.5bpw、2/3 experts 在 RAM、554-token prompt、2×200输出、greedy：56.4→79.3 tok/s 有 near-tie 差异，不作普遍等价证明。维护者 V100 1/3卡修复复核，两请求约1.1×、四请求回退约1.00×；原四请求投机反而约0.89–0.92×。缺广泛质量、p99和重复方差；CPU/GPU expert迁移舍入仍需固定放置对照。

来源1 · 来源2 · 来源3 · 来源4 · 来源5

[E2] DeepInfer：源码553741557a57df44a46fb3ab72b6aafeaf945337。mtp_varlen.hpp 以 graph size 残差中位数和 sampler 时间校准总验证预算，分离历史接受率与当前分配避免 lookahead。batch invariant 测试含64条随机prompt、EP8、5 NextN；源码存在不代表本轮执行。确定性需 NVIDIA、batch invariant=1、varlen=0、固定seq_seed。公开sweep为4 SM100 prefill/64 SM100 decode的离线Pareto，plot含假定acceptance，不能当在线SLO证据；eval依赖数据/模型与judge，未运行。与Maya硬件不同，不排名。

来源1 · 来源2 · 来源3 · 来源4

[E3] Strata：46c152a1310f77cd2f0ce2c7cd213962df14fe83，Control0.1.53。M5 Max128GB，共租约60GB闲置Qwen服务，fresh process、每项2次；2.00/2.25bpw，固定expert placement的4995 positions KL0.170/0.111，非无损。>2 Engram线程16次中3–9次漂移，根因未确认；2线程prefill代价3–12%，decode-only限制尝试失败后回退。DSpark同答案但无加速故默认关闭。缺同条件强Metal baseline、<128GB及>32K验证。

来源1 · 来源2 · 来源3

[E4] vla.cpp：论文2606.08094 v1 06-06/v2 09-21；当前aeef71b726feab6bba00e97df61268ec863a2843，实验d0e5d00/llama.cpp b11223。RX9060XT16GB、ROCm7.14.1、Ubuntu22.04.5、i5-12400F，2×512图像/16合成语言tokens/50×7动作/10 flowsteps。作者默认优化228.1→208.5ms动作byte-identical，VRAM1541→2303MiB；3warmup+20reps×3process选择最低均值进程。最快127.7ms改变动作，HIP无闭环成功率、服务或长时间验证；OpenVLA-OFT无CPU数值reference。不能跨配置排名。

来源1 · 来源2 · 来源3 · 来源4

[E5] Standard Kernel：10-27官方博客。作者描述在 GLM/Qwen/DeepSeek 客户工作负载上联合优化，并人工复查质量；DeepSeek采用长prompt和高prefix reuse。源码、设备SKU、基线commit、重复方差及全搜索成本未充分公开。存在组件正确但服务变慢的作者负例；仅作控制流程参考，不能把商业自主系统效果外推到InferRSI。

来源1

[E6] ReplaySSM：73a9592e9d8a2268620e8883a82f5cec7442ed36；源码实现09-30，博客06-15/论文10-09。#48018/#52506/#52928已合入；#48792/#49847/#49887 10-12关闭未合并。替代#55688开放head d9cd1fd1fcfc5a08d14ff29ba7439f76ad42d628、base74340c73，GB3001400W/FlashInfer0.7.2.post1、OFF/ON/ON/OFF：B512总吞吐收益伴随每请求decode −6.1%。论文B256 H100/B300、FP32state/BF16activation与PR不是同条件；B1标准decode有0.96–0.99×负例。fork benchmark为greedy、固定输出256、忽略EOS、一次计时，非服务p99；测试容差不是bitwise证明。

来源1 · 来源2 · 来源3 · 来源4

架构与覆盖

架构核验：main 013a481。已读README、architecture、roadmap #61、harness-improvement、skill-evaluation/skill-eval-pr及相关实现；开放PR11项，100/页第二页为空（#233为截止后新Draft，仅作发布时上下文）。#121/#164已合入候选知识，#169仍开放；昨日Metal/Maya/h3知识已存在，不重复蒸馏。#215有明确授权的历史实跑，但不等于全库有效或本任务可执行；offline improvement仍使用给定候选，不是自主模型搜索。

架构 · Maya旧知识pin · offline控制器

检索增量从10-28 00:30:57Z起，向前重叠24h，截止10-29 00:33Z。模型/架构×engine/runtime/serving×cache/offload/speculation/kernel/compiler无种子名搜索，扩展README credits、论文related work、官方博客；覆盖六种子、Diffusion、recurrent、VLA/world model及speech。Dwarf/Lily窗口无commit，Splash以UI/打包为主，Husky仍无已确立公开engine SHA；新语音/扩散候选证据不足，不凑数。是有界发现，不宣称穷尽。

2026-10-30｜InferRSI 每日研究

今日最重要的是 Strata 撤回一个不稳健默认值，而不是又一个最高加速比。 本轮 1 项风险更新、3 项值得验证的工程增量、1 项观察；没有足够证据给出强性能推荐。

证据截止：北京时间 08:33:17；发布前复核 main 401ee8a 未变。五门槛分别检查正确性、实验扎实程度、版本时效、prior art 和 InferRSI 价值。所有数字来自作者/社区，本轮未运行测试、模型、GPU 或付费实验。

重点风险与验证候选

分类 / 项目	实质变化与 prior art	证据与限制	等级 / InferRSI 接点
Model-specific / Strata 0.2.8	10-29 将驻留专家加分路由恢复默认关闭。它改变模型选择，不是无损缓存；cache-conditional routing 不是新概念。	长 agent 会话循环报告涉及约 50K–83K 上下文。另有 20 GiB 卡在 prior 关闭时仍失败，profile 混杂未排除；回退不等于根治，issue 仍开放。	重点风险 / Now：把长多轮、重复动作、恢复失败纳入 gate；冻结 learned profile 与生效配置，而不只看单轮质量和 TPS。
Model-specific / Maya 1.1.39	10-29 默认开启 GLM SSD 专家“读到一块就传一块”，重叠 SSD→RAM 与 RAM→GPU；明确移植 Abyss 先例。	作者六组冷缓存交错对照：V100、Maya-S24、RAM tier 8 GB / scope 32 GB、100 input / 128 output，+2–34%；全 RAM 仅 ±0.4%。社区笔记本旧移植仅 +2.7%，质量对照有近似 skip 混杂。GGUF、chunk readiness 有边界；缺 p99/取消/长期质量。	值得验证 / Next：补现有 Maya v1.1.34 知识的 SSD miss、全 RAM 负对照及 chunk 边界，不把均值约 22% 推广为端到端通用收益。
Diffusion / H3 · stable-diffusion.cpp #2240	10-29 合并：H3 图重排融合、分段预取分离分配/提交、输出直绑缓存。旧版已有 graph-cut/prefetch，不是新 offload 算法。	作者 4090 24 GB、INT8 H3、batch 1、CFG 1、Euler 20 步、同 prompt/seed 42、124 帧：864×480 从 7.81→3.66 s/it；1376×768 从 27.38→16.85。缺多 prompt 质量、重复方差和 E2E；graph/ggml/cache/prefetch 同时改变，不能单因素归因。	值得验证 / Next：只补既有 residency skill 尚未覆盖的 H3 视频/音频 shape、INT8 与跨 segment 输出存活；不另建 runner。merge `37bc88b5`，审查 head `301aafa`。
RSI / Atrex Kernel Agent #125	10-29 合并：基础设施不可用与候选失败分开，完整结果才缓存，区分目标分数比与延迟比。KDA 等已有评测契约；这是可靠性工程增量，不是新搜索算法。	公开恢复记录：40 次确定性 mock、两次重试预算，超预算仍失败。非 GPU 性能实验，部分真实回归资料未公开；失败 seed 不等于盲测。	值得验证 / Now：审计既有 receipt/usage/结果判定，不重复造缓存或 runner。不照搬 retry：InferRSI holdout 仍只做一次冻结验收。

观察：语音的“快”必须先证明输出完整

SpecSpeech 首次源码 10-18，实质更新 10-26；这是今日补发现，不是今日发布。CTC/Parakeet draft 与 Qwen ASR verifier 重叠，SpecASR 2025 的转录回收和 2026 CTC draft 工作是明确先例。

值得保留的是反例：作者标出的单请求 2.48× 比较包含 baseline 转录被 8192 token 截断，summary 代码明确拒绝它。A40 / Qwen3-ASR-1.7B BF16 / greedy / vLLM 0.30 的 pooled +1.17% 只是单次运行，另有 0.87× 负例；无 WER/转录等价汇总、重复方差或服务 p99。Watch：借鉴完成性与同语料门槛，不以 2.48× 作收益依据。

三个结论与受控验证建议（仅提案）

Now：修正错误默认值的知识。 Strata 的长轨迹失败比短测 TPS 更影响使用判断；保留未解决根因，不把回退当验收。
Next：按条件验证系统组合。 Maya 分冷/热 SSD 与全 RAM，H3 固定精度做 fusion × prefetch 消融；先验证质量与状态，再看端到端和尾延迟。质量失败、状态错误或无收益即停止推广。
Now：先确保评测结果可信。 用缺失结果、矛盾 receipt、未知 usage、诊断截断与输出截断构成静态故障矩阵；不完整不得 PASS，不改变冻结 holdout 规则。

当前架构已有 Harness × Model × Infra 和 source-owned sidecars；#243 的条件/建议表达不是知识有效性验收。现有 Maya owner、sd.cpp residency owner 与 search policy 是接点，不新建平行体系。

**覆盖与排除：**增量自 10-29 00:33Z，重叠自 10-28 00:33Z；使用不含已知 repo 名的模型/架构 × runtime/serving × cache/offload/speculation/kernel 查询，并追溯 credits、源码与论文。种子提交完整分页；DwarfStar/Lily/Husky 无核实新增，不重复旧性能。Splash #622、CrispASR、SpecFit 等未完成全部证据门槛，不列推荐。Diffusion、recurrent/深度、VLA、语音和 LLM/多模态均做发现检索；旧 CDB/ReaDy/PoSTCache/VLA-Rolling/ReplaySSM/vla.cpp 不重复。有限覆盖，非全网穷尽；不同硬件/模型/计时范围不排名。

2026-10-30 纠偏｜以后只报告首次发现、未入库的新 repo

此前把旧 repo 的新版本/PR 继续当日报重点，不符合现在的要求。从现在起按 canonical repo 与别名跨日期去重，并排除 InferRSI 已入库项目；找不到合格新 repo 就短报，不凑数。 历史评论保留，不改写旧记录。

今日原清单中的 Strata、Maya、stable-diffusion.cpp 不再作为当前推荐。Atrex 与 SpecSpeech 均是今日首次出现，检查此前评论、历史记录及 main dabd1849 的完整树、skill-index、矩阵与别名代码搜索，未见更早报告或已入库命中；仅保留今天这一条，后续不重报。

补充发现的两个新 repo

核验截止：北京时间 10:20:24。新身份不等于新算法或成熟生产能力；未运行测试、模型、GPU或付费实验。

新 repo	做什么 / prior art	五门槛结论与关键限制	InferRSI 价值
kindlingai/gr8	GLM 5.3 专属 CUDA/RoCE 引擎，面向 3–6 台 GB10，联合特化量化、TP、draft 与调度；继承 EXL3/QTIP/DFlash2。10-10 建仓，当前 `d446fcc3` 为 10-30 更新，不是今天首发。	Beta / 值得验证，非强性能推荐。 Gate有健康检查、多 boot 配对与缺项 PARTIAL；但已提交 baseline仍旧版且缺长上下文/mixed4。已知问题含一次首请求不一致原因未明；无同条件强外部对照。	Next：学习模型特化边界与完整 gate，复用已有 runner；固定 topology、boot health、baseline与质量，缺项不得 PASS。
mattt/AnySpeechRecognizer	Core ML 模型专属 runtime 与 Apple Speech 风格 API，Parakeet live / Qwen 分段及 KV state；沿用 FluidAudio、möbius、NeMo。10-29 官方介绍，代码 `fd305213` 为 10-28。	仅观察。作者限制：fast 模式自然语音 WER 15–22%，Qwen live 可滞后 40 秒。更正并行 GPU pipeline 污染后仅两轮测速；原始逐文件 run 已丢失，缺 p99/独立复现。	Watch：语音契约分开看吞吐、首结果、finalization 与 WER；不以低 RTF 替代完整性/质量。

今日最终身份清单：gr8、Atrex（值得验证）；AnySpeechRecognizer、SpecSpeech（观察）。 两个补充 repo 均未见此前报告或当前入库命中。Spexis 等候选因旧栈/组合未验证不凑入表。发现来自非种子名组合搜索、源码/benchmark/known-issues/credits核对，覆盖有限，不宣称全网穷尽。

2026-10-31｜新仓库研究

研究截止：2026-10-31 08:35 北京时间；新发现不等于新发布，未执行模型/GPU/付费实验。

InferRSI main：22dc89ba673429178719970bae8c05269d790a29；排除历史日报与当前知识库96个canonical身份。

5项值得验证，1项观察；无强性能推荐；不跨条件排名。

值得验证（不是生产推荐）

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific / hybrid LLM｜NInfer（Qwen/GLM）	KV/State联合恢复与GDN/KDA接受前缀重放；属于已有投机/缓存方法的模型特化组合。	有源码合同、历史实验版本及方差；性能实验缺同次质量，输出截断不能当完成任务。	值得验证；未独立复现	head1882c6ad（10-29）；性能9-28/29@7f6aafed	状态回滚负控、评测分母/终止证据schema；P1	[S1] https://github.com/Neroued/ninfer
Kernel/compiler＋受控搜索｜Xe-Forge，Intel GPU Triton/SYCL kernel优化	分阶段或tool-calling agent用编译、正确性、计时反馈迭代；主线具备试验源码哈希和外部评测入口，是系统组合/硬件定制而非已证实新算法。	已读源码与正确性协议；只有baseline时证明行为一致，不能发现原有bug。完整模型验证仍为Draft，反作弊扩展仍开放。	值得验证；开发中，非生产保证。本轮未运行、作者加速不能视为独立复现。	主线6cd3ee9（10-12）；首次仓库03-24，非今日新发。Draft #56不计入已实现。	现有证据/有界实验协议重叠；可比较外部evaluator与整模型推广门槛，不再造agent框架。P1：小kernel的oracle与成本契约。	[S2] https://github.com/IntelLabs/Xe-Forge
Serving配置搜索＋成本预测｜AMD Infera	确定性seed sweep后由LLM提议配置，以projector预测吞吐/延迟并筛SLO；可使用测量锚点，默认不是实机搜索。	源码有试验历史、调用预算和来源区分；10-30修复host TTFT/解码时钟并补SGLang EP通信成本。尚无本轮独立排名校准。	值得验证：候选预筛工具，不是已证实自主加速。预测SLO不能当服务SLO保证。	main ff1136e（10-30）；#219/#225已合入。首次仓库07-20，实验版本与校准条件须逐锚点记录。	可补候选预筛与测量锚点策略；现有预算/离线控制已重叠，不能把该模块当真实实验闭环。P1：冻结trace的排序误差检验。	[S3] https://github.com/AMD-AGI/Infera
语音流式 / runtime-serving / Schedule+kernel+投机｜yuekaizhang/faster-cosyvoice	CosyVoice3 speech-token与Token2Wav两段；按已发PCM预计可播放时长调度，先救即将断流请求、再首包，再最早deadline。跨session packed DiT，单session每批只入一个依赖Mel缓存的chunk；FlashInfer/graph/DSpark组合。系统组合和模型定制；相对SpeechSpec增加完整PCM serving、deadline队列与packed Token2Wav，不是同repo别名；作者issue1亦说可移植至Triton，不宜声称新投机算法或击败Triton通用能力。	作者报告单Hopper、固定参考音频/文本、seed0、warmup15s+measure60s，C1各首包均760ms；有p50/p95与累计ablation。2020 SeedTTS中文作者CER target1.1593%、draft1.1380%、均0生成失败。无独立复现；缺精确GPU型号、跨框架baseline版本、重复方差、音色/MOS/长尾多语言质量与真实客户端buffer证据。	值得验证；本批首选，不是生产推荐；未独立复现	f1049c59；实质更新 2026-10-09；实验 benchmark commit Oct9; no exact run timestamp	InferRSI可增加语音实验contract：TTFP+underrun+CER/音色+全pipeline成本；调度策略离线确定性，不是RSI自主搜索。优先复用评测定义，不在license未定时移植代码。	[S4] https://github.com/yuekaizhang/faster-cosyvoice
Diffusion图像/视频 / runtime / offload+量化+Cache｜THU-MIG/edge-dit.cpp	ggml原生DiT运行时，图分段、模型感知量化/放置、auto-fit与双buffer异步CUDA offload；缓存IR在读取失败时回退全计算。 ggml/sd.cpp已有技术的DiT系统组合与模型定制，不宣称新缓存算法；CAPABILITIES里Diffusers无cache仅测试harness覆盖，不能写主流实现不支持。	作者4090、batch1/seed0/每配置warmup1、3prompts均值；图像1024²/Wan832x480x41；区分denoise和E2E，E2E不含加载/编码。无独立复现/方差尾延迟；native f16与Diffusers bf16非同算术，q8/w8不同；sd.cpp分层计时混入加载量化，不能取速度比。Qwen-Image-Edit auto-fit q4_K dirCLIP0.031/Lightning0.019对约0.13–0.14，明确质量失败。	值得验证（内存规划与质量失败契约），不可作通用性能推荐；未独立复现	97cc585d；实质更新 2026-09-01 isolate LTX runtime; Aug31 LTX offload；实验 2026-08-05 4090 snapshot	优先可借鉴显存预算→候选计划→质量判据→失败知识保存；auto-fit只保证fit不保证质量，适合InferRSI质量先行门禁反例。	[S5] https://github.com/THU-MIG/edge-dit.cpp

观察

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific LLM｜Mach X（Intel Arc）	Q6_K kernel＋前缀快照＋prompt-lookup；硬件特化组合，非新投机算法。	有policy源码和测试；数字来自自改权重/重复文本，一卡缓存路径已知数值漂移。	观察；未独立复现	v0.2.34@d91c08e1（10-30）；实验10-28/29	候选回退/数值漂移失败知识；P2	[S6] https://github.com/Red-Weasel/machx-inference-engine

结论 / Now / Next / Watch

Now：优先读状态事务、语音完整性与质量失败合同；没有足够证据直接推荐性能收益。

Next：复用既有Harness、AB/BA、质量/预算/holdout门禁；#275/#268仍是受限在途能力，不再造agent框架。

Watch：历史速度、模拟预测和单算子收益不能替代当前版本任务级效果；许可不明先不移植代码。

建议验证（仅建议，不执行）

1 状态回滚：NInfer同模型同算术快照对照records/fold；拒绝/零接受/取消负控，检查状态和logits、内存、p95、全搜索成本。首次不一致即停止，预设单次资源预算。

2 语音质量：faster-cosyvoice固定Torch Flow baseline逐开关比较，至少3重复；CER/音色、PCM p95、断流及启动编译成本，先确认许可，质量退化即停。

3 预测校准：Infera用已存在的测量锚点离线比较seed-only与agent排序；固定版本与trace，成本预算相同；跨regime/实测来源不明不晋级。

证据索引

S1 RTX5090 32GiB, CUDA13.4, Qwen3.8-27B NVFP4/groupwise-int, FP8 row-256 KV, prefix disabled, chunk1024; 820 requests in20 configs reported error-free. Saturation C=8 NVFP4 922.4 tok/s is one selected steady wave, while full75-request corpus C=8 490.9 tok/s uses different denominator; neither is current-head benchmark. AIME15 all5 C1 samples hit65536 budget; C1 corpus completion limits33–39/75 depending profile. No answer accuracy in campaign. Separate model-card scores are not same-run quality gate.

来源：https://github.com/Neroued/ninfer/tree/1882c6adbc98043fcf89f3589aa5addb3742777a，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/maintainer/speculative-decoding.md，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/include/ninfer/ops/gdn_replay.h，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/performance/methodology.md，https://github.com/Neroued/ninfer/blob/1882c6adbc98043fcf89f3589aa5addb3742777a/docs/performance/qwen3.8-27b.md，https://github.com/Neroued/ninfer/commit/d602894abcd071c273003f021258f46608aab447，https://github.com/Neroued/ninfer/issues/394

S2 {"main": "Staged DSPy/Claude workspace plus merged dspy-agent54, tensor descriptors55. Trial keys bind source/spec/reference/variant hashes; rejects missing verdict and measured-attempt absent; explicit built-in benchmark opt-in; baseline-only oracle does not prove semantics.", "open_limitations": "53 integrity anti-hacking suite is OPEN.56 E2E model pipeline is DRAFT OPEN (head2af8e5427308ff5983b2f27a8eada829b0ec4873).57 eval-injection fix open.", "author_report": "PR56 B70 batch8 input2048 output4, gpt-oss20b MXFP4, three patches,3 captures per arm: device-time1495.8→1327.1ms (1.127x). Not E2E latency/task quality. Patched OpenVINO Phi fails8x2048 while baseline runs: retained negative result.", "paper": "https://arxiv.org/html/2605.26118v1: 97 KernelBenchL2/B70,1.17x geometric mean versus PyTorch eager; references to large kernel-only speedups use weak/unoptimized comparator, not service gain. Page first-submission date conflicts with ID month; avoid exact first-paper claim.", "missing": "Full search tokens/time/cost, matched current optimized baseline, task-level quality and independent repeated trials; Draft experiment version not linked to immutable raw artifacts."}

来源：https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/core/trial_manager.py，https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/skills/benchmark.py，https://github.com/IntelLabs/Xe-Forge/blob/6cd3ee98dfe32746b345a6abe521fa4cb9bdc187/src/xe_forge/engines/agent_engine.py，https://github.com/IntelLabs/Xe-Forge/pull/53，https://github.com/IntelLabs/Xe-Forge/pull/56，https://arxiv.org/html/2605.26118v1

S3 {"source": "inferasim-tune --inference required otherwise training; reproducible --seed-only comparator. Default has_gpu false scores projection. On serving path profiling-mode benchmark alone does not select hardware; has_gpu/cached anchor governs. memory-real/full remain serving projection; dry synthetic.", "budget": "max_perf_calls/max_benchmark_calls limits; max_proposals guidance only and axes applies to training, not serving. inference_trials.jsonl persisted/deduplicated including failed candidates.", "updates": "219 fixes host latency, independent P/D clocks, length ranges and prefill delayer.225 adds allreduce-mode EP dispatch and prefill live-KV diagnostics. Author reports593pass4skip for225; NOT independently run.", "stale_document": "manual/simulation/boundaries.md says no split P/D queues, but merged219 and des.py implement split clocks/queues; avoid repeating stale constraint.", "missing": "Frozen hardware/backend/model/trace calibration, rank correlation, quality controls for precision/speculation levers, measured vs projected provenance on every trial, full search LLM/evaluator cost and confidence intervals."}

来源：https://github.com/AMD-AGI/Infera/blob/ff1136e4a51998eba2933ed63cfb9c10120f86ea/infera/projection/agents/tuning_agent/evaluator.py，https://github.com/AMD-AGI/Infera/blob/ff1136e4a51998eba2933ed63cfb9c10120f86ea/infera/projection/agents/tuning_agent/inference_agent.py，https://github.com/AMD-AGI/Infera/pull/219，https://github.com/AMD-AGI/Infera/pull/225，https://rocm.docs.amd.com/projects/infera/en/main/simulation/tuning_agent.html

S4 作者报告单Hopper、固定参考音频/文本、seed0、warmup15s+measure60s，C1各首包均760ms；有p50/p95与累计ablation。2020 SeedTTS中文作者CER target1.1593%、draft1.1380%、均0生成失败。无独立复现；缺精确GPU型号、跨框架baseline版本、重复方差、音色/MOS/长尾多语言质量与真实客户端buffer证据。

来源：https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/docs/benchmark.md，https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/faster_cosyvoice/streaming/token2wav_scheduler.py，https://github.com/yuekaizhang/faster-cosyvoice/blob/f1049c59196c2c1a890079abc56056b43f27cd1d/pyproject.toml，https://github.com/yuekaizhang/faster-cosyvoice/issues/1#issuecomment-6159597813

S5 作者4090、batch1/seed0/每配置warmup1、3prompts均值；图像1024²/Wan832x480x41；区分denoise和E2E，E2E不含加载/编码。无独立复现/方差尾延迟；native f16与Diffusers bf16非同算术，q8/w8不同；sd.cpp分层计时混入加载量化，不能取速度比。Qwen-Image-Edit auto-fit q4_K dirCLIP0.031/Lightning0.019对约0.13–0.14，明确质量失败。

来源：https://github.com/THU-MIG/edge-dit.cpp/blob/97cc585d9dbd9ac5e30b78ef2e2c4a0d8bfbe9f2/docs/performance-4090.md，https://github.com/THU-MIG/edge-dit.cpp/blob/97cc585d9dbd9ac5e30b78ef2e2c4a0d8bfbe9f2/src/core/backend/ggml/cuda/ed_async_offload.cu，https://github.com/THU-MIG/edge-dit.cpp/issues/86

S6 Two Arc Pro B70 32GiB each, Nanbeige4.3-33B author-modified Q6_K 27GB, --ctx65536 --thinking on. Prompt restore5250/5414tokens in6ms, prefill21.4→1.7s; repeated-text lookup77.6tok/s,515/539 drafts accepted. This is a repeated-content case, not general-agent throughput. One-card ctx8192 constrained. Docs explicitly say no request lanes (parallel N queues); one-card cache path near ties can change greedy output after50–80words. int8-kv keeps fp16 cache so no claimed VRAM saving.

来源：Red-Weasel/machx-inference-engine@d91c08e1e07ea07c72d16ad80b70d58f81bb5358，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/docs/MODEL_SETTINGS.md，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/include/ie/dense_lookup.hpp，https://github.com/Red-Weasel/machx-inference-engine/blob/d91c08e1e07ea07c72d16ad80b70d58f81bb5358/tests/unit/dense_lookup_policy_test.cpp，https://github.com/Red-Weasel/machx-inference-engine/issues/3

覆盖有限，不宣称全网穷尽。新颖性主要是系统组合/模型特化，不等于算法创新。

2026-11-01｜新仓库研究

研究窗口截至2026-11-01 08:30北京时间；08:38复核源码。4项值得验证，无强性能推荐；未执行任何模型/GPU/付费实验。

发布前 main：218565698d850e955f85d0d394a5f0e5e3619812；已排除历史5页/8评论及当前105个来源文件中的已有repo。

已有AB/BA、质量/预算、KV workbench与owner-frozen单对live launcher；不等于通用自主优化。

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific / DeepSeek-V4-Flash；缓存与异步专家读取	把常驻专家计算与 SSD 缺页读取重叠，并批量合并专家请求。约40%继承 kimi-k3-in-c；新增价值主要在模型实现和独立 oracle，而非预取算法。	已读原始字节与整模型 oracle 测试、缓存/批量路径和撤回记录。没有同机强外部基线、完整质量任务或尾延迟证据；作者的微基准不能当 E2E 收益。	研究型 CLI；值得验证其校验/失败知识方法。未独立运行。	首见 2026-08-20；当前 d0402056，实质记录 08-25；11-01 核验，为历史新发现。	复用已有 offload/基准设计能力；候选补充是独立缓存读取 oracle、按剩余 miss 评估预取和热漂移反例，不新增自主搜索控制器。	S1 https://github.com/ronak-create/deepseek-v4-in-c
RSI测量/评测协议｜AutoTuneBench	提议→静态检查→执行→判定→保留；沿用OpenEvolve/KernelBench等。新增价值是测量反例和审计语料，不是新优化算法。	协议要求与执行代码存在差距；51/100正确、收益中位约1×对PyTorch eager，异常大收益隔离；不能作有效加速背书。	值得验证测量反例；未独立复现，不建议整体集成。	9-16 v1.0.0；head64cc8d7；实验9-12至15，为历史新发现。	P1：补处理是否实际生效、饱和与强baseline反例；复用当前质量/ABBA/预算/受限launcher。	S2 https://github.com/li-ch/autotunebench
语音流式 / NeMo-Speech.cpp：Nemotron ASR等C++运行时	ggml基础上的持久流式缓存、分块状态与重置测试；是runtime系统组合，非新的缓存算法。	作者给出WER/分块p99；Q8与FP32对照及重复次数不同，不能归因等质加速。HIP长音频和WebSocket负载问题仍开放。	值得验证；未独立复现，不作生产可用或速度背书。	7月建库；当前20999cc（10-30）。实验commit未锁。	P1：补流式reset/EOU/分块几何与长序列失败知识；复用既有评测，不新造自主搜索控制器。	S3 https://github.com/NVIDIA/NeMo-Speech.cpp
Decision/VLA / Embodied.cpp：SmolVLA等具身原生runtime	ggml原生量化与多阶段模型接口；相对已有vla.cpp，重点读闭环质量和完整请求测量契约，非新量化算法。	作者同边界308 vs491ms，但成功率83% vs86%、一任务9/20 vs20/20；不能称质量保持。	值得验证；延迟原始样本公开，闭环日志/dirty源码链不完整；未独立复现。	论文7-02，v3 8-09；实验9-30/10-02，main156bed（10-17）。不是今日实验。	P1：补全CPU观测→CPU动作边界、逐任务失败和质量门槛；先借用契约，暂不集成runtime。	S4 https://github.com/SEU-PAISys/Embodied.cpp

Now：优先学习独立oracle、状态重置与逐任务质量失败，四个项目均不代表已验证有效加速。

Next：复用现有质量/预算/比较器与受限launcher；#268仍是离线协调Draft，不重复造通用agent控制器。

Watch：历史实验不继承当前head；微基准、生成动作均摊时延、总体CI重叠不能代替E2E/质量非劣。

建议1（不执行）：1工程小时静态审计，比较AutoTuneBench协议与当前InferRSI严格校验，注入缺shape/错baseline/无处理回执；记录误放行、误拒和全成本，来源不明或重复现有门禁即停。

建议2（不执行）：固定小缓存fixture、偏移残差和工作集阈值，用独立字节oracle核DeepSeek读取；任何字节差或版本不全即停，后续模型性能另获授权。

建议3（不执行）：语音reset/EOU与VLA逐任务质量契约；先绑定实验源码和原始数据，等精度baseline、p95/p99、全搜索成本与预算预注册，质量退化立即停止。

证据索引

S1 [{"url": "https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_cache.c", "fact": "Independent pread fixture comparison; misaligned tensor offset residues; residents unchanged during async misses."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_model_oracle.c", "fact": "Actual-loader whole-model tiny independent PyTorch reference; async begin/end and ragged batch oracle code; not executed by us."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/d0402056d0da4bf7edfd2d4977de479a0db9d201", "fact": "Author 65-token route replay: previous-token predictions become cache hits above working-set threshold, not useful prefetch misses. Narrow trace/predictor/budget result; raw trace not located, not universal impossibility."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/08342537a5534d12ead4277d99b2d510b8ce50ba", "fact": "Author withdraws attention +13% regression and batch4 optimum due thermal/order drift. Deterministic cache-union cliff remains; no positive E2E conclusion."}, {"url": "https://github.com/ronak-create/deepseek-v4-in-c/commit/49a7af5b152d0147ae5291ca6ca79bd0fb65dcbe", "fact": "Current GPU batch implemented; component time 4.1/4.0s ->0.6/0.6s, paired TTFT 54.8/51.7->56.6/46.7(~3% mean) within noise; not E2E acceleration."}]

{"correct": "Code confirms O_DIRECT alignment and separate per-k reduction ordering, read overlap, independent pread fixture oracle and whole-loader tiny PyTorch oracle. Published README prefill/GPU statements stale; current CUDA includes k_mmq_fp8_n. Tiny fixture success does not establish full-model quality.", "solid": "Author records explicit repeated/interleaved checks and negative results, but not independently reproduced. No locked external same-machine comparison or broad quality/latency/cost package. Hardware exact CPU/SSD missing. Prior performance numbers do not transfer to head.", "timely": "Historical August project newly found November1. Head d0402056 is route-trace analysis, not new engine speed experiment. Aug25 GPU batch commit 49a7af5 and thermal retraction0834253 must supersede older README claims.", "novel": "Model-specific system combination and validation discipline, not independently established algorithm novelty. README acknowledges kimi-k3-in-c and existing colibri overlap/prefetch work. No original paper found.", "value": "Potential bounded evidence/quality test additions for existing inference-benchmark-design, weight-loading/offload/cache work. Need parent integrate current-main/inflight overlap; no claim current InferRSI lacks these generic mechanisms."}

版本/条件：{"head": "d0402056d0da4bf7edfd2d4977de479a0db9d201", "created": "2026-08-20T09:35:32Z", "last_substantive": "2026-08-25T10:49:32Z", "hardware": "Author: 20-core x86 AVX2/FMA (exact CPU absent), RTX5060 Laptop8GB sm120 CUDA13.3, WSL2 Ubuntu24.04 23GB VM, Gen4 NVMe5.3GB/s (exact drive absent)."}

限制：[]

来源：https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_cache.c
https://github.com/ronak-create/deepseek-v4-in-c/blob/d0402056d0da4bf7edfd2d4977de479a0db9d201/tests/unit/test_model_oracle.c
ronak-create/deepseek-v4-in-c@d040205
ronak-create/deepseek-v4-in-c@0834253
ronak-create/deepseek-v4-in-c@49a7af5

S2 "Author Sep15 GB10 KernelBench L1 pass@1 deepseek-flash, 100 tasks, 51 admitted correct, median1.0001× against PyTorch eager, 2 >10× anomalies quarantined. Paper remeasurement claims0.60% median run-to-run deviation over53 candidates. A/B mingpt_gelu_tune20iterations/arm: profiler hints OFF2.4840ms vs ON2.4957ms best, shared saturated wall; null, not benefit. Do not put speedup numbers in summary without these limits."

{"correct": "Original paper links canonical repo; source and evidence tables available. Important implementation gaps qualify strong paper claims.", "solid": "Pinned engine images/commits, negative controls and raw evidence present. Author-only experiments; eager KernelBench baseline is not modern strong compiled baseline. No independent reproduction or production E2E gain established.", "timeliness": "Historical September artifact first discovered this run; do not label today's release. Experimental numbers stay bound to September software/hardware.", "novelty": "System measurement discipline and audit corpus, not novel optimizer. Closest prior art KernelBench, OpenEvolve/Astra, existing paired benchmarking. Global novelty not proven.", "value": "Read treatment-delivery failures and saturation/strong-baseline counterexamples; InferRSI already has frozen plans, AB/BA, hidden grading, budgets and bounded edits, so do not add redundant general gate/controller."}

版本/条件：{"head": "64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f", "first_publication": "2026-09-16", "experiment_dates": "2026-09-12–15 historical pilot; paper v1 2026-09-16", "versions": "SGLang0.5.19@0bcd822377da7b5718e674eaf9c870d349424dd1; vLLM0.29.0@98dff2a81d747d1dba01a47f939f48c3526d4206; kernel GB10; held-out Apple M5 Max/MLX negative0.79× author-reported."}

限制：[]

来源：https://arxiv.org/html/2609.18123v1
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/ARTIFACT.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/config/protocol.yaml
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/pdb/ingest_validate.py
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/agents/loop.py
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/experiments/kernelbench_l1/results/TABLE.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/experiments/astra_parity/README.md
https://github.com/li-ch/autotunebench/blob/64cc8d7ca5d0ee40c4e2189b2c2c8dfb1a2a7c2f/figs/plot_cand_ab_saturation.py

S3 ["Open #98 reports long HIP audio hang from pinned ggml ARGSORT fallback; not independently reproduced and not a claim all backends fail.", "Open #73 describes websocket read drops under load and pending upstream-library fix; current main must not be described robust realtime serving.", "Optional model-backed geometry tests skip without a model; test source read is not a pass."]

{"correct": "Official NVIDIA ownership, fork=false, independent speech runtime using ggml/llama.cpp; cache-aware encoder source and geometry tests inspected. Not an alias/ordinary fork of prior llama.cpp entry.", "solid": "Bench entrypoints and WER/p99 exist. RTX4090 0.6B EN test-clean2620 utterances5.4h: 160ms chunks Q8_0 mean2.3ms/p992.8/WER2.66 versus NeMoFP32 mean20.7/p9922.7/WER2.69, AUTHOR REPORT ONLY. Different precisions, 3 cpp trials vs1 NeMo trial, baseline timing boundary and unlocked experiment revision prevent causal speed endorsement. TTS lacks perceptual quality evidence.", "freshness": "Current head Oct30; cache mechanisms preexisting, current runtime changed Oct28-30 incl SALM, no-voice decode and vendor BLAS. July repo is newly discovered, not newly launched. Benchmark update date not established.", "novelty": "Engineering composition around ggml/llama.cpp and existing NeMo models; strongest reusable point is per-stream ring/state geometry and reset/EOU testing, not novel model/cache algorithm.", "value": "Extend existing benchmark-design/failure evidence with streaming-session state invariants; likely compatible with existing harness contracts. Main architecture linkage must be finalized by parent, not claim an autonomous optimizer."}

版本/条件：{"current_sha": "20999cc921d2b14aa58708f61756a8b2e787ba20", "current_commit_date": "2026-10-30T08:44:44Z", "experiment_revision": "BENCHMARK.md does not pin implementation and baseline commit; do not transfer performance claims to current head"}

限制：["Open #98 reports long HIP audio hang from pinned ggml ARGSORT fallback; not independently reproduced and not a claim all backends fail.", "Open #73 describes websocket read drops under load and pending upstream-library fix; current main must not be described robust realtime serving.", "Optional model-backed geometry tests skip without a model; test source read is not a pass."]

来源：https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/BENCHMARK.md
https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/src/asr/encoder/cache_aware_encoder.cpp
https://github.com/NVIDIA/NeMo-Speech.cpp/blob/20999cc921d2b14aa58708f61756a8b2e787ba20/tests/cpp/asr/test_cache_stream_geometry.cpp
NVIDIA/NeMo-Speech.cpp#73
NVIDIA/NeMo-Speech.cpp#98

S4 ["6.161ms/generated action is latency divided by50, NOT control frequency or action response latency.", "VRAM1029 vs1671MiB is whole-device fallback in WSL, not process-only memory.", "Wilson CI overlap does not establish equivalence/noninferiority.", "Closed-loop raw artifacts are gitignored local outputs; report tables available but independent episode audit not established.", "Current-head code presence does not transfer old measured speed to current build."]

{"correct": "Paper author/project link resolves to SEU-PAISys/Embodied.cpp; fork=false. Source contains native VLA runtime and benchmark scripts. vla.cpp is explicitly nearest prior art, not an alias or rebranded version.", "solid": "RTX4060 Laptop sm89 WSL2, CUDA12.0/driver576.88, PyTorch2.5.1 CUDA12.4, LeRobot0.4.3 LIBERO0.1.0. Q8 native vs Python fixed 2 CPU CHW512 images/state8/instruction/noise50x32 -> full50x7 CPU actions, including preprocess/transfers/readback, cpp localZMQ.5warmup100timed20separate memory. AUTHOR REPORT:308.030ms mean/p99393.719 vs490.755/p99518.767. LIBERO-Object10tasks20episodes each166/200 vs172/200. Precision/runtime joint change, no quality equivalence.20episode per-task losses include9/20 vs20/20.", "freshness": "Current main Oct17 #15 includes SmolVLA followup; actual measurements Sep30/Oct2 and experiment hash distinct. Paper v3 Aug9 is background, not source of this later experiment.", "novelty": "Runtime/interface integration plus measured-contract hardening; no novel quantization claim. Nearest vla.cpp remains prior art only. Paper general ratios not recycled into this row.", "value": "Strong fit to inference-benchmark-design and fixed-workload audit evidence: separate generated-action division from control frequency, full request boundary, raw latency and task-specific quality failures. Reuse existing eval infrastructure; no need for new optimization controller."}

版本/条件：{"current_sha": "156bed151826780e2ce0132f8d0e3540889ae8cd", "current_commit_date": "2026-10-17T02:13:34Z", "experiment_revision": "3a3468cfe634e88d93d08aafcae89bd3ef0fb5a2; closed-loop2026-09-30/fixed-boundary2026-10-02. Closed-loop ran on dirty tree based dcedfec with binary hash but not full source patch identity."}

限制：["6.161ms/generated action is latency divided by50, NOT control frequency or action response latency.", "VRAM1029 vs1671MiB is whole-device fallback in WSL, not process-only memory.", "Wilson CI overlap does not establish equivalence/noninferiority.", "Closed-loop raw artifacts are gitignored local outputs; report tables available but independent episode audit not established.", "Current-head code presence does not transfer old measured speed to current build."]

来源：https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/smolvla_q8_object_followup_20260930.md
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/VLA_BENCHMARK_STANDARD.md
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/eval/smolvla_q8_fixed_boundary_20261002.json
https://github.com/SEU-PAISys/Embodied.cpp/blob/156bed151826780e2ce0132f8d0e3540889ae8cd/scripts/bench_vla_boundary.py
https://arxiv.org/html/2607.02501v3

模型/架构×runtime/serving×机制组合搜索，GitHub源码/commit/issues、原始论文、README/credits扩展；覆盖有限，不宣称全网穷尽。

2026-11-02｜新仓库研究

研究截至2026-11-02 08:30北京时间，08:36复核；4项值得验证+1项观察，无强性能推荐。未执行模型/GPU/付费实验。

main：6c9f90daae2d404915378b910f581b4dcff7e7da；已核历史6页/9评论/持久记录与552个main来源；新发现不等于今日发布。

已有AB/BA、质量/预算、KV workbench、owner-frozen单对launcher及ASR生命周期参考；不等于通用自主优化。

值得验证

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
model-specific / LLM混合递归状态｜OpenJet Engine（Qwen3.8-27B）	把整轮MTP草拟/验证放进持久CUDA内核，按已接受前缀懒重放Gated-DeltaNet状态；属模型定制系统组合，非新投机算法。	源码、运行入口、数值对照和作者基准可查；任务质量、尾延迟及完整实验版本清单仍缺。旧性能不可归因当前head。	值得验证；独立复现未执行。仅特定Qwen3.8形状/量化，24GB+为主要路径。	新发现≠新发布：repo 2/16；10/29作者基准；10/31 KV并行实现；核验head a2e228c（11/1）。	Next / P2：复用现有质量/预算实验框架，评估“接受/拒绝后的递归状态一致性+数值偏差”适配；不是新增通用控制器。	S1 https://github.com/L-Forster/open-jet
Decision/VLA｜FlashVLA（π0.5/SmolVLA）	交错噪声滚动action chunks＋异步执行；迁移视频分块扩散方法，需联合微调，不是普通fork。	有闭环与优化baseline；孤立20×不等于E2E。默认checkpoint/N与论文不一致，训练与冷启动成本不可忽略。	值得验证；未独立复现，非生产/机器人安全保证。	repo6-07；论文8-27；head8539f1c（10-25）；实验代码/权重未完整锁定。	P1：噪声/深度/执行horizon与闭环成功率共同门禁；先核训练权重，复用现有评测。	S2 https://github.com/z-lab/flashvla
语音流式｜Aqua-TTS（GPT-SoVITS）	静态KV/graph与AR请求全周期workspace租约，跨线程yield清理；系统正确性组合，非新算法。	有交替配对、置信区间和PCM/RNG对照；旧大收益未复现。TTFP为RAW PCM而非可听时刻，生产并发吞吐未证实。	值得验证状态所有权/实验契约；未独立复现。	v0.3.0/head eb8e0d5（10-21）；实验82b7ad5；修复与实验版本分离。	P1：graph capture和在途owner准入/取消；#301已有ASR生命周期，不把通用reset当新缺口。	S3 https://github.com/Lucas1479/Aqua-TTS
RSI / 评测层：RSI-Inference Bench，vLLM/SGLang真实模型任务	以37项支持、性能和回归任务检查源码优化；不是新优化算法。	核验独立verifier、paired baseline及候选捕获；环境描述有出入，部分负载仅1次测量。	值得验证；未独立复现，不背书榜单加速。	源码2026-10-16；head 1a38072（10-26仅榜单）。	P1：补最终候选捕获与失败分类；不重复已有ABBA/holdout控制器。	S4 https://github.com/apple-aiml-research/ml-rsi-inference-bench

观察

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
观察 / RSI评测：InferenceBench，Mistral-7B服务优化	固定预算agent对比等预算HPO，并审计最终服务与质量。	有可读源码；论文访问受阻，EOS可比性和单次质量gate仍有公开质疑。	观察；不引用旧榜单倍数证明有效加速。	head 108ec747，2026-10-26实质清理；历史实验版本待核。	P1反例：提交配置必须等于已测配置；分离EOS语义与质量gate方差。	S5 https://github.com/aisa-group/InferenceBench

Now：优先读状态一致性、完整候选捕获与闭环质量合同；不把微基准或榜单速度当独立效果。

Next：复用已有质量/预算/holdout与owner-frozen门禁；新增价值是模型/graph生命周期反例，不重复控制器。

Watch：历史实验与当前head分离；InferenceBench论文受阻，EOS/质量波动质疑未独立验证，保持观察。

建议1（不执行）：1工程小时离线夹具比较最终提交与最后合格测量身份、EOS/长度和成本记录；baseline为现有冻结合同，身份/版本不一致即停止。

建议2（不执行）：Aqua双generator取消与capture争用契约审计；记录状态所有权和测量端点。未来GPU配对需另授权，PCM/RNG损坏或baseline缺失即停。

建议3（不执行）：OpenJet接受/拒绝状态与FlashVLA冷启动/重置质量契约，固定checkpoint/采样/horizon；未来同条件ABBA报告p95、任务成功及编译训练全成本，预设预算，质量退化即停。

证据索引

S1 {"correctness": "Inspected qwen38_mk.cu dn_core (~1220 onward): np=n-dn_c accepted-but-uncommitted state, kvgb ring reload and new ring recording. Sampled verifier uses p/q acceptance and max(0,p-q) correction; no independent proof/test. #24 fixes draft-depth-dependent attention partition, merged 10/29; important not to repeat old claim of exact cross-depth behavior unconditionally. #28 shared-prefix/lowbit arithmetic can still differ at near ties. Text-only and ignored penalties are documented.", "solid": "Current README 10/29 Q4_K_M RTX3090 single conversation, q8_0 KV both engines, context106496, T1 top_p.95 top_k20 thinking xhigh,5coding prompts×4seeds plus98Kprompt×4seeds,1024 max output. llama.cpp b11982 MTP2 vs OpenJet MTP4: author reports short decode91.8 vs59.9tok/s;98K79.3 vs36.5; cold prompt82 vs112s. Do not interpret as same-policy causal speedup. run_compare.sh now has8seeds/4interleaved rounds and fingerprints in engine_compare.py, differing README4seed historical run; no committed results found in complete tree. Local absolute paths need adaptation. Earlier code/prose13299-position KL/PPL is numerical agreement not task quality; no tail or production load evidence.", "timeliness": "Main pinned a2e228c, author article pins older8f29aff and explicitly says experiments not rerun. 10/29 table newer than article older 78vs50.9. Report dates separately; no inference that latest commit validates latest performance.", "novelty": "Prior art exact speculative decoding/MTP, persistent-kernel fusion, GDN recurrent rollback/replay. Concrete combination reduces host launches and shares weight loads across verification positions. No demonstrated algorithm novelty; do not call new RSI search.", "value": "InferRSI existing ABBA,quality,budget and KV launcher should be reused. Potential learning is state rollback invariant/accepted-prefix replay verification adapter and categorical failure knowledge for draft-depth/layout changes. Needs parent main mapping before integration claim."}

{"limits": ["Up to8conversations/16verify rows only original Q4_K_M path; mixed quant build single conversation.", "Presence/repetition penalties not implemented; text only; early-history edits reprefill; no slot save/restore.", "Supported/tuned main route sm86/89/120≥24GB; sm75 experimental and lowbit cache unsupported.", "#28 author reports~0.7% single-stream slowdown from register allocation and not universally byte-identical shared-prefix paths.", "No independent run; historical headline not promoted to validated speed."]}

版本：{"repo_created": "2026-02-16T01:26:28Z", "head": "a2e228cca296aba37f3ff8a8e15e08eded8ebc5c", "head_date": "2026-11-01T18:43:50Z", "latest_relevant_update": "PR #28 low-bit paged KV merged 2026-10-31T15:25:24Z; source-level GDN lazy replay predates this. Author engineering article 2026-10-29. Latest head is Windows portability, not a new experiment."}

限制：["Up to8conversations/16verify rows only original Q4_K_M path; mixed quant build single conversation.", "Presence/repetition penalties not implemented; text only; early-history edits reprefill; no slot save/restore.", "Supported/tuned main route sm86/89/120≥24GB; sm75 experimental and lowbit cache unsupported.", "#28 author reports~0.7% single-stream slowdown from register allocation and not universally byte-identical shared-prefix paths.", "No independent run; historical headline not promoted to validated speed."]

来源：https://github.com/L-Forster/open-jet/blob/a2e228cca296aba37f3ff8a8e15e08eded8ebc5c/megakernel/qwen38_mk.cu
https://github.com/L-Forster/open-jet/blob/a2e228cca296aba37f3ff8a8e15e08eded8ebc5c/megakernel/README.md
https://github.com/L-Forster/open-jet/blob/a2e228cca296aba37f3ff8a8e15e08eded8ebc5c/megakernel/bench/engine_compare.py
https://github.com/L-Forster/open-jet/blob/a2e228cca296aba37f3ff8a8e15e08eded8ebc5c/megakernel/bench/run_compare.sh
L-Forster/open-jet#24
L-Forster/open-jet#28
https://www.openjet.dev/engineering/openjet-engine

S2 {}

{"correctness": "Read actual pi05 denoise/shift/cold-start/reset implementation, async manager and latency harness. Official paper links canonical repository. Based on LeRobot/VLASH but substantive action-model method, not ordinary fork.", "solid": "Author LIBERO RTX4090 closed-loop report: 2000 episodes/run, five runs, same 5-action execution horizon; π0.5 96.9%/53.8ms vs FlashVLA d1 97.8%/22.1ms. 2.43x refers wall-time per action including rendering; 20x is isolated action-decoding profile, not E2E. RTX4090/5090 latency uses 100 samples after10warmups with same graphs/fusion. Paper hardware/training:8H200,50K LIBERO steps; training cost not negligible.", "novelty": "Transfers streaming chunk-wise diffusion from video (Diffusion Forcing/StreamDiT/MAGI) into action decoding; not generic invention of rolling buffer. Compared with VLASH/StreamingVLA and optimized π0.5. TT-RTC not directly compared (author issue #3).", "value": "Extend existing VLA closed-loop evaluation/async boundary knowledge, not duplicate an already-generalized backend. Candidate search space must include noise schedule, buffer depth, cold/reset cost, execution horizon and task success; failure knowledge should reject apparent speedups caused by task failures. Do not call this autonomous RSI.", "experiment_version": "paper v1; experiment code/checkpoint exact SHA not fully pinned, cannot attribute reported results to head", "limits": ["Cold start N-1 steps/episode; hold-pose behavior must suit robot.", "SmolVLA async success 79.5 vs80.1 baseline; not universally quality-preserving.", "RoboTwin E2E only1.08–1.10x due simulator/communication dominance.", "Real-world15rollouts/task and successful-only completion time, no broad safety validation.", "Latest10-25 change enables baseline compile and sets LIBERO execution horizon5; no new experiment claim.", "Default latency FlashVLA YAML points lerobot/pi05_base, comment requires trained checkpoint; paper uses N4 while default YAML N5. Must explicitly pin trained weights/config before reproduction.", "No independent experiment or tests run; raw confidence intervals/tail latency and fully pinned baseline checkpoints remain gaps."]}

版本：{"created_at": "2026-06-07T02:57:11Z", "head": "8539f1cdfcf878e3a93c39f3d6c885c19ede6af8", "head_date": "2026-10-25T03:20:32Z", "experiment_version": "paper v1; experiment code/checkpoint exact SHA not fully pinned, cannot attribute reported results to head"}

限制：["Cold start N-1 steps/episode; hold-pose behavior must suit robot.", "SmolVLA async success 79.5 vs80.1 baseline; not universally quality-preserving.", "RoboTwin E2E only1.08–1.10x due simulator/communication dominance.", "Real-world15rollouts/task and successful-only completion time, no broad safety validation.", "Latest10-25 change enables baseline compile and sets LIBERO execution horizon5; no new experiment claim.", "Default latency FlashVLA YAML points lerobot/pi05_base, comment requires trained checkpoint; paper uses N4 while default YAML N5. Must explicitly pin trained weights/config before reproduction.", "No independent experiment or tests run; raw confidence intervals/tail latency and fully pinned baseline checkpoints remain gaps."]

来源：https://arxiv.org/html/2608.27384v1
https://z-lab.ai/projects/flashvla/
https://github.com/z-lab/flashvla/blob/8539f1cdfcf878e3a93c39f3d6c885c19ede6af8/flashvla/async_manager.py
https://github.com/z-lab/flashvla/blob/8539f1cdfcf878e3a93c39f3d6c885c19ede6af8/flashvla/policies/pi05/modeling_pi05_flashvla.py
z-lab/flashvla@8539f1c
z-lab/flashvla#3 (comment)

S3 {}

{"correctness": "Read CUDA execution admission source and full tree; code uses owner identity across generator lifetime, releases thread binding before yield, defers capture under other owners. PRs14/23/24/27 document actual concurrency/HTTP cleanup failures and tests.", "solid": "Author controlled10-21 Windows11/Python3.12.10/Torch2.6cu124/FA2 2.7.4/RTX4070Ti SUPER overUSB4 fp16.20 alternating pairs per51/123/180 step T2S shape,15paired warmups,5000 bootstrap. SDPA short1.98%(0.31,4.67);FA2 conversation4.65%(2.24,6.64); long intervals include0.120pairs same semantic bytes+CUDA RNG; real-weight V3/v2Pro short/long controlled groups match PCM bytes. Much larger historical batch differences did not reproduce same-session.", "novelty": "Independent runtime integration over separately supplied GPT-SoVITS and adapted BigVGAN; NOTICE identifies borrowed modules. System correctness combination rather than new attention algorithm; not ordinary GitHub fork.", "value": "InferRSI #301 already covers ASR streaming lifecycle basics. Additional narrow value: graph-capture versus in-flight owner admission, generator cleanup across threads, paired mutation testing and timing endpoint identity; do not present generic stream reset as new gap.", "experiment_version": "82b7ad5737a6b94c2424d022c3ea1300be5c7d38 final10-21 measurement; production fix8cef3a9; upstream08d627c3338173c3229286d8787060d6559fe0f8", "limits": ["TTFP is first RAW PCM before silence buffering/trimming, not audible onset/HTTP availability/playback.", "No official upstream engine matrix rerun after latest fix: don't claim current upstream speedup.", "Current GPU evidence single eGPU Windows; final candidate Laptop/twoGPU validation pending.", "No broad MOS/WER quality gate; paired byte equality supports tested workloads only.", "Different graph keys independent but same-workspace AR owners serialize; production concurrency throughput not established.", "530passed/2skipped is author report; no tests independently run."]}

版本：{"created_at": "2026-05-24T16:36:52Z", "head": "eb8e0d59a9ca317b40d8182b04c12ba01a489f8d", "head_date": "2026-10-21T08:40:00Z", "version": "0.3.0", "experiment_version": "82b7ad5737a6b94c2424d022c3ea1300be5c7d38 final10-21 measurement; production fix8cef3a9; upstream08d627c3338173c3229286d8787060d6559fe0f8"}

限制：["TTFP is first RAW PCM before silence buffering/trimming, not audible onset/HTTP availability/playback.", "No official upstream engine matrix rerun after latest fix: don't claim current upstream speedup.", "Current GPU evidence single eGPU Windows; final candidate Laptop/twoGPU validation pending.", "No broad MOS/WER quality gate; paired byte equality supports tested workloads only.", "Different graph keys independent but same-workspace AR owners serialize; production concurrency throughput not established.", "530passed/2skipped is author report; no tests independently run."]

来源：https://github.com/Lucas1479/Aqua-TTS/blob/eb8e0d59a9ca317b40d8182b04c12ba01a489f8d/NOTICE
https://github.com/Lucas1479/Aqua-TTS/blob/eb8e0d59a9ca317b40d8182b04c12ba01a489f8d/aquatts/inference/cuda_execution.py
https://github.com/Lucas1479/Aqua-TTS/blob/eb8e0d59a9ca317b40d8182b04c12ba01a489f8d/benchmarks/results/latency-fix-20261021.md
Lucas1479/Aqua-TTS#14
Lucas1479/Aqua-TTS#24
Lucas1479/Aqua-TTS#27

S4 {"correct": "作者README与37任务代码对应；静态核Qwen3.6-27B单H100任务配置、score、capture、equivalence及verifier。未运行。", "solid": "源码具有独立verifier、paired baseline、正确性门槛、环境固定和失败分类；但样本task.toml标torch2.11/CUDA12.9而instruction标torch2.10/CUDA12.8，需以实际镜像核准。decode/high-load重测数各1、prefill5，不能泛称5次重复。", "timely": "10/16发布源码；10/26只更新榜单。实验版本/结果未独立复现；不报告加速倍数。", "novelty": "不是新优化算法；相对孤立kernel benchmark，新增生产engine生命周期(支持/性能/回归)任务与源码级候选裁决。已有paired/quality思想非新颖。", "value": "InferRSI已具ABBA/质量/全循环预算/holdout与owner-frozen live launcher，不再造控制器。P1借鉴最终候选完整捕获、测量类别与负结果契约；长任务作为未来外部评测库，非直接集成。"}

{"limits": ["closed-loop c16/c32/c64仅吞吐容量，不证明SLO/tail或到达稳健性", "multi-token equivalence记录而不硬gate；高并发batch构成引起差异，不可归因patch", "公开任务提示/参考答案可能泄漏；独立holdout不可直接复用为训练信号", "1–8 GPU与最长8h成本较高，此轮只建议离线契约审核"]}

版本：{"sha": "1a38072fbe284234c874356b86c9df666a5a79a3", "first_code_date": "2026-10-16", "latest_substantive": "2026-10-16 initial source; 2026-10-26 is leaderboard update only"}

限制：["closed-loop c16/c32/c64仅吞吐容量，不证明SLO/tail或到达稳健性", "multi-token equivalence记录而不硬gate；高并发batch构成引起差异，不可归因patch", "公开任务提示/参考答案可能泄漏；独立holdout不可直接复用为训练信号", "1–8 GPU与最长8h成本较高，此轮只建议离线契约审核"]

来源：https://github.com/apple-aiml-research/ml-rsi-inference-bench/blob/1a38072fbe284234c874356b86c9df666a5a79a3/tasks/optimize_qwen3_6_27b_1xh100_open/task.toml
https://github.com/apple-aiml-research/ml-rsi-inference-bench/blob/1a38072fbe284234c874356b86c9df666a5a79a3/tasks/optimize_qwen3_6_27b_1xh100_open/tests/_verifier_lib/candidate_capture.py
https://github.com/apple-aiml-research/ml-rsi-inference-bench/blob/1a38072fbe284234c874356b86c9df666a5a79a3/tasks/optimize_qwen3_6_27b_1xh100_open/tests/_verifier_lib/equivalence.py

S5 {"correct": "核canonical repo/官网/quality_gate.py/lock及issues；论文无法读取，不能称五门槛全部通过。", "solid": "匹配墙钟预算的random/TPE/SMAC基线；固定开发/评估seed对；当前质量默认500题与reference准确率比阈值。公开未回应issues #4 EOS工作量与旧榜单不可比、#5单次质量估计波动，均为他人报告未独立验证。", "timely": "当前head改动了质量与长度处理，旧paper/榜单不可无条件继承；vLLM lock0.11.0/SGLang0.5.10.post1不能称最新引擎强基线。", "novelty": "系统评测组合：固定预算服务器提交、质量+integrity和非agent等预算HPO对照；非新kernel算法。", "value": "P1反例库：最后一次测量后再改配置、EOS公平性、统计gate与候选同一性；InferRSI已有预算/holdout机制，价值是回归夹具而非重复控制层。"}

{}

版本：{"sha": "108ec747fab0bd92fd9de501f62157d074c50ed5", "first_repo_date": "2026-04-30", "first_publication": "not verified; official openreview PDF blocked by verification page; obsolete assets/paper.pdf 404", "latest_substantive": "2026-10-26 prepare public release: evaluator/baselines/container fixes and Harbor adapter"}

限制：[]

来源：https://github.com/aisa-group/InferenceBench/blob/108ec747fab0bd92fd9de501f62157d074c50ed5/src/eval/inference/quality_gate.py
aisa-group/InferenceBench#2
aisa-group/InferenceBench#4
aisa-group/InferenceBench#5

模型/架构×runtime/serving×机制检索，官方源码/版本/issue与原始论文/作者blog扩展；非全网穷尽。已报及普通衍生排除；SEIS映射未核不计新增。

2026-11-03｜新仓库研究

截止2026-11-03 08:30北京时间；08:31发布前核验。5项仅值得验证，无独立复现/强性能推荐；未跑模型、GPU或付费实验。

main 2baebf6；历史7页/10评论/当前来源排除129个身份。历史新发现不等于今日发布。

复用现有ABBA/质量/预算/holdout和受限launcher；#268未合并，#319只读dashboard，不代表通用自主驱动。

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
RSI / kernel｜auto-gpu-kernel	多轮agent改核函数，质量先行、同harness worktree A/B和成本日志；是工程组合，不是已证明新算法。	固定A→B不随机；预算在轮间检查且继承环境、无容器。不是安全隔离/硬预算，竞赛数据不能外推。	值得验证方法/契约；不作有效加速背书。	09-12 @ db02153a64f0edf9d428f91a241d5cca2ddef9dd；历史新发现。	P1：实验账本、失败恢复与测量顺序反例；复用已有ABBA/预算门禁。	S1 https://github.com/Dogacel/auto-gpu-kernel
RSI / engine｜SEIS	自主修改推理引擎并保留跨试验知识；贡献是系统迭代组合，失败知识可能传播错误。	论文H100单请求最佳3.27×仅作者报告。代码为较早RTX PRO6000实验，非论文实现；decode/EOS/词表检查不完整。	值得验证方法/契约；不作有效加速背书。	论文10-03 v1；代码bf2ddc5c5882a2573756b744c0e88c1b154739fa为03-23旧实验。	P1：质量门和失败知识失效；只读方法，不照搬跳过权限选项或另造控制器。	S2 https://github.com/smth-fun/self-evolving-inference-system
Diffusion视频｜SparkDiffusion	Wan2.1/2.2稀疏低秩、蒸馏与FP8联合优化；系统/模型联合改变，不归因单kernel。	5090 14B720P的3-step CFG-free对50-step dense，比较条件同时变化。wrapper只测denoising，不含VAE/视频写出；质量未逐表核完。	值得验证方法/契约；不作有效加速背书。	论文2609.23153v2（10-08）；源码3fd210c7baaf6ad233ce4c730d0e329bb8014b6b；实验SHA未锁。	P1：分阶段计时与质量门；保留步数/CFG/精度等配置身份，不做跨条件性能排名。	S3 https://github.com/AlibabaResearch/SparkDiffusion
Decision/VLA｜EagleVLA-Edge	flow图复用与异步执行；旧名Jetson-PI-Edge，算法仓EagleVLA另有身份，不重复计数。	论文Thor PI0.5 P50 457.9→132.8ms为作者报告；控制频率、单次时延与闭环成功率不能互换。	值得验证方法/契约；不作有效加速背书。	论文2607.12659v7（10-23）；master619e92e878a25df3e9cc0ce87b8f3a61283146e7，实验对应未锁。	P1：VLA闭环指标/异步边界契约，复用已有评测；先锁模型、horizon、质量与控制条件。	S4 https://github.com/PKU-SEC-Lab/EagleVLA-Edge
model-specific / Intel Arc｜arcint	llama.cpp/OpenCL/XMX组合，专家miss CPU AVX2路径移植Strata；属于工程组合/硬件适配，非新算法。	旧v1.2.1 B60 Flash-Next IQ3_XXS约33.9→38.0 tok/s；8答中3答字节变化未解释，不能断言质量不变。	值得验证方法/契约；不作有效加速背书。	v1.2.7 tag1d93d5d（10-30）；性能属于旧v1.2.1，不转移给新版本。	P2：版本绑定、专家miss与质量变化失败知识；不重复已有offload/cache机制。	S5 https://github.com/marfrit/arcint

Now：优先审阅实验账本、完整质量门与历史版本绑定，保留失败/撤回证据。

Next：候选只扩充模型或执行路径的契约；已有控制器与比较器不重复构建。

Watch：论文最佳值、denoise时延或P50不能代替当前版本同条件E2E、质量与尾延迟。

建议1（不执行）：假设最终候选与测量/质量版本严格一致；用现有冻结合同对照离线缺decode/EOS/词表及过期失败知识夹具，记录误放行、误拒、总审计成本。预算1工程小时，版本缺失或已有重复覆盖即停。

建议2（不执行）：假设分阶段加速能在同质量、相同步数/CFG/精度或同闭环horizon下转化E2E；先只做静态配置/计时边界审计，baseline为同版本完整流程。未来实验另获授权，预设质量阈值、p95/成本及资源上限，任何质量退化/语义变化未解释即停。

证据索引

S1 没有本轮硬件/模型完整同条件独立实验；不引用竞赛倍数证明端到端收益。

09-12 @ db02153a64f0edf9d428f91a241d5cca2ddef9dd；历史新发现。

https://github.com/Dogacel/auto-gpu-kernel/blob/db02153a64f0edf9d428f91a241d5cca2ddef9dd/kbench/task.py

S2 论文/代码实验映射未闭合，推荐仅限方法审阅；3.27×不代表并发、尾延迟或当前代码收益。

论文10-03 v1；代码bf2ddc5c5882a2573756b744c0e88c1b154739fa为03-23旧实验。

https://arxiv.org/html/2610.04646v1
https://github.com/smth-fun/self-evolving-inference-system

S3 作者论文条件，未独立运行；质量证据逐表和当前实现到实验版本映射仍缺，不作生产性能背书。

论文2609.23153v2（10-08）；源码3fd210c7baaf6ad233ce4c730d0e329bb8014b6b；实验SHA未锁。

https://arxiv.org/abs/2609.23153v2
https://github.com/AlibabaResearch/SparkDiffusion

S4 当前默认分支master已取得；历史论文数据不继承当前head。缺独立复现与同条件完整质量/成本审计。

论文2607.12659v7（10-23）；master619e92e878a25df3e9cc0ce87b8f3a61283146e7，实验对应未锁。

https://arxiv.org/abs/2607.12659v7
https://github.com/PKU-SEC-Lab/EagleVLA-Edge

S5 A770/B60是目标路径；旧B60单实验作者自报，缺完整任务质量和当前版本同条件强baseline；仅值得进一步核验。

v1.2.7 tag1d93d5d（10-30）；性能属于旧v1.2.1，不转移给新版本。

https://github.com/marfrit/arcint/blob/main/CHANGELOG.md
https://github.com/marfrit/arcint

组合检索、canonical/别名、源码/原文与历史去重；并非全网穷尽。NeMo-Speech.cpp/SpecSpeech/ReplaySSM等旧项目不独列；源码404或证据弱候选省略。

2026-11-04｜InferRSI 每日研究

证据截止：北京时间 2026-11-04 08:30；发布前复核 main。3 项值得验证、2 项观察，均未独立复现；未运行模型/GPU/付费实验。

main 663f3b3；已按既有报告与当前知识库去重。历史新发现不等于今日发布。

复用已有 AB/BA、质量/预算/holdout 与受限 launcher；#319 仍是开放 PR，支持只读实时 loopback 观察；#338 CPU 题包/oracle 为 Draft，不是主线能力。

值得验证

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
LLM / WebGPU｜Pooled（原 SwarmLLM）	GPU LRU、RAM SLRU、SSD 与 WebRTC 分层的浏览器组合；不是新缓存算法。	RTX 5070 / Qwen3.6 35B-A3B 为不同缓存预算的作者对照，非击败原生引擎。读回成本随 Deno/Dawn 改变，少量 greedy golden 不足证明质量。	值得验证；源码可查，未独立复现。	v2.0.0（10-16）；HEAD 45b5ee2（11-03）只改 worker 清理。Flash MTP 未进入 2.0。	P1：扩充已有受控实验的 cache budget、拷贝/readback 成本，不重复造 runner。	S1 https://github.com/Nehanth/pooled
RSI / kernel→模型｜LLM4LLM	内核 generate/verify/restart 有自主闭环，提取部署上下文并 patch/fallback。	整模型拒绝是否回馈未核实，三个 CLI 分开；runtime_safety_gate 默认关闭。kernel 数值正确不等于任务质量。	值得验证方法；未独立复现，不作生产加速背书。	HEAD 4e51e82（08-22）；论文 2608.21836v1，历史新发现。	P1：内外层反馈与独立质量门；复用已有比较器、holdout 和成本账本。	S2 https://github.com/hzeng2000/LLM4LLM
RSI / kernel｜AKO4X	跨轮保存基线、谱系和失败；贡献是可复用实验流程组合。	报告多数成果为人工 Mode 1；自主 Mode 3 只有两项 pilot。目录复制及宽权限不是强沙箱，冻结评分多数靠协议。	值得验证方法；算子结果不代表模型端到端收益。	HEAD ce030eb（09-15）；报告与实验版本对应仍需锁定。	P1：失败记录可撤销、版本谱系和受控实验；不复制宽 Bash/Read/Write 权限。	S3 https://github.com/TongmingLAIC/AKO4X

观察区

分类 / 项目与目标模型	新增机制及 prior art	关键证据 / 缺口	成熟度 / 推荐级别	时效版本	InferRSI 接点 / 优先级	来源
Decision / VLA｜MagiclabRobotics/Inference	π0.5 异步观测、推理、控制与动作缓冲；已有 RTC/Legato 等的系统集成。	论文 2.804× 为模型推理，不是闭环；成功率下降且任务时间增加。源码尚未定位论文两阶段采样与组合路径。	观察；仅作复现边界/闭环负例，不推荐加速方案。	HEAD bb6934e7（10-01）；论文 2609.39822v2（10-03）。	P2：动作时效、闭环成功率和任务耗时；不能以 forward 延迟代替任务收益。	S4 https://github.com/MagiclabRobotics/Inference
RSI / kernel｜multi-agent-kernel-gen-loop	公开 prompts、profiler 与 acceptance test；配对检验及规则重验证可借鉴。	没有 kernel、编排与运行记录，不能据此复现完整闭环。论文小样本假阳性约 7–9%，不等于可靠自动验收。	观察；方法材料可读，完整复现入口不足。	HEAD 8cafc1a（10-28）；旧实验不归于新 HEAD。	P2：审计配对检验与接受规则；复用既有实验门禁，不另造控制器。	S5 https://github.com/bgchun-fs/multi-agent-kernel-gen-loop

Now：先审计内外层质量反馈、版本谱系和全搜索成本；新仓不等于新算法或已有效加速。

Next：把浏览器 cache/readback 和 VLA 闭环指标作为现有契约扩展，不重复建立通用 runner、题包或自主控制器。

Watch：kernel/模型时延下降可能伴随任务质量下降；作者历史实验不可外推当前 HEAD、并发 serving 或其他硬件。

建议 1（仅建议，不执行）：假设内层 kernel 接受不能替代整模型质量；以现有冻结质量/holdout 契约及未修改模型为对照，静态审计拒绝是否回馈、版本是否锁定，记录误放行和审计全成本。预算 1 工程小时；缺完整反馈/实验身份或已有覆盖即停，GPU/模型测试另需授权。

建议 2（仅建议，不执行）：假设局部加速在同质量下仍有完整流程收益；先审计同版本、同 cache budget/负载的原生/浏览器对照，VLA 则用同 checkpoint、horizon 的原策略。未来实验需分别记录任务质量、p95/E2E、拷贝/预热/搜索总成本；固定资源上限，质量下降或对照不等价立即停止。

证据索引

S1 RTX 5070 12 GB，Node 24 + Dawn 0.6.1，D3D12/FXC，Qwen3.6-35B-A3B，128 decode tokens。4 GB/50 slots 与 8 GB/109 slots 对照，512/2048 prompt；作者数据，缺任务质量与完整尾延迟。

实验为 10-02；当前 45b5ee275a8754a37fce4a6ce174f31e4a216ef4，不继承历史速度。

https://github.com/Nehanth/pooled/blob/main/docs/bench-log.md
https://github.com/Nehanth/pooled/blob/45b5ee275a8754a37fce4a6ce174f31e4a216ef4/engine/expert_store.js

S2 论文 A100/H100 几何均值对 eager；不是等价生产 serving 强基线。成本无系统对照，完整任务质量与内外层回馈尚未闭合。

论文 v1 / 代码 4e51e82；本轮未运行测试，论文实验到代码的版本映射未锁。

https://arxiv.org/abs/2608.21836v1
https://github.com/hzeng2000/LLM4LLM

S3 技术报告明确人工 Mode 1 与自主 Mode 3 的证据不同；两项 pilot 不足外推。固定质量、同条件强 baseline、全搜索成本仍需逐案例审核。

代码 ce030eb（09-15）；未独立复现，不声明报告结果是当前 HEAD 的收益。

https://tongminglaic.github.io/AKO/assets/ako-tech-report.pdf
https://github.com/TongmingLAIC/AKO4X

S4 RTX 4090 D 24 GB / JAX，620 次调用排除首次 JIT：61.557→21.956 ms。双 Piper 臂每方法 30 次：Legato 成功 29→26，成功任务 73.56→76.13 s；说明闭环退化。

论文 v2；源码 bb6934e7a472ab2c991787c079b184f7c52342be；未找到论文两阶段组合不等于证明所有分支不存在。

https://arxiv.org/html/2609.39822v2
https://github.com/MagiclabRobotics/Inference/blob/bb6934e7a472ab2c991787c079b184f7c52342be/server/openpi/policies/policy.py#L88-L103

S5 公开材料缺完整可执行闭环/原始运行记录；小样本假阳性说明接受规则需要独立重验证，不证明端到端生产收益。

代码 8cafc1a（10-28）；实验环境、模型与完整成本映射不足。

https://github.com/bgchun-fs/multi-agent-kernel-gen-loop

本轮为公开源码、原文与作者资料审阅，组合检索并非全网穷尽。

本次触发是维护者在固定研究索引 #177 下发布的 2026-11-04 日报（3 项值得验证 + 2 项观察），明确只做公开资料审阅、未执行模型/GPU、不建议代码修改或知识入库。我核对了可验证部分：main 663f3b3 与报告一致；#319 为 open 且确含只读 loopback live 模式，#338 为 Draft；Pooled/LLM4LLM/AKO4X/MagiclabRobotics-Inference/multi-agent-kernel-gen-loop 在知识库与历史评论中均无命中（去重声明成立）；引用的上游 HEAD 与日期、Pooled docs/bench-log.md 的 4 GB/50 slots 与 8 GB/109 slots 数字均与上游一致，性能收益仍为作者自报、未独立复现。结论：无需代码变更，报告可作为研究记录接受，以下三条是格式与可追溯性改进点。

F1 — “与 InferRSI 的关系”未落到实际模块/owner/open PR

Where: Issue [Research Radar] AI inference performance & RSI — daily categorized insights #177 正文“分类维度”第 6 条要求“映射实际模块与现有 owner，不重复建 runner/catalog”；评论 6619250090 表内“InferRSI 接点 / 优先级”列。
Problem: 五行的接点都是“扩充已有受控实验”、“复用已有比较器、holdout 和成本账本”、“复用已有实验门禁”一类泛化说法，既没有 skill/模块路径，也没有既有 open issue/PR 编号。这些对象在仓库里是可指的，例如 src/inferrsi/data/skill_library/methods/inference-benchmark-design/SKILL.md、docs/kv-live-launcher.md、docs/harness-improvement.md、docs/skill-eval-budget-core.md；不写出来，“已有覆盖”就无法被读者核对。
Conditions: 后续要把某条候选转成受控实验，或判断是否与现有 owner 重叠时。
Impact: 报告自身定义的关系维度没有兑现；与 10-30 报告（直接链接 repositories/project-maya/metadata.json、methods/optimization-search-policy/SKILL.md）相比，可追溯性明显下降。
Fix: 每条至少写一个具体接点（模块/skill 路径，或 feat: distill recurrent KV finalization and retirement #121/knowledge: qualify causal-conv1d forward and state contracts #164/knowledge: trace vLLM GDN convolution phases and state #169 这类在途 PR），并区分“已有能力”与“可扩展缺口”。

F2 — kernel 自主优化三条未说明与此前已报项目的关系

Where: 评论 6619250090 中 LLM4LLM、AKO4X、multi-agent-kernel-gen-loop 三行的“新增机制及 prior art”列。
Problem: 本 issue 在 10-27 至 11-03 已报过 JustGoal、Atrex Kernel Agent（acceptance: HunyuanImage-3.0 DiT 1024×1024 single-image latency optimization / local L20X #125，10-29 合入）、auto-gpu-kernel、SEIS、Xe-Forge 等 kernel 闭环项目；今日这三条同属该机制族，但 prior-art 列只描述自身机制，没有一句与这些已报项目的差异，所谓去重实际只停留在 repo 身份层。
Conditions: 读者用日报挑选“值得验证”方向、判断新增价值或准备搜索/评测设计时。
Impact: 索引在机制层累积近似条目，读者无法判断今日增量；这也不满足 Issue 正文“延续历史去重与更正”的意图。
Fix: 每条补一句相对已报项目的差异与可复用边界（例如“相对 Atrex 的 receipt/retry 语义，AKO4X 新增的是跨轮谱系与失败保存”），把机制重叠加进历史去重，而不只是 repo 名去重。

F3 — 三个条目缺少“模型/工作负载”与“系统层级”分类值

Where: 评论 6619250090 表中 LLM4LLM、AKO4X、multi-agent-kernel-gen-loop 三行的“分类”列；全表没有“系统层级”字段。
Problem: Issue 要求每条发现同时带六个维度，包含“模型/工作负载”“优化机制”“系统层级”。这三行用“RSI / kernel”作分类，把 RSI 环节当成工作负载，未写目标模型或任务；五行也都没有系统层级（单算子 / 模型执行 / 单机或分布式 serving / 端到端任务 / 优化控制器）。
Conditions: 按维度检索、跨日期对比，或判断“算子级收益能否转化为端到端收益”时。
Impact: 分类维度不完整，条目之间可比性下降；而报告正文恰恰强调局部加速不等于任务级收益，缺少系统层级反而让该结论无法按条目核对。
Fix: 在“分类”列拆出“模型/工作负载 + 优化机制 + 系统层级”，或在证据索引 S1–S5 中补齐这三项；kernel 条目至少写明目标模型与评测层级（算子/模型）。

Reviewed commit: 663f3b3
Coverage: Checkout: 2645 files at 663f3b3 in a git worktree with the repository's history

[Research Radar] AI inference performance & RSI — daily categorized insights #177

Description

目标

分类维度

每日报告约定

与现有工作的边界

Activity

david6666666 commented on Oct 27, 2026

2026-10-27｜表格版：优先看 model-specific inference engine

1. 优先方向：为特定模型与工作负载设计执行引擎

2. 其他模型与 RSI 机制，保持分类

david6666666 commented on Oct 27, 2026

2026-10-27 补录｜Project Maya

Dong1017 commented on Oct 27, 2026

2026-10-27 补录｜JustGoal：知识与 harness 的价值必须通过对照证明

最重要的洞察：不要把“goal-only”误读为“不需要验证”

对 InferRSI knowledge / workbench 的具体启发

david6666666 commented on Oct 28, 2026

2026-10-28｜InferRSI 每日研究

主表：两项发布增量、一项历史补发现、一项昨日补录复核

观察区：尚未通过关键复现门槛

Now / Next / Watch

最小验证建议（未执行，执行另需授权）

证据索引

架构与覆盖

david6666666 commented on Oct 29, 2026

2026-10-29｜InferRSI 每日研究

重点阅读 / 值得验证

观察区

经典基线 / 当前状态纠偏

结论

小验证建议（不执行）

证据索引

架构与覆盖

david6666666 commented on Oct 30, 2026

2026-10-30｜InferRSI 每日研究

重点风险与验证候选

观察：语音的“快”必须先证明输出完整

三个结论与受控验证建议（仅提案）

david6666666 commented on Oct 30, 2026

2026-10-30 纠偏｜以后只报告首次发现、未入库的新 repo

补充发现的两个新 repo

david6666666 commented on Oct 31, 2026

2026-10-31｜新仓库研究

值得验证（不是生产推荐）

观察

证据索引

david6666666 commented on Nov 1, 2026

2026-11-01｜新仓库研究

证据索引

david6666666 commented on Nov 2, 2026

2026-11-02｜新仓库研究

值得验证

观察

证据索引

david6666666 commented on Nov 3, 2026

2026-11-03｜新仓库研究

证据索引

david6666666 commented on Nov 4, 2026

2026-11-04｜InferRSI 每日研究

值得验证

观察区

证据索引

agent-ci-infra-bot commented on Nov 4, 2026

Metadata

Metadata

Assignees

Labels

Type

Projects

Milestone

Relationships

Development

Issue actions