Repository navigation
test: exercise admitted replan readers and checkpoint recovery - #8746
Conversation
cocolord
left a comment
There was a problem hiding this comment.
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
Reviewer: model_agent; model GPT-6; provider OpenAI; self_reported. 当前 Host 执行归属未绑定,声明不认证模型身份或授予权限。
评审提交:9260d5e34c3803011edbe3ca99a688351df7ad4c。未发现阻塞问题。
动机 / Motivation
维护者执行重规划回归时,会遇到测试仍读取旧响应结构的问题。研究入口已经返回分阶段读取命令,旧消费者却直接索引 capability_guard,先于后续任务验证失败;修复后先读原回执与实际阶段,再执行所提供的后继命令。回归现在检验原义务和结算身份能读回、读取不会写入或扣额,并继续验证研究结果与重放。
本次仅修复既有测试消费者,不修改产品配置、协议、权限、入口默认值或 UI,也不宣告完整 RFC 验收。完整默认闭包、原生 Host 采用、完整成本、上下文压缩和整个目标回归仍待验收。若只替换字段名,读回原义务或读取阶段误产生效果的回归仍可能漏过,因此需要实际执行返回的命令。
改动思路 / Approach
保留既有产品权威和测试边界:原 heartbeat receipt 持有已准入义务与结算身份,研究 frontier 提供当前 gap/revision,现有语义写回 owner 决定拒绝和恢复。测试从这些来源取得事实并独立比对,不复制准入判断。review/writeback 是读取阶段,状态和 quota 事件必须不变;后继工作沿现有命令和研究结果 owner 执行。
拒绝恢复直接复用 C1 #8266 当前头 3af5fa0df0656c65b08b8c828d2e9a597965f49c 的消费者函数和事件 helper;已比对其 AST。当前主干与 C1、以及本 PR 与 C1 的完整 merge tree 均无冲突。#8484 当前头已有的二十处集成冲突继续保留,本 PR 没有增加冲突。这里的最小完整边界是修复两份既有集成测试,保留同一个产品恢复 owner;不增加永久执行链或独立决策状态。
具体改动 / Changes
精确 diff 为两个测试文件,新增 95 行、删除 19 行;没有生产代码或新 smoke 脚本。研究 fixture 复用已有运行时隔离,并参数化 File/SQLite;结束时停止自己测试的 effect runtime。旧的非法输入、阻塞、来源失效、终态与 replay 检查均保留。
关键代码讲解
test_typed_progress_cli_preserves_replan_authority在拒绝后执行真实恢复命令,校验原 event、recorded_at、settlement identity、obligation,以及原状态和 quota 事件。它保留原拒绝判定,恢复读取不能被当作有效写回。test_real_guard_and_successor_share_the_current_gap从原 receipt 读取研究 guard,独立比对 gap/revision/obligation;真实运行 review 和 writeback reader,并校验 context/source identity 和无效果。随后执行返回的后继命令,仅增加 JSON 输出选项以便回读,再进入原结果和结算验证。
独立规范是 docs/reference/protocols/quota-replan-planning-selection-v0.md,规范版本 f17ce83544f8b0420b6cb13dfdd086ca23cf6646。该固定版本 的 Review context changes before writeback 要求保留原身份、先读当前事实再重试,拒绝不得重复准入或扣额;对应真实 File/SQLite 恢复断言已实现。Boundaries and verification 要求区分源码资格与安装/原消费者采用;本 PR 仅声称测试消费者资格,保留原 RFC 的后续验收。
对主干的风险 / Risks
主要风险是把旧测试改绿,却没有真正覆盖拒绝后的身份与无副作用边界。当前测试执行了生成命令,比较事件和状态,并保留既有研究负向与重放场景。旧基线研究测试函数未经修改地放入相同隔离 fixture 后,仍在实际 CLI 返回处复现 KeyError: capability_guard;本头的完整两文件回归通过 59 个用例。这项敏感性检查仅复用运行时隔离,不是一次完整旧基线回归。
合入前 canary 的五项直接检查和六项目录 canary 全部通过,两份文件 Ruff 检查通过,公开边界扫描没有引入私有状态、路径或原始日志。临时模型、inventory 和恢复探针均留在私有证据目录。CI 观察中仍有排队任务,不能写作通过;GitHub 就绪与已授权的合入决定独立处理。C1 更大组合回归仍在运行,完成后补记其结果与条件跳过项。
我的整体评价 / Verdict
这是有实际回归价值的有界增量。保持长程恢复和用户体验:两份测试改变;产品交互、权限与自动加载指令未改变,也没有新增人工输入轮次。两份测试的较小方案已经复用 C1 和现有 CLI helper;无需将私有资格脚本沉淀为产品机制或新增兼容分支。
视觉评审不适用:Two existing integration tests change; no rendered CLI/UI/Lark presentation or product instructions change. 未验证的本次展示范围为 none for this test-only presentation boundary。源码测试通过不证明原生 Host 的实际采用、模型收益、完整默认闭包或完整成本;这些边界继续保持开放。当前头没有阻塞 finding,整体结论 APPROVE;合入前仍须读取不变的远端头、完整讨论线程和就绪结果。
English verdict: APPROVE - head 9260d5e. The existing consumers now execute receipt-owned recovery and staged research readers without new effects; 59 exact-head cases, six premerge canaries, direct checks and lint passed. Full RFC qualification and remote CI readiness remain separate.
Signed-off-by: lusendong.6789 <lusendong.6789@bytedance.com> Co-authored-by: TRAE CLI <traecli@bytedance.com>
9260d5e to
d732f6d
Compare
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: model_agent · gpt-6.1-sol · OpenAI · runtime_reported · reasoning_effort=max
Reviewed commit: d732f6d2069dd4551843eb76c9bba9d377fe1743 (merge base 1cdd9bbefd1d849ac8aa733bd3d80bc13ad0b722).
[P2] 研究 reader 的无副作用测试漏看实际 quota 账本。 研究 reader 返回正常 payload,但执行后意外在 quota run ledger 记入一笔扣额。 研究测试只比较 Registry、ACTIVE_GOAL_STATE 和 rollout 事件日志。故障注入往 runs/index.jsonl 写入一条会被真实读取器计为 1 slot 的记录,File 和 SQLite 两项完整用例仍通过。 在 review 与 writeback 读取前后比较实际 quota 账本或 run index,再确认合法 settlement 只扣一次。可扩展现有三文件夹具。 现有取样 实际记账读回
动机 / Motivation
维护者和写续办逻辑的开发者需要知道,重规划被拒绝或 checkpoint 声明丢失时,Agent 还能否沿原回执安全继续。 默认入口改为分阶段读取后,旧集成测试仍去直接写入的返回结构取字段,尚未到真正的续办就会失败。 例如研究任务触发强制重规划,续办者先读取原准入回执,再拿到写入命令。中途两次读取都不能另扣额度。 如果只同步返回字段而没核对实际账本,测试会通过却有可能漏掉长任务一轮轮累积的额外扣额。 本 PR 更新三处已有测试,跟随生成的研究 reader、原回执恢复与后继命令,并保留真实 worker 的准入失败路径。 本地复现旧测试对旧字段的 KeyError,新测试实际走到了同一义务的后继写入与结算。重复扣额的防线仍缺账本断言。 改动限于现有测试文件。主机采用、正式 C1 切换和真实模型产出各有自己的验收。
改动思路 / Approach
让用例运行用户收到的命令并按原身份推进。新研究用例跟随真实 reader 和 Todo 后继,typed 拒绝用例执行生成的恢复命令,worker 用例让真实准入先运行才注入稳定的合成模型输入。已有保存上下文用例覆盖了通用读取及原身份。保留当前三个用例能额外保护研究 gap、真实后继和不可用的原准入等独立行为。 普通保存态测试 reader 入口
具体改动 / Changes
验收依据为 docs/development/good-smokes.md,修订 e96857f62d3cd546b215ed3d0823f877d5cbb29c,以及统一执行合同的真实入口资格。 负例规范 执行资格
- original_receipt_recovery 已覆盖。File/SQLite 重启效应进程后,重放保留回执事件、结算身份和义务。 原回执断言
- checkpoint_optional 已覆盖。可选声明损坏时允许真实 worker 路径继续。原准入丢失会在模型获得任务前报错。 worker 断言
- no_read_debit 未由新增的研究用例充分覆盖。在同一 File/SQLite 夹具比较未注入时的真实账本,并在第一段 reader 返回后注入一个可入账事件。原断言放行,直接账本断言拒绝。 两个原断言都放行,真实账本断言都拒绝。未注入时两个账本断言通过。 研究用例及快照
对主干的风险 / Risks
PASS · 主干 859a23e 与 PR 的模拟合并树三文件 113 passed、11 skipped。定位到旧主干测试在旧 capability_guard 字段失败。Ruff 和 git diff --check 通过。 完整三文件在审阅头 113 passed, 11 skipped。 与 #8266 的已核验头 9153acd3d43b 本地叠加后 122 passed, 13 skipped。 相关在途 C1 叠加是本地验证。#8484 继续单独处理。先前作者报告的磁盘耗尽仍是一条历史未完成结果。
FAIL · 研究测试只比较 Registry、ACTIVE_GOAL_STATE 和 rollout 事件日志。故障注入往 runs/index.jsonl 写入一条会被真实读取器计为 1 slot 的记录,File 和 SQLite 两项完整用例仍通过。 在 review 与 writeback 读取前后比较实际 quota 账本或 run index,再确认合法 settlement 只扣一次。可扩展现有三文件夹具。
UNVERIFIED · 验证使用隔离 File/SQLite 与实际 CLI。checkpoint 的模型请求是合成的。扣额只发生在注入故障的夹具中。真实 native Host 与效果收益未验收。 托管 CI 未查。
我的整体评价 / Verdict
REQUEST_CHANGES。局部恢复测试有持久价值,长程工作仍需要一个能挡住意外扣额的独立观察。查看了生成 CLI 命令与 worker 测试,三个测试文件均未修改用户界面的渲染代码。补当前夹具的账本前后读回即可重跑现有验证。
English verdict: REQUEST_CHANGES at d732f6d. The staged research-reader test can pass after an injected debit reaches the real quota ledger on both File and SQLite. Assert the durable ledger across both readers and require exactly one debit from authorized settlement.
Replan integration tests still consumed the old direct-write response after the default entry moved to staged readers. This updates the existing consumers to execute receipt-owned recovery and the generated research readers/successor. It also keeps the real heartbeat admission call in the checkpoint failure test before supplying stable synthetic model text.
This proposal changes only three existing test files. Product owners, public schemas, activation defaults and paid runners are unchanged. It supports the minimal runtime RFC, while full closure, native Host adoption, complete cost and overall Goal acceptance remain open.
Validation at head
d732f6d2069dd4551843eb76c9bba9d377fe1743, based on main1cdd9bbefd1d849ac8aa733bd3d80bc13ad0b722: five direct premerge checks, six catalog canaries and Ruff passed. The complete three-file main regression and the current C1 combination are running; their final results will be recorded before merge. The earlier two-file run passed 59 cases. An earlier broader C1 run exhausted disk space and remains failed/incomplete; necessary failure fixtures and logs were retained before removing stopped temporary test caches. No budget or assertion was relaxed.C1 compatibility: #8266 at
26a7480a3b4b67f8a143596ccea391ad134bf29ccomposes directly with this head. The separately based #8484 retains its existing integration conflicts, with no conflict added by this test proposal. All temporary inventory/model and failure probes remain outside the public diff.默认重规划入口已改为分阶段读取,旧测试仍直接消费旧结构。本次复用 C1 的原回执恢复消费者,真实运行研究 reader/后继命令,并在 checkpoint 测试中保留真正的 heartbeat 准入,再固定合成模型文本。File/SQLite 的原身份、无副作用、来源失效、阻塞、结果与 replay 断言均保留。当前头的直接门禁、六项 canary 和 lint 已通过,完整主干/C1 回归完成后补记结果。此前磁盘耗尽的失败保留,不改预算或放松断言,也不关闭整个 RFC 的验收。