先定义任务，再缩小候选范围
国产或海外、开放权重或托管 API，描述的是来源与交付方式。它们不能单独决定某个模型是否适合芯片研发中的日志分析、代码修复或知识检索。先确认允许输入的资料、可用端点和验收条件，再比较质量、延迟与成本。
本页提供一套可重复的比较流程，以及只使用公开说明和合成输入的演示任务。本站没有把这些演示包装成已执行的模型测评；原文 8 月初的价格与榜单快照已撤下，当前价格请查看对应官方页面。
先检查必须满足的条件
| 条件 | 如何检查 | 不满足时 |
|---|---|---|
| 资料边界 | 明确源码、日志、客户信息可发送到哪些端点。 | 缩小输入或选择允许的部署方式。 |
| 接口与工具 | 验证消息格式、工具调用、取消、超时和错误返回。 | 先修接入层；不能用榜单分数弥补。 |
| 语言与任务 | 用实际语言和任务形式检查结果。 | 记录错误类型，考虑换候选或缩小任务。 |
| 运行资源 | 检查配额、硬件、并发与维护能力。 | 调整运行形态或任务频率。 |
命令在本机执行与模型在本机推理是两个问题。代码索引、日志、插件和模型提供方也可能有不同的数据去向，应单独记录。开放权重提供部署选择，但不会自动解决许可、出口或运维问题。
三个公开可演示的任务
下列输入用于说明如何设计验收，不包含真实生产日志。每个候选在同样的输入、权限和预算下运行；执行前记录模型 ID、日期、端点、推理设置和工具版本。
任务一：从短日志提取事实
输入（合成日志）：
12:00:00 INFO run=demo-17 started
12:00:03 WARN run=demo-17 license retry
12:00:08 ERROR run=demo-17 timeout acquiring license
12:00:09 INFO run=demo-17 exit=2
要求：输出 run_id、首个 ERROR 的时间、退出码及原文证据。
期望：demo-17 / 12:00:08 / 2。
禁止推断：没有证据说明 RTL 有误，也不能宣称修改设计可以解决。任务二：修复一个可复现的规则错误
使用本站任务检查工具的案例：其他检查项已确认，但凭据边界待核实，报告必须继续列出该问题。验收看测试、diff 范围和导出结果，不看模型自报的完成程度。候选都从同一个仓库提交开始，避免前一次修改影响后一次结果。
任务三：带来源回答，再纠正过度推断
提供 Slurm sbatch 官方文档中的相关段落，要求解释“提交命令成功是否等于作业成功”。答案必须区分提交与执行，并指出依据。追问“那就可以读输出报告了吗”，检查它是否要求继续核对作业状态与产物。这是检索和证据边界示例，不是实际调度器验收。
保留原始记录，不合成一个总分
任务 ID：log-extraction-01
模型 / 版本 / 端点：待填写
提示与输入文件：待填写
工具权限与步数预算：待填写
输出：保留原始响应
验收：通过 / 失败 / 待人工确认
错误类型：遗漏事实 / 无来源推断 / 格式错误 / 工具失败
耗时 / Token / 实际费用：待填写
人工修正：操作和用时
重复运行：每次分别记录，不能只保留最好的一次完成率的分母必须是同一组任务；费用需包含重试和后续上下文。延迟至少区分首个响应与整个任务完成时间。把结果按任务类型展开，才能发现“日志提取可用、代码改动仍需复核”这样的实际边界。
接入时保留替换和恢复路径
先做只读任务，再做受限目录中的可逆修改。模型负责提出动作，工具层检查参数和权限，执行环境返回事实。未知状态不能补写成功；重复提交是否安全要由请求 ID、后端状态和产物记录判断。
有些任务适合 API，有些需要自部署，有些应继续由脚本完成。选择理由应写成“在这组任务与约束下满足了哪些条件”，并保留未满足项。模型或接口升级后重跑同一组案例；没有证据时不要声称新版本更稳定。
继续核对与实践
- DeepSeek Flash 计费与接入核对：费用计算与 provider 验证。
- Kimi K3 部署条件与容量估算：公开配方和本地资源。
- Agent Harness 原理与工具资料：模型之外的执行边界。
- 任务说明与检查工具：记录端点、输入、验收和回退。
- Slurm 官方 sbatch 文档：提交与作业状态的职责。
2026-09-05：改为稳定的任务方法与公开演示输入；没有发布模型排名或实际通过率。