验证方法说明｜以 CO₂ 成蚊监测旬预测为例
一条预测曲线是否有用，要看它能否回答三个问题：当时依据什么作出预测？目标时间结束后，与可比较的实测相差多少？这些差异是否允许它承担相应的业务用途？
GRHB 项目已具备部分预测留存、历史复盘与候选评价能力，也发现了需要继续完善的实测版本、输入证据和前瞻样本问题。本文介绍现有基础及拟采用的完整验证方法，不构成预测效果证明，不代表天气输入已经带来增益，也不将成蚊密度预测等同于疾病发生风险预测。
1. 先留住“当时的答案”
一次可核查的评价，应连接下面八项记录：
- 01起报时间
- 02当时可用数据
- 03预测目标旬
- 04模型版本
- 05预测结果
- 06审核后的实测值
- 07同口径比较
- 08评价与修订记录
| 记录环节 | 至少保留什么 | 防止什么误解 |
|---|---|---|
| 起报时间 | 实际生成时间、对外发布或可供决策的时间、起报批次 | 事后重算被当作提前预测 |
| 当时可用数据 | 数据截止时间、输入版本、当时已落库的监测资料、天气预报批次与缺项 | 使用后来补录的数据或未来实况 |
| 预测目标旬 | 目标起止日期、空间范围、预测对象与实际提前时间 | 不同目标、不同时限混在一起评分 |
| 模型版本 | 模型工件标识、数据口径、抽样计划、阈值及后处理版本 | 换过模型却仍算作同一版本成绩 |
| 预测结果 | 原始预测、区间或等级、适用范围与可用状态 | 只保留最后一次更新或最好的一次 |
| 审核后的实测值 | 完整性、审核状态、统计单位、实测版本及确认时间 | 把未审、缺报或部分回填当作最终答案 |
| 同口径比较 | 采用的预测版本、基线、误差与排除原因 | 挑选有利样本或拿不同口径作比较 |
| 评价与修订记录 | 评价日期、结论、限制、复核人、修订原因及前后版本 | 改过结果却没有可追溯记录 |
这是完整记录结构的目标，不表示历史每条记录已经具备全部字段和证据。现有决策快照已实现起报、目标、版本、输入标识和修订关联等留存；应用层限制已有快照改写或删除。但有快照并不自动证明其中每项输入都能完整回放，也不等于已经形成统一的最终评价档案。
2. 分清提前预测、历史回测和事后复算
提前预测在目标时段结束前产生，并且确实在所声称的业务决策时点可用。旬首更新与更早的计划预测承担不同用途，应分别评价；不能只因为都写着“下一旬”，就认定提前时间相同。
历史回测沿时间向前推进，每个起报点只使用此前可用的信息。训练、缺失处理、标准化和阈值选择都应遵守该截点；若历史资料没有保留真实的到达时间、审核版本或天气预报批次，就要说明只能部分还原当时条件。时间滚动验证的方法依据
事后复算用于排查错误、检查补齐资料后的变化或研究新方法。它应记录新的计算时间与原因，不覆盖原先用于决策的预测，也不能计作“当时提前报对了”。
例如，目标旬结束后才补齐天气和监测资料，重算曲线即使更接近实测，也只是事后分析。项目已有历史复算展示与行动限制的实现；历史复算展示不代表它重新获得了提前预警资格。
3. 实测也要有资格成为比较依据
“实测已回填”不等于“本旬全部审核完成”。正式评价应在目标旬结束后，确认应报、实报、重复和缺失情况，并使用达到约定审核要求、已固定版本的实测。
当前项目中，部分入模和实测回填路径允许符合条件的待审资料参与，复盘界面也会读取回填值。因此，现有页面出现误差数值，不能直接解释为已经完成审核后实测的最终效果验收。从回填值到正式评价依据，还需要核对审核状态、完整性与实测版本。
CO₂ 密度比较要统一监测对象、有效点位集合、目标旬和灯时。汇总采用“符合口径的捕获总数 ÷ 有效灯时总量”，不能直接平均不同暴露量下的点位密度。点位迁址、监测范围调整或对象变化时，要重新核查可比性；不同物种或性别目标也不能仅凭单位相同直接比较。
缺失值应记为缺失，不记为零。真实零值应保留。实测修订后应形成新的评价版本，同时保留原来的实测版本与评价结论；现有动态回填和查询结果不应被宣传成不可变的最终成绩单。
4. 怎样判断预测比简单办法更有用
先明确预测要支持什么决定，再约定评价规则。用于提前排班、用于旬首更新和用于现场复核的预测，不必采用同一提前时间或同一误差容忍度。
| 要回答的问题 | 建议查看的证据 | 不能只看什么 |
|---|---|---|
| 通常偏差有多大？ | 平均绝对误差，保留原业务单位 | 一张看起来贴合的曲线 |
| 是否长期偏低或偏高？ | 有符号偏差，分季节和提前时间查看 | 正负误差互相抵消后的总数 |
| 高值有没有漏掉？ | 预先约定阈值下的漏报、误报和样本数 | 总体平均误差 |
| 区间是否可信？ | 实测落入区间的比例、区间宽度及样本范围 | 区间旁写着“80%”或“95%” |
| 能否提前支持安排？ | 预测实际可用时间和所需响应时间 | 事后更新更准确 |
| 比简单办法强多少？ | 与上一旬、去年同期等基线同场比较 | 只与一个较弱旧模型比较 |
平均绝对误差越小，表示在同单位、同测试样本上平均偏差越小；它不是“准确率”。实测为零或接近零时，逐条百分比误差可能无法定义或十分不稳定。预测误差与指标的方法依据
评价时应预先固定预测版本选择规则。同一目标旬的多次更新，不应在看到实测后挑出最好的一次。不同模型要在共同有效样本上比较，并同时报告原本应有多少次预测、成功生成多少次、多少次可评分，以及缺失和排除原因，避免只展示“成功出数的部分”。
同一目标旬、同一天气背景下的多条结果通常有关联。评估不确定性时，应保留这种时间分组关系，不能把每个点位或每次更新都当作独立验证。不同提前时间、旺季与低值期也应分别查看，不能只报一个合并分数。
5. 项目真实经历：有改善，也可以不准上线
项目曾对一个离线候选方案进行锁定回测。这里仅公开去标识化的过程结论，区域与模型使用泛称，不披露客户原始记录、点位规模、地址或逐旬数值。
样本范围：某区域固定监测网络的成蚊密度汇总序列。开发和选择方案使用较早年份，随后将一个完整年度与次年的部分监测季作为锁定审计段；审计包含百余条、分属三个预测时限的结果。多时限结果共享部分目标旬，不能把条数当成独立旬数。
比较方法：候选与旧方案、上一旬延续、去年同期和历史同旬等简单办法，在相同审计条件下比较误差、方向、季节性偏差和区间表现，并检验相对基线改善的不确定性。
实际结论：候选优于旧方案，但对表现最好的简单基线优势不足；部分区间表现有所改善，其他预先约定的检验仍未通过。该版本被拒绝晋级，没有因曲线更平滑或部分指标变好就替换正式方案。
局限：这仍是历史快照下的离线评价，缺少部分历史点位身份、逐次灯时证据和当时天气预报版本，不能等同于完整重现真实业务，也不能证明未来上线效果。审计结果已经查看后，再用这一时段调参，就不能继续把它称作未使用过的独立测试集。
该案例说明的是“验证能否否决一个候选”，不构成任何当前在线模型效果更好的证明。正式效果报告仍须披露精确样本数、统计周期、指标及不确定性，并完成对应的数据授权。
6. 已有基础，与仍需完成的验证
截至本文核验时，项目已有预测决策快照、修订关联、历史复盘入口，以及候选离线审计记录。天气输入替换的影子运行与成对评价结构也已有实现。
但本次只读核验中，天气影子链尚无结果和对应评价记录。历史预测在复盘页面展示，不能当作天气输入增益的证据；“通过输入完整性检查”也不等于“预测准确性通过验收”。
下一步需要在明确的业务用途下，预先约定数据范围、实际提前时间、比较基线和验收规则，持续积累未来目标旬的成对记录，并在审核与完整性确认后固定评价版本。样本量应结合独立目标旬数、季节覆盖、高值事件和不确定性确定，不能把一个内部试行旬数当作行业通用标准。
7. 什么时候不能仅据预测行动
当预测缺少可靠的起报依据、目标已过期、输入不完整、对象或单位不一致、点位范围发生变化却未复核，或结果被标为历史复算、研究、不可用时，不应仅据该结果安排处置。
区间过宽、对高值持续低估、连续表现劣于简单基线，或目标场景超出已有验证范围时，应降低对预测的依赖，回到现场监测和专业复核。具体是否触发工单、采取什么措施，仍需遵守项目规则和有权限人员的判断。
预测密度不等于疾病发生概率；低预测也不等于可以停止常规监测。反过来，预测准确并不能单独证明干预有效。处置发生后，实测还可能受干预、天气和监测执行变化影响，评价记录应保留这些背景，干预效果需要另行评估。
常见问题
预测线与实测线走势相近，就说明好用吗？
还不够。相似走势可能同时存在持续低估、高值漏报或提前时间不足，需要结合用途和多项证据判断。
模型已经能够运行，为什么还叫“验证方法说明”？
运行成功证明能够生成结果；效果验证还需要当时留存、同口径实测、合适基线、独立样本及可追溯的评价结论。
换成新的天气数据，就能宣称预测提高了吗？
不能。应在其他条件一致时进行成对比较；当前尚无足够的天气影子评价结果支持这一宣传。
历史复算结果可以展示吗？
可以，但必须标明事后复算、实际计算时间和用途，不能替代当时发布的预测，也不能记为提前预警成绩。
内容说明：本文结合 GRHB 项目代码、内部实施与评价记录及 2026-09-09 只读核验整理。公开内容使用区域泛称，不包含真实街道、点位或个人信息。文中“应”“需要”“下一步”表示评价要求或待完善环节，不表示所有历史记录已经达到该标准。