products_reverse_audit.py 48 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773
  1. #!/usr/bin/env python3
  2. # -*- coding: utf-8 -*-
  3. r"""**反向**呼应审计:自输出 → 功能与算法 → 输入(用户令 2026-09-17)。
  4. ## 与 `inventory_products.py` 的区别(两个方向,各管一件事)
  5. · `inventory_products.py` 是**正向**:从 `data/raw/<场>/` 的每一类输入出发,找它喂出来的产物,
  6. 比跨度/条数("输入到了 2026-07,产物只到 2026-04 → 未重算")。它只覆盖 5 类输入、十几件产物。
  7. · 本器是**反向**:从 `outputs/<场>/` 的**每一件产物**出发,问三个问题:
  8. ① 它是谁算出来的?(功能与算法 = 生成端)
  9. ② 它从哪份输入算出来的?(`data/raw/<场>/` 的哪一类)
  10. ③ 这条"输出 ↔ 输入"的呼应关系**成立吗**?(生成端在位 ∧ 输入在位 ∧ 可机检的对应判据通过)
  11. 逐件判定,最后给出"成立 / 不成立(无生成端)/ 无法验证"三类账。
  12. ## 为什么必须做反向
  13. 正向只查"我关心的输入有没有被算成产物",查不出**"盘上这件产物到底有没有来路"**。
  14. 2026-09-17 现场就是栽在这里:清了产物之后,页面缺的 `windscada/index.html`、
  15. `m5_cms_tcm/handoff_vibration_v2.json` 这类件**根本没有生成端**(全库 0 处写入方),
  16. 正向那几条跨度判据一条都不会报 —— 它们压根不在 `INPUTS` 的 `feeds` 里。
  17. 反向一对账就清楚了:**有来路的件**(生成端 + 输入 + 判据都过)与**没来路的件**(只能从交付包补)。
  18. ## 判定口径(每条都写进结果里,不含糊)
  19. ✓ 呼应成立 生成端在位 ∧ 输入在位 ∧ 判据通过(跨度 ⊆ 输入 / 键集 ⊆ 输入 / 计数一致 / 行数 > 0)
  20. ~ 输入不在位 生成端知道,但 `data/raw/<场>/<类>` 不在 ⇒ **现在无法验证**(放数据后复跑本器)
  21. ✗ 无生成端 全库 0 处写入方 ⇒ **输出↔输入的呼应在原理上不成立**:这件产物无法由输入推导出来,
  22. **无法由重算生出来**;按用户令 2026-09-17 #1 运行期也不从交付包补齐 ⇒ 只能由研发补生成端(本器 --feasibility 给出逐族可逆性)
  23. ? 未归类 既不在族表里、台账里也没有 —— 需要人工认领(本器把它当缺口报出来)
  24. ## 用法
  25. python scripts/products_reverse_audit.py # 全量反向审计(人看)
  26. python scripts/products_reverse_audit.py --check # 只出结论(有 ✗/? 时退出码 5)
  27. python scripts/products_reverse_audit.py --write-doc # 把族表写进 docs/系统设计说明.md §13.6
  28. 退出码: 0 全部成立(允许 ✗,只要它们都在台账里如实标了 shipped)· 5 有未归类件或判据失败
  29. """
  30. from __future__ import annotations
  31. import argparse
  32. import fnmatch
  33. import json
  34. import pathlib
  35. import sys
  36. ROOT = pathlib.Path(__file__).resolve().parents[1]
  37. sys.path.insert(0, str(ROOT))
  38. sys.path.insert(0, str(ROOT / 'scripts'))
  39. from src import paths as P # noqa: E402
  40. import inventory_products as INV # noqa: E402
  41. DOC_BEGIN, DOC_END = '<!-- REVERSE-AUDIT:BEGIN -->', '<!-- REVERSE-AUDIT:END -->'
  42. # ── 族表: 输出(glob) → 功能 / 算法(生成端) / 输入类 / 判据 ────────────────────────────
  43. # pred: span=产物时间跨度必须落在输入跨度内; turbines=产物机组集 ⊆ 输入机组集;
  44. # rows=行数>0; count=件数/计数与说明一致; manifest=与清单自记一致
  45. FAMILIES: list[dict] = [
  46. dict(id='vib_window_index', glob='m5_cms_tcm/windows/*/index.parquet', kind='raw-derived',
  47. func='振动摄入 · 窗索引', algo='scripts/rudong_tcm_index.py(逐 decode JSON 解析 54 列:turbine/'
  48. 'sensor_name/meas_name/trigger_time/rpm/condition_key/alarm_type)',
  49. gen='scripts/rudong_tcm_index.py', input='windcms', pred=('span', 'turbines', 'rows'),
  50. time_col='trigger_time'),
  51. dict(id='vib_spectra', glob=['m5_cms_tcm/windows/*/spectra/**', 'm5_cms_tcm/windows/*/spectra_meta.parquet'],
  52. kind='raw-derived',
  53. func='振动摄入 · 谱库', algo='scripts/rudong_tcm_spectra.py(FFT_ 测量 → npz 幅值数组, 分片存 `spectra/p<NN>/`)',
  54. gen='scripts/rudong_tcm_spectra.py', input='windcms', pred=('npz',)),
  55. dict(id='vib_raw_manifest', glob='m5_cms_tcm/vib_raw_manifest.json', kind='raw-derived',
  56. func='振动摄入 · 清单', algo='scripts/vib_raw_build.py(汇总窗/谱件数、时间跨度、missing_chain 缺口)',
  57. gen='scripts/vib_raw_build.py', input='windcms', pred=('manifest',)),
  58. dict(id='scada_alarms', glob='windscada/alarms.parquet', kind='raw-derived',
  59. func='三门台账 · 报警', algo='scripts/windscada_alarms_ingest.py(SpreadsheetML *.xls → 事件表)',
  60. gen='scripts/windscada_alarms_ingest.py', input='故障报警', pred=('span', 'rows'), time_col='t_on'),
  61. dict(id='scada_workorders', glob='windscada/workorders.parquet', kind='raw-derived',
  62. func='三门台账 · 工单', algo='scripts/windscada_workorder_ingest.py(检修台账 → 工单表)',
  63. gen='scripts/windscada_workorder_ingest.py', input='风机故障记录', pred=('span', 'rows'),
  64. time_col='t_report'),
  65. dict(id='scada_oil', glob='windscada/oil_samples_index.parquet', kind='raw-derived',
  66. func='三门台账 · 油样', algo='scripts/windscada_watch_channels_build.py(油样 PDF → 索引)',
  67. gen='scripts/windscada_watch_channels_build.py', input='油样报告', pred=('span', 'rows'),
  68. time_col='date'),
  69. dict(id='scada_monthly', glob='windscada/temp_monthly.parquet', kind='raw-derived',
  70. func='月度派生件', algo='scripts/windscada_monthly_build.py(逐值对齐随包件 19,494/19,494)',
  71. gen='scripts/windscada_monthly_build.py', input='scada_10min', pred=('span', 'rows'), time_col='month'),
  72. dict(id='scada_derived', glob='windscada/*.parquet', kind='raw-derived',
  73. func='SCADA 派生分析(功率曲线/损失/曲线/控制/停机/温度/偏航/液压/热链/系统辅助)',
  74. algo='src/windscada/perf/{powercurve,availability,curves,control,faults} + subsys/{temp_nbm,yaw,'
  75. 'hydraulic,thermal_chain} + taxonomy.py',
  76. gen='src/windscada/perf/powercurve.py', input='scada_10min', pred=('rows',)),
  77. dict(id='ontology_core', glob='ontology/{objects.json,retrieval_index.json,turbine_params.parquet}',
  78. kind='raw-derived',
  79. func='本体层 · 码表/对象库/检索索引/实机参数',
  80. algo='python -m src.ontology.kb_ingest → populate → chain_ingest → trend_ingest;'
  81. 'src.ontology.retrieval.build;src.ontology.maintenance.refresh_params',
  82. gen='src/ontology/kb_ingest.py', input='西门子4.0技术资料', pred=('rows',)),
  83. dict(id='ontology_aux_build', glob=['ontology/_id_alias.json', 'ontology/retrieval_vec.npy'],
  84. kind='raw-derived',
  85. func='本体层 · 别名表与向量索引缓存', algo='src.ontology.kb_ingest(别名)/ '
  86. 'src.ontology.retrieval.build(use_vec=True)(向量)',
  87. gen='src/ontology/kb_ingest.py', input='西门子4.0技术资料', pred=('rows',)),
  88. dict(id='ontology_domain', glob=['ontology/oil_2026H2_huabiao.json', 'ontology/parts_cost_public.json',
  89. 'ontology/scenario_29_repair.json'],
  90. kind='shipped',
  91. func='本体层 · 领域数据件(油样台账/备件价格/场景修复)', algo='(无生成端, 领域正本出件)',
  92. gen=None, input=None, pred=(), why='领域正本随包发来, 不由 data/raw 推导'),
  93. # ── 以下族: 全库 0 处写入方 ⇒ 反向呼应**在原理上不成立**(如实记账, 不假装成立)────
  94. # ★2026-09-18 用户令补充: 这些件**运行期一律不从交付包补**(用户令 2026-09-17 #1 的延伸),
  95. # 页面如实为空/降级; 要出件只有两条路 —— ① 研发补生成端; ② 现场正本随原始件进 data/raw。
  96. # 故本表的 why 里不再写"从交付包补齐"那种话(那是**离线人工补救**, 见 products_restore_missing.py)。
  97. dict(id='vib_model_run_l6', glob=['m5_cms_tcm/model_run_l6.parquet', 'm5_cms_tcm/model_run_summary.json'],
  98. kind='raw-derived',
  99. func='六层链 model_run 步 · L6 过闸谱线表 + 层小结',
  100. algo='scripts/rudong_model_run.py(候选线=oem_scan_plan 的 11 部件×{BPFI,BPFO,BSF}; 过闸='
  101. 'src/sop/discriminators.py::spectral_line_gates G1–G8; 定级=vib_verdict_and_writeback)',
  102. gen='scripts/rudong_model_run.py', input='m5_cms_tcm', pred=('rows',),
  103. why='★2026-09-19 按口径重建(**无标准答案**: 这两件从未随包, 无法逐值对拍); 峰值拾取仍是本器自定'
  104. '(目标频率 ±2 bin 取最大), 不得当"复现"用 —— 见 docs/振动六层链_接口规格与缺口_v0.1.md §3'),
  105. dict(id='vib_fusion_38', glob='m5_cms_tcm/fusion_38.csv', kind='raw-derived',
  106. func='六层链 fusion 步 · 逐台融合表(报告"融合级"列的来源)',
  107. algo='scripts/rudong_fusion_run.py::fusion_table(模型侧=model_run_l6 过闸线; CMS 侧=窗索引 '
  108. 'RedMask/YellowMask; 裁决=src/sop/fusion_diag.py::fuse)',
  109. gen='scripts/rudong_fusion_run.py', input='m5_cms_tcm', pred=('rows',),
  110. why='★按口径重建(无标准答案): 台号用 WTGnn 形态(消费端 registry 的键), 与 l6 的 f"{n}#" 不同'),
  111. dict(id='vib_fleet_scalar_z', glob='m5_cms_tcm/fleet_scalar_z.parquet', kind='raw-derived',
  112. func='振动线 · 全场标量 z 值 (fusion 步出件)',
  113. algo='scripts/rudong_fusion_run.py(逆向工程实现: 窗索引 scalar_value → 同 (传感器,测量,工况) 族中位 '
  114. '→ 稳健 z=(val−med)/(1.4826·MAD); 与随包样件 8,887 行逐值对拍 val 列 100% 一致)',
  115. # input 写**原始件目录名**(族表口径: data/raw/<场>/<input>); 真实取数经窗索引一跳,
  116. # 而窗索引本身是 raw-derived(vib_window_index 族) —— 写 windows/_*.parquet 会让审计判"输入不在位"。
  117. gen='scripts/rudong_fusion_run.py', input='m5_cms_tcm', pred=('rows',),
  118. why='2026-09-18 上链: 由 vib_raw_build.py 的 --with-report 分支按当次窗名调用, '
  119. '使 /api/fleet 的振动标量 z 面不再空白'),
  120. dict(id='vib_handoff_and_scans', glob='m5_cms_tcm/*.{json,parquet,csv,md,txt}',
  121. kind='shipped',
  122. func='振动线出件与专项扫描(handoff / 历史 / 基线 / 各类 freq scan / 判级台账)', algo='(无生成端)',
  123. gen=None, input=None, pred=(), why='振动六层链四步脚本未随包(oem_frequency_scan 等)⇒ '
  124. '运行期不从交付包补(用户令 2026-09-17); 要出件须研发补生成端, '
  125. '或由现场正本随原始件进 data/raw 后重算'),
  126. dict(id='vib_figs', glob='m5_cms_tcm/figs/*', kind='shipped',
  127. func='振动线出图(谱图/趋势图)', algo='(无生成端)', gen=None, input=None, pred=(),
  128. why='随包快照(振动线出件)'),
  129. dict(id='windscada_pages', glob='windscada/{index.html,turbines/*,review/*}', kind='shipped',
  130. func='总览「全场状态」静态页 + 逐台页 + 评审记录', algo='(无生成端)',
  131. gen=None, input=None, pred=(), why='页面件由振动线/历史分析出件,本包无写入方'),
  132. # ★2026-09-18 补: `windcms/cache/*` 是**读侧缓存**(标量按内容哈希落盘), 它不是随包快照 ——
  133. # 原先 `windcms_pages`(shipped) 先认领了它, 于是重算后新写的缓存被记成"包内无生成端"。
  134. # 写方在 src/windcms/data.py::load_scalars (窗索引 → 标量), 故单列一族并放在 windcms_pages 之前。
  135. dict(id='windcms_cache', glob='windcms/cache/*', kind='raw-derived',
  136. func='CMS 报告侧 · 标量缓存', algo='src/windcms/data.py::load_scalars(窗索引 → 标量数组, '
  137. '按内容哈希命名落 cache/)', gen='src/windcms/data.py', input='windcms', pred=('rows',)),
  138. # ★2026-09-18 补 (用户令"页面只能基于输入数据重算"之后): `windcms/**` 整族原先一律按
  139. # "无生成端"记账 —— 但**报告两步的生成端就在包内**(scripts/windcms.py report → src/windcms/
  140. # report.py + report_std.py), 只要 data/raw/<场>/windcms 里有 decode 导出就出得来。
  141. # 实测(2026-09-18): 从重算出的窗 w0316 一键跑出标准模版报告 + 38 台逐台页 + 总览, 判级 38 台
  142. # (报警 3 / 优秀 35), 缺的只有 model_run/fusion 两步的融合级列(如实写 —)。故拆成两族按 raw-derived 记。
  143. dict(id='windcms_report_std', glob=['windcms/报告_CMS振动状态评估报告_*.md',
  144. 'windcms/报告_CMS振动状态评估报告_*.docx',
  145. 'windcms/登记_三轴_38台.csv'], kind='raw-derived',
  146. func='CMS 标准模版评估报告 (三轴: 状态等级 × 证据状态 × 行动等级建议)',
  147. algo='src/windcms/report_std.py::build(结构化判级 → 报告 md + docx + 登记 csv; '
  148. '由 scripts/windcms.py report 调用)',
  149. gen='src/windcms/report_std.py', input='windcms', pred=('rows',),
  150. why='★同名件有两种来源: 观澜自算(本族: 从 data/raw/<场>/windcms 的 *_decode.json 算) 与 '
  151. '厂家报告转录(scripts/vib_reports_build.py, 输入是现场振动分析报告 PDF)。按名字认领不了'
  152. '这层区别 ⇒ 以"是否由本步生成"为准, 判据看 m5_cms_tcm/vib_raw_manifest.json 的 steps'),
  153. dict(id='windcms_report_overview', glob=['windcms/report.md', 'windcms/index.html',
  154. 'windcms/index_eng.html', 'windcms/overview.html',
  155. 'windcms/turbines/*'], kind='raw-derived',
  156. func='CMS 诊断总览页 + 逐台页 + 结构化层报告',
  157. algo='src/windcms/report.py::build(逐台 turbines/<台>.html + 总览 overview/index.html + '
  158. 'report.md; 融合级列要 model_run/fusion 出件, 缺则如实写"—")',
  159. gen='src/windcms/report.py', input='windcms', pred=('rows',)),
  160. dict(id='windcms_kb', glob='windcms/kb.json', kind='raw-derived',
  161. func='CMS 知识库索引 (问答检索用)',
  162. algo='src/windcms/knowledge.py::build(由 scripts/windcms.py kb 调用; 离线无模型时 0 chunks 也算跑成)',
  163. gen='src/windcms/knowledge.py', input='windcms', pred=('rows',)),
  164. dict(id='windcms_pages', glob='windcms/**', kind='shipped',
  165. func='windcms 里其余件 (厂家报告转录 / 知识库出件等)',
  166. algo='(无随包生成端)', gen=None, input=None, pred=(),
  167. why='上述两族与 cache 之外剩下的 windcms 件: 运行期不从交付包补(用户令 2026-09-17), '
  168. '要出件须研发补生成端'),
  169. dict(id='sop_workspace', glob='sop/**', kind='shipped',
  170. func='SOP 中间件/评审/事实契约底稿', algo='(无生成端)', gen=None, input=None, pred=(),
  171. why='评审过程件, 属人工作业留痕'),
  172. dict(id='tcm_replay', glob='tcm_compatible_replay/**', kind='shipped',
  173. func='TCM 兼容链回放资产(模型表/掩码阈值/裁决记录)', algo='(无生成端)', gen=None, input=None,
  174. pred=(), why='随包快照'),
  175. dict(id='paradigm_r1', glob='paradigm_r1/**', kind='shipped',
  176. func='范式实验件(E3/E5/E8 底稿)', algo='(无生成端)', gen=None, input=None, pred=(),
  177. why='实验底稿, 事实契约的输入'),
  178. dict(id='pitch_shipped', glob='pitch/**', kind='shipped',
  179. func='变桨侧派生件(零位/日粒度)', algo='(无生成端;rebuild_from_raw --scada 只覆盖其中一部分)',
  180. gen=None, input=None, pred=(), why='无生成端 ⇒ 运行期不从交付包补(用户令 2026-09-17), '
  181. '页面降级; 要出件须研发补生成端'),
  182. dict(id='ontology_releases', glob='ontology/release_*/*', kind='shipped',
  183. func='本体发布层 r1/r2(只读暴露给网关 /release/)', algo='(无生成端)', gen=None, input=None,
  184. pred=(), why='发布层清单, 由研发出件'),
  185. dict(id='guanlan_contract', glob='guanlan/**', kind='shipped',
  186. func='事实契约与对外派生(门户结论段/取数)', algo='scripts/guanlan_facts_contract.py(读者在包内, '
  187. '输入是 sop/findings.json + paradigm_r1 三份**人裁底稿**)', gen=None, input=None, pred=(),
  188. why='派生链的中间层: 它的"输入"本身是产物而非 data/raw ⇒ 与 raw 之间隔着不止一跳; '
  189. '运行期不从交付包补(用户令 2026-09-17) ⇒ `/api/facts` 如实回 503 缺件'),
  190. dict(id='windscada_release_manifest', glob='windscada/release-manifest.json', kind='source-derived',
  191. func='发布清单快照(`/healthz` 与版本信息读它)',
  192. algo='scripts/guanlan_baseline_manifest.py(从 src/windscada/ui 源重建 zh 页 → 摘要 '
  193. '{css_tokens, nav, dom, sha256, source blobs})',
  194. gen='scripts/guanlan_baseline_manifest.py', input=None, pred=(),
  195. why='★ 2026-09-17 修正: 它一度被我按"交证件"错分成非产物; 实际**包内有生成端**'
  196. '(guanlan_baseline_manifest.py 就写这个路径), 且 guanlan_gateway.py 运行期读它 ⇒ 是产物'),
  197. dict(id='human_deliverables',
  198. glob=['windscada/mblub_alarm_cross.json', 'windscada/review_presented.json',
  199. 'windscada/给振动线_温度轴回复_20260826.json', 'windscada/给振动线_温度轴回复_20260826.md',
  200. 'windscada/送审_系统结论与判定_20260828.md'],
  201. kind='human',
  202. func='**人工正本/交证件**:与振动线的跨线通知、送审结论、发布评审快照',
  203. algo='(人写的, 不是算出来的)', gen=None, input=None, pred=(),
  204. why='这几件是"人对人的交证件/回执", 内容由分析结论抄写与人判断坐实而成; '
  205. 'mblub_alarm_cross.json 还被 src/ontology/populate.py 当作**证据来源**引用 ⇒ '
  206. '必须随包留在原位, 但**不参与呼应校验**(它本来就没有生成端, 也不该有)'),
  207. dict(id='scratch_in_products', glob=['**/_*.js', '**/_*audit*.md', '**/*.out', '**/*.err',
  208. '**/*_test_*.parquet', '**/*_test_*.json'],
  209. kind='not-product',
  210. func='**非产物**:自审脚本/记录与模型测试输出(躺在产物仓里)', algo='(工具脚本与运行痕迹, 不是产物)',
  211. gen=None, input=None, pred=(),
  212. why='2026-09-17: 17 件已移出到 reference/非产物留痕_20260917/ 并留了 _来源说明.json ⇒ '
  213. '本族现在应为空; 一旦再出现(新脚本往产物仓里写 .out/_audit.js 之类), 本器当场报出来'),
  214. ]
  215. def _files_of(glob) -> list[str]:
  216. """族 glob(str 或 list)→ 台账里的相对键(支持 `{a,b}` 花括号与 `*`)。
  217. ★ 深度必须**显式对齐**(2026-09-17 第一版踩过): `fnmatch` 的 `*` 是**跨 `/`** 的, 于是
  218. `windscada/*.parquet` 会把 `windscada/turbines/xx.parquet`、`windscada/_pre_rebuild_*/xx.parquet`
  219. 一起吞进来 —— 反向审计最怕"族把不该管的件认领了", 那样账就假了。
  220. 规则: 模式里没有 `**` 时, 要求的 `/` 个数必须与键的 `/` 个数**相等**(逐条展开后各自判)。
  221. """
  222. pats = []
  223. for g in ([glob] if isinstance(glob, str) else list(glob)):
  224. if '{' in g:
  225. head, tail = g.split('{', 1)
  226. opts, rest = tail.split('}', 1)
  227. pats += [head + o + rest for o in opts.split(',')]
  228. else:
  229. pats.append(g)
  230. out = []
  231. for rel in LEDGER:
  232. for pt in pats:
  233. if '**' not in pt and rel.count('/') != pt.count('/'):
  234. continue
  235. if fnmatch.fnmatch(rel, pt) or rel == pt:
  236. out.append(rel)
  237. break
  238. return sorted(out)
  239. LEDGER: dict[str, dict] = {}
  240. def load_ledger(farm: str) -> dict[str, dict]:
  241. """台账 = `_provenance.json`(逐件来源) + `_derived_manifest.json`(生成端自登记)。"""
  242. out: dict[str, dict] = {}
  243. root = P.out_root(farm)
  244. for fn in ('_provenance.json', '_derived_manifest.json'):
  245. f = root / fn
  246. if not f.is_file():
  247. continue
  248. try:
  249. d = json.loads(f.read_text(encoding='utf-8'))
  250. except Exception:
  251. continue
  252. for rel, v in (d.get('files') or {}).items():
  253. if isinstance(v, dict):
  254. out.setdefault(rel, dict(source=v.get('source') or 'raw-derived',
  255. builder=v.get('builder') or v.get('by') or '',
  256. why=v.get('why') or '',))
  257. return out
  258. def _input_home(station: pathlib.Path, sub: str) -> pathlib.Path | None:
  259. """输入类目录在哪 —— 优先场站目录下, 其次 raw 根下。
  260. ★ 机理层资料按 A2 约定**不在场站目录下**(`data/raw/西门子4.0技术资料/`, 见 src/windscada/config.py)。
  261. 只查场站目录会把本体层判成"输入不在位"(2026-09-17 第一版就这么误报过 3 件)。
  262. """
  263. for base in (station, station.parent):
  264. d = base / sub
  265. if d.is_dir():
  266. return base
  267. return None
  268. def _parquet_span(p: pathlib.Path, col: str | None):
  269. import pandas as pd
  270. try:
  271. d = pd.read_parquet(p)
  272. except Exception:
  273. return None, None, 0
  274. n = len(d)
  275. if col and col in d.columns:
  276. s = pd.to_datetime(d[col], errors='coerce')
  277. if s.notna().any():
  278. return str(s.min())[:10], str(s.max())[:10], n
  279. return None, None, n
  280. def _npz_ok(p: pathlib.Path) -> bool:
  281. """振动谱件: npz 能读出来且非空(列数不是"行", 不能拿 parquet 的行数判它)。"""
  282. try:
  283. import numpy as np
  284. with np.load(p, allow_pickle=False) as z:
  285. return any(z[k].size > 0 for k in z.files)
  286. except Exception:
  287. return False
  288. # 已知"含人工裁决/校准"的随包快照(按用户令 2026-09-17 #3 显式登记为人工件)。依据是文档里已经写明的性质:
  289. # docs §7「handoff_vibration_v2.json / component_history.json 是随包快照, 该件含人工裁决/校准更新,
  290. # 不是测量数据的函数」; baseline_38.json 的三层基线 self/absolute 两层由人工坐实; findings.json 是判级发现台账。
  291. HUMAN_SNAPSHOTS = {
  292. 'm5_cms_tcm/component_history.json',
  293. 'm5_cms_tcm/baseline_38.json',
  294. 'm5_cms_tcm/handoff_vibration_v1.json',
  295. 'm5_cms_tcm/findings.json',
  296. }
  297. # ── 逆向工程可行性 (用户令 2026-09-17 #2) ────────────────────────────────────────────
  298. # 问的是: "这批没有生成端的产物, 能不能从原始件/在包生成端**推**出来?"
  299. # 判定不靠印象, 靠两条机器证据:
  300. # ① 生成端在不在包内(在 → 只是没接上, 跑一次就有);
  301. # ② 产物正文里有没有**人工判断**的痕迹("裁决/审核/校准/评审/经验"这类字段)——
  302. # 含人工判断的件不是任何输入的纯函数, 逆向工程推不出来, 只能把那一步人工工作重做。
  303. import re as _re # noqa: E402
  304. JUDGE_PAT = _re.compile(r'人工|裁决|审核|复核|校准|评审|经验值|专家|judg|review|manual|calibrat|verdict|sign[_ ]?off',
  305. _re.I)
  306. # ★ 只认"**字段**叫这个名字"(`"裁决": …` / `裁决,`),不认正文里顺嘴提一句 ——
  307. # 2026-09-17 第一版拿整篇子串匹配, 结果把**页面**里的展示标签(`index.html` 里的"评审/人工")当成
  308. # 人工判断, 于是把"页面"整族误判成不可逆。这属于"判据太糙 → 结论假"。
  309. JUDGE_KEY_PAT = _re.compile(r'["\']?[^"\',:]{0,24}(人工|裁决|审核|复核|校准|评审|经验值|专家|'
  310. r'judg|review|manual|calibrat|verdict|sign[_ ]?off)[^"\',:]{0,24}["\']?\s*[:=]',
  311. _re.I)
  312. def judgement_evidence(farm: str, rels: list[str], cap: int = 8) -> tuple[int, list[str], int]:
  313. """→ (含人工判断字段的抽样比例%, 样例, 被检查件数)。
  314. 只查**数据/文本件**(.json/.csv/.md/.txt); **页面(.html/.js)不算** —— 页面是产物的渲染,
  315. 里面出现"评审/人工"是展示标签, 不代表这份件内含判断。
  316. """
  317. hit, samples, checked, pages = 0, [], 0, 0
  318. for rel in rels[:cap]:
  319. p = P.out_root(farm) / rel
  320. suf = p.suffix.lower()
  321. if suf in ('.html', '.js', '.css', '.htm'):
  322. pages += 1
  323. continue
  324. try:
  325. if suf == '.json':
  326. txt = p.read_text(encoding='utf-8', errors='replace')[:200000]
  327. pat = JUDGE_KEY_PAT
  328. elif suf in ('.csv', '.txt'):
  329. txt = p.read_text(encoding='utf-8', errors='replace')[:50000]
  330. pat = JUDGE_KEY_PAT
  331. elif suf == '.md':
  332. txt = p.read_text(encoding='utf-8', errors='replace')[:50000]
  333. pat = JUDGE_PAT
  334. else:
  335. continue
  336. except Exception:
  337. continue
  338. checked += 1
  339. if pat.search(txt):
  340. hit += 1
  341. samples.append(rel)
  342. return (100 * hit // checked if checked else 0), samples, pages
  343. def feasibility(fam: dict, rels: list[str], gen_ok: bool, in_ok: bool,
  344. judge_pct: int, judge_samples: list[str], pages: int = 0) -> tuple[str, str]:
  345. """→ (可逆性判定, 依据)。四类: 可逆(直接) / 可逆(需反推口径) / 不可逆(人工判断) / 应移出产物仓。"""
  346. if fam['kind'] == 'not-product':
  347. return '应移出产物仓', '它本就不是产物(工具脚本/交证件/测试输出) ⇒ 该从产物仓移走, 而不是"补生成端"'
  348. if gen_ok and in_ok:
  349. return '可逆(直接)', f"生成端在包内({fam['gen']})且输入在位 ⇒ 接上/重跑即可"
  350. if pages and pages >= max(3, len(rels[:8]) // 2):
  351. return '可逆(页面可再生)', ('这一族主要是**页面**(.html): 页面是产物的渲染, 不是独立数据 ⇒ '
  352. '接上在包的页面生成端重出即可(未必逐字节同, 能力与数据一致)')
  353. m_n = sum(1 for r in rels if r.endswith(('.parquet', '.csv', '.npz')))
  354. t_n = len(rels) - m_n
  355. split = f'({m_n} 件测量形态 / {t_n} 件文本·判断件)' if (m_n and t_n) else ''
  356. # 两类都占相当比重时, 结论必须是"混合"而不是挑一类代表全族 —— 否则一句判定就把另一半骗过去了
  357. if m_n and t_n and min(m_n, t_n) * 4 >= len(rels):
  358. return '混合(测量件可反推 / 文本件需人定)', split + \
  359. '测量形态的件可由 data/raw 反推口径 + 逐值对拍; 文本/判断件(评审、裁决、回复)推不出来'
  360. if judge_pct >= 50 and judge_samples:
  361. return '不可逆(人工判断)', (f"抽样 {len(judge_samples)} 件里都写着人工判断字段(如 {judge_samples[0]}) "
  362. f"⇒ 不是输入的纯函数, 逆向工程推不出来")
  363. if m_n and m_n * 2 >= len(rels):
  364. return '可逆(需反推口径)', split + '测量形态的件是测量数据的函数 ⇒ 可从 data/raw 反推口径 + 逐值对拍' \
  365. '(做法同 temp_monthly: 反推 → 逐值一致才敢用)'
  366. if gen_ok:
  367. return '半可逆(生成端在包, 输入不足)', '生成端在包内, 缺的是上游输入 ⇒ 上游补齐后即可重出'
  368. if judge_pct > 0:
  369. return '半可逆(需人工裁定)', f'抽样里 {judge_pct}% 的件含人工判断字段 ⇒ 机器部分可推、判断部分要人定'
  370. return '需人工裁定', '既无生成端、形态也不是测量函数 ⇒ 需研发给口径或领域正本'
  371. def _turbines_of(p: pathlib.Path, col: str = 'turbine', cap: int = 200000):
  372. import pandas as pd
  373. try:
  374. d = pd.read_parquet(p, columns=[col]) if col else pd.read_parquet(p)
  375. except Exception:
  376. return None
  377. try:
  378. return {str(x).upper() for x in d[col].dropna().unique()} if col in d.columns else None
  379. except Exception:
  380. return None
  381. def _input_turbines(station: pathlib.Path, sub: str):
  382. """输入侧机组集合: 逐台 CSV 文件名 / 目录名里的 WTG 号。"""
  383. d = station / sub
  384. if not d.is_dir():
  385. return None
  386. out = set()
  387. for p in d.rglob('*'):
  388. if p.is_file():
  389. for m in __import__('re').finditer(r'(WTG\s?\d{1,2})', p.name.upper()):
  390. out.add(m.group(1).replace(' ', ''))
  391. return out or None
  392. def classify_human(farm: str, rels: list[str], cap: int = 600) -> set[str]:
  393. """逐件判"是不是人工件"(用户令 2026-09-17 #3:人工件不再按自动产物参与呼应校验)。
  394. 判据:**非测量形态**的件(.md/.json/.csv/.txt)里出现人工判断字段(按字段名匹配)。
  395. 测量形态件(.parquet/.csv 数值、.npz)一律不算人工件 —— 它们是数据的函数,属"可反推"那一路。
  396. """
  397. human: set[str] = set()
  398. for rel in rels[:cap]:
  399. if rel in HUMAN_SNAPSHOTS: # ① 文档里已写明含人工裁决/校准的随包快照
  400. human.add(rel)
  401. continue
  402. suf = pathlib.Path(rel).suffix.lower()
  403. if suf == '.md': # ② 产物仓里的 .md 一律是报告/交证/评审记录(人写的)
  404. human.add(rel)
  405. continue
  406. if suf == '.txt':
  407. pat = JUDGE_PAT
  408. elif suf in ('.json', '.csv'):
  409. pat = JUDGE_KEY_PAT
  410. else:
  411. continue
  412. p = P.out_root(farm) / rel
  413. try:
  414. txt = p.read_text(encoding='utf-8', errors='replace')[:120000]
  415. except Exception:
  416. continue
  417. if pat.search(txt): # ③ 正文里有"人工判断字段"
  418. human.add(rel)
  419. return human
  420. def write_human_manifest(farm: str | None = None) -> int:
  421. """把人工件逐件落成 `outputs/<场>/_human_artifacts.json`(机器台账,供自检与审计引用)。"""
  422. farm = farm or P.farm()
  423. global LEDGER
  424. LEDGER = load_ledger(farm)
  425. entries: dict[str, dict] = {}
  426. for fam in FAMILIES:
  427. if fam['kind'] not in ('shipped', 'human', 'not-product'):
  428. continue
  429. rels = [r for r in _files_of(fam['glob']) if r not in entries]
  430. if not rels:
  431. continue
  432. if fam['kind'] == 'human':
  433. for r in rels:
  434. entries[r] = dict(kind='human', family=fam['id'], evidence='族内显式登记为人工正本/交证件')
  435. continue
  436. for r in classify_human(farm, rels):
  437. if r not in entries:
  438. entries[r] = dict(kind='human', family=fam['id'],
  439. evidence='件内含人工判断字段(按字段名匹配),不是输入的纯函数')
  440. out = P.out_root(farm) / '_human_artifacts.json'
  441. out.write_text(json.dumps(dict(
  442. at=__import__('time').strftime('%Y-%m-%d %H:%M:%S'),
  443. note='人工件台账(用户令 2026-09-17 #3):这些件由人写成/坐实,不是任何输入的纯函数 ⇒ '
  444. '不参与"输出↔输入呼应"校验;随包留在原位,重算不会也不该重写它们。'
  445. '本文件由 scripts/products_reverse_audit.py --write-human-manifest 生成。',
  446. count=len(entries), files=entries), ensure_ascii=False, indent=1), encoding='utf-8')
  447. by_fam: dict[str, int] = {}
  448. for v in entries.values():
  449. by_fam[v['family']] = by_fam.get(v['family'], 0) + 1
  450. print(f'人工件台账: {len(entries)} 件 → {P.rel(out)}')
  451. for k, v in sorted(by_fam.items(), key=lambda kv: -kv[1]):
  452. print(f' {k:24s} {v:4d} 件')
  453. return 0
  454. def audit(farm: str | None = None, verbose: bool = True):
  455. farm = farm or P.farm()
  456. global LEDGER
  457. LEDGER = load_ledger(farm)
  458. # ★ 场站原始件目录用唯一取用口 (场站名可与 farm 键不同: 键 = rudong, 目录 = data/raw/如东)
  459. from src.windscada.config import raw_station_dir
  460. station = pathlib.Path(raw_station_dir(farm))
  461. verdict: dict[str, dict] = {}
  462. fam_rows = []
  463. fails: list[str] = []
  464. for fam in FAMILIES:
  465. # ★ 族按**声明顺序**认领, 先声明的先拿 (否则 `m5_cms_tcm/*` 这种宽通配会把 windows/ 下
  466. # 1704 件也吞进来 —— fnmatch 的 `*` 是跨 `/` 的, 2026-09-17 第一版就这么误判过)
  467. rels = [r for r in _files_of(fam['glob']) if r not in verdict]
  468. rels = [r for r in rels if not r.lower().endswith(('.log', '.jsonl'))]
  469. if not rels:
  470. continue
  471. row = dict(id=fam['id'], n=len(rels), func=fam['func'], algo=fam['algo'], input=fam['input'],
  472. pred='+'.join(fam['pred']) or '—', verdict='', note='')
  473. if fam['kind'] == 'not-product':
  474. # ★ 不是产物, 却躺在产物仓里: 反向审计对它的结论是"它压根不该按产物管" ——
  475. # 既不需要生成端, 也谈不上与输入呼应(这一类最该被人看见, 故单独一类, 不当失败计)。
  476. jp, js, pg = judgement_evidence(farm, rels)
  477. fv, fw = feasibility(fam, rels, False, False, jp, js, pg)
  478. row['verdict'] = '✗ 非产物'
  479. row['note'] = fam.get('why', '')
  480. row['rev'], row['rev_why'] = fv, fw
  481. for r in rels:
  482. verdict[r] = dict(fam=fam['id'], verdict='✗',
  483. why='非产物(过程留痕/工具脚本躺在产物仓里): ' + fam.get('why', ''))
  484. elif fam['kind'] == 'human':
  485. # ★ 人工正本/交证件 (用户令 2026-09-17 #3): 由人写、被运行期当证据引用,
  486. # **不参与呼应校验**——它本来就没有、也不该有生成端; 单独计数, 不混进"无生成端"的失败堆里。
  487. row['verdict'] = '◆ 人工件'
  488. row['note'] = fam.get('why', '')
  489. row['rev'], row['rev_why'] = '人工件(正本/交证)', '人写的, 不参与呼应校验; 随包留在原位'
  490. for r in rels:
  491. verdict[r] = dict(fam=fam['id'], verdict='◆',
  492. why='人工件(人工正本/交证件): ' + fam.get('why', ''))
  493. elif fam['kind'] == 'shipped':
  494. jp, js, pg = judgement_evidence(farm, rels)
  495. gen_file = ROOT / fam['gen'] if fam.get('gen') else None
  496. gen_ok0 = bool(gen_file and gen_file.is_file())
  497. # ★ 逐件分人工件 (用户令 2026-09-17 #3): 含人工判断字段的件**不按自动产物参与呼应校验**,
  498. # 单独计 ◆; 余下才是真正的"无生成端"。
  499. human = classify_human(farm, rels)
  500. rest = [r for r in rels if r not in human]
  501. fv, fw = feasibility(fam, rest or rels, gen_ok0, False, jp, js, pg)
  502. row['verdict'] = '✗ 无生成端' if not human else f'✗ 无生成端 + ◆ 人工件 {len(human)}'
  503. row['n'] = len(rest)
  504. row['note'] = fam.get('why', '')
  505. row['rev'], row['rev_why'] = fv, fw
  506. if jp:
  507. row['rev_why'] += f';人工判断字段抽样命中 {jp}%' + (f'(如 {js[0]})' if js else '')
  508. for r in rest:
  509. verdict[r] = dict(fam=fam['id'], verdict='✗', why='无生成端(全库 0 处写入方): ' + fam['why'])
  510. for r in human:
  511. verdict[r] = dict(fam=fam['id'], verdict='◆',
  512. why='人工件(含人工判断字段): 不参与呼应校验, 随包留在原位')
  513. else:
  514. # ① 生成端在位
  515. gen = ROOT / fam['gen'] if fam.get('gen') else None
  516. gen_ok = bool(gen and gen.is_file())
  517. # ② 输入在位(场站目录优先, 机理层资料在 raw 根下 —— 见 _input_home)
  518. spec = INV.INPUTS.get(fam['input'] or '')
  519. i_s = i_e = None
  520. i_n = 0
  521. i_gran = '年'
  522. home = _input_home(station, fam['input']) if fam['input'] else None
  523. if home and spec:
  524. i_s, i_e, i_n, _note, i_gran = INV.input_span(home, fam['input'], spec)
  525. elif home:
  526. # 机理层资料这类"没有跨度判据"的输入: 按件数清点即算在位(INV.INPUTS 里没有它们的
  527. # 跨度口径 —— 技术资料是文档而不是时序数据, 拿跨度比毫无意义)
  528. i_n = sum(1 for p in (home / fam['input']).rglob('*') if p.is_file())
  529. i_gran = '年'
  530. elif fam['kind'] == 'source-derived':
  531. # ★ 输入是**包内源码**而不是 data/raw(如发布清单快照: 从 src/windscada/ui 重建页再摘要)。
  532. # 生成端在位 = 输入在位, 这类产物的"呼应"是对源码的, 不是对原始件的。
  533. i_n = 1
  534. i_s = i_e = '包内源码'
  535. in_ok = i_n > 0
  536. passed, notes = [], []
  537. if fam['pred'] and in_ok:
  538. if 'span' in fam['pred']:
  539. p_s, p_e, n = _parquet_span(P.out_root(farm) / rels[0], fam.get('time_col'))
  540. if p_s and i_s and (p_s[:7] < i_s[:7]):
  541. # ★ 年粒度输入(按文件名年份推的)不判失败: 与正向检查同一条教训 ——
  542. # 台账 xls 里可能含比文件名年份更早的历史记录, 拿年粒度当"输入起点"会造假缺口
  543. # (2026-09-17 实测: 工单产物起点 2020-01 而输入文件名最早 2021 ⇒ 不是数据串了)。
  544. msg = f'产物起点 {p_s} 早于输入起点 {i_s}'
  545. if i_gran in ('日', '月'):
  546. fails.append(f"{fam['id']}: {msg}(跨窗混入 / 键错)")
  547. notes.append('⚠ ' + msg)
  548. else:
  549. notes.append(f'{msg}(输入为年粒度, 只作参考: 台账可能含更早的历史行)')
  550. passed.append(f'跨度 {p_s}~{p_e} ⊆ 输入 {i_s}~{i_e}')
  551. if 'turbines' in fam['pred']:
  552. pt = _turbines_of(P.out_root(farm) / rels[0])
  553. it = _input_turbines(home, fam['input']) if home else None
  554. if pt and it:
  555. extra = pt - it
  556. if extra:
  557. fails.append(f"{fam['id']}: 产物含输入里没有的机组 {sorted(extra)[:5]}")
  558. passed.append(f'机组 {len(pt)} 台 ⊆ 输入 {len(it)} 台')
  559. if 'rows' in fam['pred']:
  560. tot = 0
  561. for r in rels[:400]:
  562. _s, _e, n = _parquet_span(P.out_root(farm) / r, None) if r.endswith('.parquet') \
  563. else (None, None, 1)
  564. tot += n
  565. if tot <= 0:
  566. fails.append(f"{fam['id']}: 产物行数合计为 0")
  567. passed.append(f'件内数据行合计 {tot:,}' + ('(抽样 400 件)' if len(rels) > 400 else ''))
  568. if 'npz' in fam['pred']:
  569. sample = rels[:5]
  570. bad = [r for r in sample if not _npz_ok(P.out_root(farm) / r)]
  571. if bad:
  572. fails.append(f"{fam['id']}: 抽样 {len(bad)}/{len(sample)} 件 npz 读不出或为空")
  573. passed.append(f'{len(rels)} 件谱(抽样 {len(sample)} 件 npz 均可读非空)· 输入源 {i_n} 件')
  574. if 'manifest' in fam['pred']:
  575. try:
  576. mf = json.loads((P.out_root(farm) / rels[0]).read_text(encoding='utf-8'))
  577. passed.append('清单自记: ' + ', '.join(f'{k}={v}' for k, v in list(mf.items())[:3]))
  578. except Exception as e:
  579. fails.append(f"{fam['id']}: 清单读不出来 ({type(e).__name__})")
  580. if not gen_ok:
  581. row['verdict'] = '✗ 生成端不在位'
  582. row['note'] = f"缺 {fam['gen']}"
  583. fails.append(f"{fam['id']}: 生成端不在位 {fam['gen']}")
  584. elif not in_ok:
  585. row['verdict'] = '~ 输入不在位'
  586. row['note'] = (f"缺 {(home / fam['input']) if home else station / str(fam['input'])}"
  587. ' ⇒ 现在无法验证(放数据后复跑本器)')
  588. else:
  589. row['verdict'] = '✓ 呼应成立'
  590. row['note'] = ';'.join(notes + passed)
  591. row['rev'], row['rev_why'] = '已在重算链上', '生成端在位、输入在位、判据通过 —— 无需逆向工程'
  592. for r in rels:
  593. verdict[r] = dict(fam=fam['id'], verdict=row['verdict'][0],
  594. why=row['note'] if row['verdict'][0] != '✓' else row['note'][:120])
  595. fam_rows.append(row)
  596. # 未归类件 (台账里有, 但没有任何族接住)
  597. unclassified = []
  598. for rel, v in LEDGER.items():
  599. if rel.lower().endswith(('.log', '.jsonl')):
  600. continue
  601. if rel in verdict:
  602. continue
  603. # 产物走通配没接住的, 也按台账来源判定
  604. unclassified.append(rel)
  605. verdict[rel] = dict(fam='(未归类)', verdict='?', why='既不在族表、也无法从台账判定来路')
  606. counts = {}
  607. for v in verdict.values():
  608. counts[v['verdict']] = counts.get(v['verdict'], 0) + 1
  609. if verbose:
  610. print(f'== 反向呼应审计 · 场站 {farm} · 台账 {len(LEDGER)} 件 · 判定 {len(verdict)} 件 ==')
  611. print(f' 输入根: {P.rel(station)}')
  612. print()
  613. print(f'{"族":26s} {"件数":>6s} {"判定":14s} {"输入类":12s} {"功能 / 算法 / 依据"}')
  614. for r in fam_rows:
  615. print(f' {r["id"]:24s} {r["n"]:6d} {r["verdict"]:14s} {str(r["input"] or "—"):12s} '
  616. f'{r["func"][:34]}')
  617. if r['note']:
  618. print(f' └─ {r["note"][:150]}')
  619. if unclassified:
  620. print(f'\n 【未归类 {len(unclassified)} 件】')
  621. for r in unclassified[:20]:
  622. print(f' ? {r}')
  623. print('\n 判定汇总: ' + ' · '.join(f'{k}={v}' for k, v in sorted(counts.items())))
  624. print(f' 判据失败 {len(fails)} 条' + (':' + ';'.join(fails[:3]) if fails else ''))
  625. ok = counts.get('✓', 0)
  626. print(f' 结论: 输出↔输入呼应**成立** {ok} 件 / **不成立(无生成端)** {counts.get("✗", 0)} 件 / '
  627. f'**人工件** {counts.get("◆", 0)} 件 / 无法验证 {counts.get("~", 0)} 件 / 未归类 {counts.get("?", 0)} 件')
  628. # ── 逆向工程可行性 (用户令 #2): 没有呼应关系的那些, 能不能推出来 ──
  629. import collections as _c
  630. by_rev = _c.Counter()
  631. for r in fam_rows:
  632. by_rev[r.get('rev', '?')] += r['n']
  633. print()
  634. print('== 反向「可逆性」矩阵(用户令 2026-09-17 #2: 无生成端的件能否从原件推出来)==')
  635. print(f'{"族":26s} {"件数":>6s} {"可逆性":22s} 依据')
  636. for r in fam_rows:
  637. if r['verdict'][0] == '✓':
  638. continue
  639. print(f' {r["id"]:24s} {r["n"]:6d} {r.get("rev", "?"):22s} {r.get("rev_why", "")[:96]}')
  640. print(' 按件数汇总: ' + ' · '.join(f'{k}={v}' for k, v in by_rev.most_common()))
  641. rc = 5 if (fails or unclassified) else 0
  642. return fam_rows, verdict, counts, fails, unclassified, rc
  643. def doc_block(farm: str) -> str:
  644. fam_rows, verdict, counts, fails, unclassified, _rc = audit(farm, verbose=False)
  645. L = [DOC_BEGIN, '### 13.6 反向呼应审计:自输出 → 功能与算法 → 输入(自动生成,勿手改)', '',
  646. f'台账 {len(verdict)} 件产物逐件回溯:**呼应成立 {counts.get("✓", 0)} 件** · '
  647. f'**不成立(无生成端){counts.get("✗", 0)} 件** · 无法验证 {counts.get("~", 0)} 件 · '
  648. f'未归类 {counts.get("?", 0)} 件。'
  649. '判据:① 生成端在位 ② 输入在位 ③ 跨度 ⊆ 输入 / 机组集 ⊆ 输入 / 行数 > 0 / 计数与清单一致。', '',
  650. '| 输出族(产物 glob) | 件数 | 反向判定 | 功能 | 算法 / 生成端 | 输入(data/raw/<场>/) | 判据 | 说明 |',
  651. '|---|---:|---|---|---|---|---|---|']
  652. for r in fam_rows:
  653. fam = next(f for f in FAMILIES if f['id'] == r['id'])
  654. L.append(f'| `{fam["glob"]}` | {r["n"]} | {r["verdict"]} | {r["func"]} | {r["algo"]} | '
  655. f'{r["input"] or "—(无生成端)"} | {r["pred"]} | {r["note"][:160]} |')
  656. if unclassified:
  657. L += ['', f'**未归类 {len(unclassified)} 件**(需人工认领):' + '、'.join(f'`{x}`' for x in unclassified[:12])]
  658. L += ['', '#### 反向「可逆性」:没有呼应关系的那批,能否从原始件推出来(用户令 2026-09-17 #2)', '',
  659. '判据两条机器证据:① 生成端在不在包内 ② 产物正文里有没有**人工判断**字段'
  660. '(`人工/裁决/审核/校准/评审/经验/judge/review/calibrat/verdict`,抽样读件统计命中率)。'
  661. '含人工判断的件不是任何输入的纯函数 ⇒ 逆向工程推不出来,只能把那一步人工工作重做。', '',
  662. '| 输出族 | 件数 | 可逆性 | 依据 |', '|---|---:|---|---|']
  663. for r in fam_rows:
  664. if r['verdict'][0] == '✓':
  665. continue
  666. L.append(f'| `{r["id"]}` | {r["n"]} | {r.get("rev", "?")} | {r.get("rev_why", "")} |')
  667. import collections as _c
  668. by_rev = _c.Counter()
  669. for r in fam_rows:
  670. by_rev[r.get('rev', '?')] += r['n']
  671. L += ['', '**按件数汇总**:' + ' · '.join(f'{k} = {v} 件' for k, v in by_rev.most_common()), '',
  672. '**人工件**:含人工判断字段的件已逐件登记在 outputs/&lt;场&gt;/_human_artifacts.json(用户令 2026-09-17 #3),'
  673. '它们**不参与**呼应校验(人写成/坐实的东西不是任何输入的纯函数);生成方式:'
  674. 'python scripts/products_reverse_audit.py --write-human-manifest。', '',
  675. '> 结论口径:`可逆(直接)` = 包内已有生成端,接上即可;`可逆(需反推口径)` = 内容是测量数据的函数,'
  676. '照 `temp_monthly` 的办法反推 + 逐值对拍;`不可逆(人工判断)` = 逆向工程推不出来,'
  677. '要么由研发补生成端、要么承认它是人工件(不该按产物管)。', DOC_END]
  678. return '\n'.join(L)
  679. def write_doc(farm: str) -> int:
  680. doc = ROOT / 'docs' / '系统设计说明.md'
  681. txt = doc.read_text(encoding='utf-8')
  682. blk = doc_block(farm)
  683. i, j = txt.find(DOC_BEGIN), txt.find(DOC_END)
  684. if i >= 0 and j > i:
  685. txt = txt[:i] + blk + txt[j + len(DOC_END):]
  686. else: # 首次: 追加到文末
  687. txt = txt.rstrip('\n') + '\n\n' + blk + '\n'
  688. doc.write_text(txt, encoding='utf-8', newline='\n')
  689. print(f'已写入 {P.rel(doc)} (§13.6 反向呼应审计块)')
  690. return 0
  691. def main() -> int:
  692. ap = argparse.ArgumentParser(description='反向呼应审计: 输出 → 功能与算法 → 输入')
  693. ap.add_argument('--farm', default=None)
  694. ap.add_argument('--check', action='store_true', help='只出结论 (有未归类/判据失败 → rc=5)')
  695. ap.add_argument('--write-doc', action='store_true', help='把族表写进 docs/系统设计说明.md §13.6')
  696. ap.add_argument('--write-human-manifest', action='store_true',
  697. help='生成人工件台账 outputs/<场>/_human_artifacts.json (用户令 2026-09-17 #3)')
  698. a = ap.parse_args()
  699. if a.write_human_manifest:
  700. return write_human_manifest(a.farm)
  701. if a.write_doc:
  702. return write_doc(a.farm or P.farm())
  703. _rows, _v, counts, fails, uncl, rc = audit(a.farm, verbose=True)
  704. if a.check:
  705. print(f'[{"OK" if rc == 0 else "X"}] 反向呼应审计 rc={rc}'
  706. + (f'(未归类 {len(uncl)} 件 / 判据失败 {len(fails)} 条)' if rc else '(未归类 0 件、判据无失败)'))
  707. return rc
  708. if __name__ == '__main__':
  709. for _s in (sys.stdout, sys.stderr):
  710. try:
  711. _s.reconfigure(errors='replace')
  712. except Exception:
  713. pass
  714. sys.exit(main())