products_reverse_audit.py 28 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479
  1. #!/usr/bin/env python3
  2. # -*- coding: utf-8 -*-
  3. r"""**反向**呼应审计:自输出 → 功能与算法 → 输入(用户令 2026-09-17)。
  4. ## 与 `inventory_products.py` 的区别(两个方向,各管一件事)
  5. · `inventory_products.py` 是**正向**:从 `data/raw/<场>/` 的每一类输入出发,找它喂出来的产物,
  6. 比跨度/条数("输入到了 2026-07,产物只到 2026-04 → 未重算")。它只覆盖 5 类输入、十几件产物。
  7. · 本器是**反向**:从 `outputs/<场>/` 的**每一件产物**出发,问三个问题:
  8. ① 它是谁算出来的?(功能与算法 = 生成端)
  9. ② 它从哪份输入算出来的?(`data/raw/<场>/` 的哪一类)
  10. ③ 这条"输出 ↔ 输入"的呼应关系**成立吗**?(生成端在位 ∧ 输入在位 ∧ 可机检的对应判据通过)
  11. 逐件判定,最后给出"成立 / 不成立(无生成端)/ 无法验证"三类账。
  12. ## 为什么必须做反向
  13. 正向只查"我关心的输入有没有被算成产物",查不出**"盘上这件产物到底有没有来路"**。
  14. 2026-09-17 现场就是栽在这里:清了产物之后,页面缺的 `windscada/index.html`、
  15. `m5_cms_tcm/handoff_vibration_v2.json` 这类件**根本没有生成端**(全库 0 处写入方),
  16. 正向那几条跨度判据一条都不会报 —— 它们压根不在 `INPUTS` 的 `feeds` 里。
  17. 反向一对账就清楚了:**有来路的件**(生成端 + 输入 + 判据都过)与**没来路的件**(只能从交付包补)。
  18. ## 判定口径(每条都写进结果里,不含糊)
  19. ✓ 呼应成立 生成端在位 ∧ 输入在位 ∧ 判据通过(跨度 ⊆ 输入 / 键集 ⊆ 输入 / 计数一致 / 行数 > 0)
  20. ~ 输入不在位 生成端知道,但 `data/raw/<场>/<类>` 不在 ⇒ **现在无法验证**(放数据后复跑本器)
  21. ✗ 无生成端 全库 0 处写入方 ⇒ **输出↔输入的呼应在原理上不成立**:这件产物无法由输入推导出来,
  22. 只能从"含产物的交付包"补齐(products_restore_missing.py --stash <包.zip>)
  23. ? 未归类 既不在族表里、台账里也没有 —— 需要人工认领(本器把它当缺口报出来)
  24. ## 用法
  25. python scripts/products_reverse_audit.py # 全量反向审计(人看)
  26. python scripts/products_reverse_audit.py --check # 只出结论(有 ✗/? 时退出码 5)
  27. python scripts/products_reverse_audit.py --write-doc # 把族表写进 docs/系统设计说明.md §13.6
  28. 退出码: 0 全部成立(允许 ✗,只要它们都在台账里如实标了 shipped)· 5 有未归类件或判据失败
  29. """
  30. from __future__ import annotations
  31. import argparse
  32. import fnmatch
  33. import json
  34. import pathlib
  35. import sys
  36. ROOT = pathlib.Path(__file__).resolve().parents[1]
  37. sys.path.insert(0, str(ROOT))
  38. sys.path.insert(0, str(ROOT / 'scripts'))
  39. from src import paths as P # noqa: E402
  40. import inventory_products as INV # noqa: E402
  41. DOC_BEGIN, DOC_END = '<!-- REVERSE-AUDIT:BEGIN -->', '<!-- REVERSE-AUDIT:END -->'
  42. # ── 族表: 输出(glob) → 功能 / 算法(生成端) / 输入类 / 判据 ────────────────────────────
  43. # pred: span=产物时间跨度必须落在输入跨度内; turbines=产物机组集 ⊆ 输入机组集;
  44. # rows=行数>0; count=件数/计数与说明一致; manifest=与清单自记一致
  45. FAMILIES: list[dict] = [
  46. dict(id='vib_window_index', glob='m5_cms_tcm/windows/*/index.parquet', kind='raw-derived',
  47. func='振动摄入 · 窗索引', algo='scripts/rudong_tcm_index.py(逐 decode JSON 解析 54 列:turbine/'
  48. 'sensor_name/meas_name/trigger_time/rpm/condition_key/alarm_type)',
  49. gen='scripts/rudong_tcm_index.py', input='windcms', pred=('span', 'turbines', 'rows'),
  50. time_col='trigger_time'),
  51. dict(id='vib_spectra', glob=['m5_cms_tcm/windows/*/spectra/**', 'm5_cms_tcm/windows/*/spectra_meta.parquet'],
  52. kind='raw-derived',
  53. func='振动摄入 · 谱库', algo='scripts/rudong_tcm_spectra.py(FFT_ 测量 → npz 幅值数组, 分片存 `spectra/p<NN>/`)',
  54. gen='scripts/rudong_tcm_spectra.py', input='windcms', pred=('npz',)),
  55. dict(id='vib_raw_manifest', glob='m5_cms_tcm/vib_raw_manifest.json', kind='raw-derived',
  56. func='振动摄入 · 清单', algo='scripts/vib_raw_build.py(汇总窗/谱件数、时间跨度、missing_chain 缺口)',
  57. gen='scripts/vib_raw_build.py', input='windcms', pred=('manifest',)),
  58. dict(id='scada_alarms', glob='windscada/alarms.parquet', kind='raw-derived',
  59. func='三门台账 · 报警', algo='scripts/windscada_alarms_ingest.py(SpreadsheetML *.xls → 事件表)',
  60. gen='scripts/windscada_alarms_ingest.py', input='故障报警', pred=('span', 'rows'), time_col='t_on'),
  61. dict(id='scada_workorders', glob='windscada/workorders.parquet', kind='raw-derived',
  62. func='三门台账 · 工单', algo='scripts/windscada_workorder_ingest.py(检修台账 → 工单表)',
  63. gen='scripts/windscada_workorder_ingest.py', input='风机故障记录', pred=('span', 'rows'),
  64. time_col='t_report'),
  65. dict(id='scada_oil', glob='windscada/oil_samples_index.parquet', kind='raw-derived',
  66. func='三门台账 · 油样', algo='scripts/windscada_watch_channels_build.py(油样 PDF → 索引)',
  67. gen='scripts/windscada_watch_channels_build.py', input='油样报告', pred=('span', 'rows'),
  68. time_col='date'),
  69. dict(id='scada_monthly', glob='windscada/temp_monthly.parquet', kind='raw-derived',
  70. func='月度派生件', algo='scripts/windscada_monthly_build.py(逐值对齐随包件 19,494/19,494)',
  71. gen='scripts/windscada_monthly_build.py', input='scada_10min', pred=('span', 'rows'), time_col='month'),
  72. dict(id='scada_derived', glob='windscada/*.parquet', kind='raw-derived',
  73. func='SCADA 派生分析(功率曲线/损失/曲线/控制/停机/温度/偏航/液压/热链/系统辅助)',
  74. algo='src/windscada/perf/{powercurve,availability,curves,control,faults} + subsys/{temp_nbm,yaw,'
  75. 'hydraulic,thermal_chain} + taxonomy.py',
  76. gen='src/windscada/perf/powercurve.py', input='scada_10min', pred=('rows',)),
  77. dict(id='ontology_core', glob='ontology/{objects.json,retrieval_index.json,turbine_params.parquet}',
  78. kind='raw-derived',
  79. func='本体层 · 码表/对象库/检索索引/实机参数',
  80. algo='python -m src.ontology.kb_ingest → populate → chain_ingest → trend_ingest;'
  81. 'src.ontology.retrieval.build;src.ontology.maintenance.refresh_params',
  82. gen='src/ontology/kb_ingest.py', input='西门子4.0技术资料', pred=('rows',)),
  83. dict(id='ontology_aux_build', glob=['ontology/_id_alias.json', 'ontology/retrieval_vec.npy'],
  84. kind='raw-derived',
  85. func='本体层 · 别名表与向量索引缓存', algo='src.ontology.kb_ingest(别名)/ '
  86. 'src.ontology.retrieval.build(use_vec=True)(向量)',
  87. gen='src/ontology/kb_ingest.py', input='西门子4.0技术资料', pred=('rows',)),
  88. dict(id='ontology_domain', glob=['ontology/oil_2026H2_huabiao.json', 'ontology/parts_cost_public.json',
  89. 'ontology/scenario_29_repair.json'],
  90. kind='shipped',
  91. func='本体层 · 领域数据件(油样台账/备件价格/场景修复)', algo='(无生成端, 领域正本出件)',
  92. gen=None, input=None, pred=(), why='领域正本随包发来, 不由 data/raw 推导'),
  93. dict(id='windscada_delivery_notes',
  94. glob=['windscada/mblub_alarm_cross.json', 'windscada/release-manifest.json',
  95. 'windscada/review_presented.json', 'windscada/给振动线_温度轴回复_20260826.json',
  96. 'windscada/给振动线_温度轴回复_20260826.md', 'windscada/送审_系统结论与判定_20260828.md'],
  97. kind='not-product',
  98. func='**非产物**:交证/评审往来件(送审结论、给振动线的回复、发布清单快照)',
  99. algo='(沟通与评审留痕, 不是产物)', gen=None, input=None, pred=(),
  100. why='这些是"人对人的交证件", 内容由分析结论抄写而成, 不随 data/raw 变; 放在产物仓里会让'
  101. '"产物"这个词失去意义(它们既无生成端, 也无重算入口)'),
  102. # ── 以下族: 全库 0 处写入方 ⇒ 反向呼应**在原理上不成立**(如实记账, 不假装成立)────
  103. dict(id='vib_handoff_and_scans', glob='m5_cms_tcm/*.{json,parquet,csv,md,txt}',
  104. kind='shipped',
  105. func='振动线出件与专项扫描(handoff / 历史 / 基线 / 各类 freq scan / 判级台账)', algo='(无生成端)',
  106. gen=None, input=None, pred=(), why='振动六层链四步脚本未随包(oem_frequency_scan 等),'
  107. '现场正本才可重出;现只能从交付包补齐'),
  108. dict(id='vib_figs', glob='m5_cms_tcm/figs/*', kind='shipped',
  109. func='振动线出图(谱图/趋势图)', algo='(无生成端)', gen=None, input=None, pred=(),
  110. why='随包快照(振动线出件)'),
  111. dict(id='windscada_pages', glob='windscada/{index.html,turbines/*,review/*}', kind='shipped',
  112. func='总览「全场状态」静态页 + 逐台页 + 评审记录', algo='(无生成端)',
  113. gen=None, input=None, pred=(), why='页面件由振动线/历史分析出件,本包无写入方'),
  114. dict(id='windcms_pages', glob='windcms/**', kind='shipped',
  115. func='CMS 振动评估报告页/逐台页/缓存', algo='scripts/windcms.py report(本包缺 model_run/fusion '
  116. '产物, 重生成会掉内容 −97%, 故**按设计跳过**)', gen=None, input=None, pred=(),
  117. why='生成端在包内但输入不足 ⇒ 现状按随包件冻结'),
  118. dict(id='sop_workspace', glob='sop/**', kind='shipped',
  119. func='SOP 中间件/评审/事实契约底稿', algo='(无生成端)', gen=None, input=None, pred=(),
  120. why='评审过程件, 属人工作业留痕'),
  121. dict(id='tcm_replay', glob='tcm_compatible_replay/**', kind='shipped',
  122. func='TCM 兼容链回放资产(模型表/掩码阈值/裁决记录)', algo='(无生成端)', gen=None, input=None,
  123. pred=(), why='随包快照'),
  124. dict(id='paradigm_r1', glob='paradigm_r1/**', kind='shipped',
  125. func='范式实验件(E3/E5/E8 底稿)', algo='(无生成端)', gen=None, input=None, pred=(),
  126. why='实验底稿, 事实契约的输入'),
  127. dict(id='pitch_shipped', glob='pitch/**', kind='shipped',
  128. func='变桨侧派生件(零位/日粒度)', algo='(无生成端;rebuild_from_raw --scada 只覆盖其中一部分)',
  129. gen=None, input=None, pred=(), why='随包快照'),
  130. dict(id='ontology_releases', glob='ontology/release_*/*', kind='shipped',
  131. func='本体发布层 r1/r2(只读暴露给网关 /release/)', algo='(无生成端)', gen=None, input=None,
  132. pred=(), why='发布层清单, 由研发出件'),
  133. dict(id='guanlan_contract', glob='guanlan/**', kind='shipped',
  134. func='事实契约与对外派生(门户结论段/取数)', algo='scripts/guanlan_facts_contract.py(读者在包内, '
  135. '输入是 ontology+m5+sop 三处**产物**)', gen=None, input=None, pred=(),
  136. why='派生链的中间层:它的"输入"本身是产物而非 data/raw ⇒ 与 raw 之间隔着不止一跳'),
  137. dict(id='scratch_in_products', glob=['**/_*.js', '**/_*audit*.md', '**/*.out', '**/*.err',
  138. '**/*_test_*.parquet', '**/*_test_*.json'],
  139. kind='not-product',
  140. func='**非产物**:自审脚本/记录与模型测试输出(躺在产物仓里)', algo='(工具脚本与运行痕迹, 不是产物)',
  141. gen=None, input=None, pred=(),
  142. why='清单里既有审计脚本(`windscada/_audit*.js`)与自审记录(`_*audit*.md`), 也有模型试跑输出'
  143. '(`ontology/*_test_*.out/.err`);它们随包发过来、不参与任何取数, 属"产物仓里的杂物"'),
  144. ]
  145. def _files_of(glob) -> list[str]:
  146. """族 glob(str 或 list)→ 台账里的相对键(支持 `{a,b}` 花括号与 `*`)。
  147. ★ 深度必须**显式对齐**(2026-09-17 第一版踩过): `fnmatch` 的 `*` 是**跨 `/`** 的, 于是
  148. `windscada/*.parquet` 会把 `windscada/turbines/xx.parquet`、`windscada/_pre_rebuild_*/xx.parquet`
  149. 一起吞进来 —— 反向审计最怕"族把不该管的件认领了", 那样账就假了。
  150. 规则: 模式里没有 `**` 时, 要求的 `/` 个数必须与键的 `/` 个数**相等**(逐条展开后各自判)。
  151. """
  152. pats = []
  153. for g in ([glob] if isinstance(glob, str) else list(glob)):
  154. if '{' in g:
  155. head, tail = g.split('{', 1)
  156. opts, rest = tail.split('}', 1)
  157. pats += [head + o + rest for o in opts.split(',')]
  158. else:
  159. pats.append(g)
  160. out = []
  161. for rel in LEDGER:
  162. for pt in pats:
  163. if '**' not in pt and rel.count('/') != pt.count('/'):
  164. continue
  165. if fnmatch.fnmatch(rel, pt) or rel == pt:
  166. out.append(rel)
  167. break
  168. return sorted(out)
  169. LEDGER: dict[str, dict] = {}
  170. def load_ledger(farm: str) -> dict[str, dict]:
  171. """台账 = `_provenance.json`(逐件来源) + `_derived_manifest.json`(生成端自登记)。"""
  172. out: dict[str, dict] = {}
  173. root = P.out_root(farm)
  174. for fn in ('_provenance.json', '_derived_manifest.json'):
  175. f = root / fn
  176. if not f.is_file():
  177. continue
  178. try:
  179. d = json.loads(f.read_text(encoding='utf-8'))
  180. except Exception:
  181. continue
  182. for rel, v in (d.get('files') or {}).items():
  183. if isinstance(v, dict):
  184. out.setdefault(rel, dict(source=v.get('source') or 'raw-derived',
  185. builder=v.get('builder') or v.get('by') or '',
  186. why=v.get('why') or '',))
  187. return out
  188. def _input_home(station: pathlib.Path, sub: str) -> pathlib.Path | None:
  189. """输入类目录在哪 —— 优先场站目录下, 其次 raw 根下。
  190. ★ 机理层资料按 A2 约定**不在场站目录下**(`data/raw/西门子4.0技术资料/`, 见 src/windscada/config.py)。
  191. 只查场站目录会把本体层判成"输入不在位"(2026-09-17 第一版就这么误报过 3 件)。
  192. """
  193. for base in (station, station.parent):
  194. d = base / sub
  195. if d.is_dir():
  196. return base
  197. return None
  198. def _parquet_span(p: pathlib.Path, col: str | None):
  199. import pandas as pd
  200. try:
  201. d = pd.read_parquet(p)
  202. except Exception:
  203. return None, None, 0
  204. n = len(d)
  205. if col and col in d.columns:
  206. s = pd.to_datetime(d[col], errors='coerce')
  207. if s.notna().any():
  208. return str(s.min())[:10], str(s.max())[:10], n
  209. return None, None, n
  210. def _npz_ok(p: pathlib.Path) -> bool:
  211. """振动谱件: npz 能读出来且非空(列数不是"行", 不能拿 parquet 的行数判它)。"""
  212. try:
  213. import numpy as np
  214. with np.load(p, allow_pickle=False) as z:
  215. return any(z[k].size > 0 for k in z.files)
  216. except Exception:
  217. return False
  218. def _turbines_of(p: pathlib.Path, col: str = 'turbine', cap: int = 200000):
  219. import pandas as pd
  220. try:
  221. d = pd.read_parquet(p, columns=[col]) if col else pd.read_parquet(p)
  222. except Exception:
  223. return None
  224. try:
  225. return {str(x).upper() for x in d[col].dropna().unique()} if col in d.columns else None
  226. except Exception:
  227. return None
  228. def _input_turbines(station: pathlib.Path, sub: str):
  229. """输入侧机组集合: 逐台 CSV 文件名 / 目录名里的 WTG 号。"""
  230. d = station / sub
  231. if not d.is_dir():
  232. return None
  233. out = set()
  234. for p in d.rglob('*'):
  235. if p.is_file():
  236. for m in __import__('re').finditer(r'(WTG\s?\d{1,2})', p.name.upper()):
  237. out.add(m.group(1).replace(' ', ''))
  238. return out or None
  239. def audit(farm: str | None = None, verbose: bool = True):
  240. farm = farm or P.farm()
  241. global LEDGER
  242. LEDGER = load_ledger(farm)
  243. # ★ 场站原始件目录用唯一取用口 (场站名可与 farm 键不同: 键 = rudong, 目录 = data/raw/如东)
  244. from src.windscada.config import raw_station_dir
  245. station = pathlib.Path(raw_station_dir(farm))
  246. verdict: dict[str, dict] = {}
  247. fam_rows = []
  248. fails: list[str] = []
  249. for fam in FAMILIES:
  250. # ★ 族按**声明顺序**认领, 先声明的先拿 (否则 `m5_cms_tcm/*` 这种宽通配会把 windows/ 下
  251. # 1704 件也吞进来 —— fnmatch 的 `*` 是跨 `/` 的, 2026-09-17 第一版就这么误判过)
  252. rels = [r for r in _files_of(fam['glob']) if r not in verdict]
  253. rels = [r for r in rels if not r.lower().endswith(('.log', '.jsonl'))]
  254. if not rels:
  255. continue
  256. row = dict(id=fam['id'], n=len(rels), func=fam['func'], algo=fam['algo'], input=fam['input'],
  257. pred='+'.join(fam['pred']) or '—', verdict='', note='')
  258. if fam['kind'] == 'not-product':
  259. # ★ 不是产物, 却躺在产物仓里: 反向审计对它的结论是"它压根不该按产物管" ——
  260. # 既不需要生成端, 也谈不上与输入呼应(这一类最该被人看见, 故单独一类, 不当失败计)。
  261. row['verdict'] = '✗ 非产物'
  262. row['note'] = fam.get('why', '')
  263. for r in rels:
  264. verdict[r] = dict(fam=fam['id'], verdict='✗',
  265. why='非产物(过程留痕/工具脚本躺在产物仓里): ' + fam.get('why', ''))
  266. elif fam['kind'] == 'shipped':
  267. row['verdict'] = '✗ 无生成端'
  268. row['note'] = fam.get('why', '')
  269. for r in rels:
  270. verdict[r] = dict(fam=fam['id'], verdict='✗', why='无生成端(全库 0 处写入方): ' + fam['why'])
  271. else:
  272. # ① 生成端在位
  273. gen = ROOT / fam['gen'] if fam.get('gen') else None
  274. gen_ok = bool(gen and gen.is_file())
  275. # ② 输入在位(场站目录优先, 机理层资料在 raw 根下 —— 见 _input_home)
  276. spec = INV.INPUTS.get(fam['input'] or '')
  277. i_s = i_e = None
  278. i_n = 0
  279. i_gran = '年'
  280. home = _input_home(station, fam['input']) if fam['input'] else None
  281. if home and spec:
  282. i_s, i_e, i_n, _note, i_gran = INV.input_span(home, fam['input'], spec)
  283. elif home:
  284. # 机理层资料这类"没有跨度判据"的输入: 按件数清点即算在位(INV.INPUTS 里没有它们的
  285. # 跨度口径 —— 技术资料是文档而不是时序数据, 拿跨度比毫无意义)
  286. i_n = sum(1 for p in (home / fam['input']).rglob('*') if p.is_file())
  287. i_gran = '年'
  288. in_ok = i_n > 0
  289. passed, notes = [], []
  290. if fam['pred'] and in_ok:
  291. if 'span' in fam['pred']:
  292. p_s, p_e, n = _parquet_span(P.out_root(farm) / rels[0], fam.get('time_col'))
  293. if p_s and i_s and (p_s[:7] < i_s[:7]):
  294. # ★ 年粒度输入(按文件名年份推的)不判失败: 与正向检查同一条教训 ——
  295. # 台账 xls 里可能含比文件名年份更早的历史记录, 拿年粒度当"输入起点"会造假缺口
  296. # (2026-09-17 实测: 工单产物起点 2020-01 而输入文件名最早 2021 ⇒ 不是数据串了)。
  297. msg = f'产物起点 {p_s} 早于输入起点 {i_s}'
  298. if i_gran in ('日', '月'):
  299. fails.append(f"{fam['id']}: {msg}(跨窗混入 / 键错)")
  300. notes.append('⚠ ' + msg)
  301. else:
  302. notes.append(f'{msg}(输入为年粒度, 只作参考: 台账可能含更早的历史行)')
  303. passed.append(f'跨度 {p_s}~{p_e} ⊆ 输入 {i_s}~{i_e}')
  304. if 'turbines' in fam['pred']:
  305. pt = _turbines_of(P.out_root(farm) / rels[0])
  306. it = _input_turbines(home, fam['input']) if home else None
  307. if pt and it:
  308. extra = pt - it
  309. if extra:
  310. fails.append(f"{fam['id']}: 产物含输入里没有的机组 {sorted(extra)[:5]}")
  311. passed.append(f'机组 {len(pt)} 台 ⊆ 输入 {len(it)} 台')
  312. if 'rows' in fam['pred']:
  313. tot = 0
  314. for r in rels[:400]:
  315. _s, _e, n = _parquet_span(P.out_root(farm) / r, None) if r.endswith('.parquet') \
  316. else (None, None, 1)
  317. tot += n
  318. if tot <= 0:
  319. fails.append(f"{fam['id']}: 产物行数合计为 0")
  320. passed.append(f'件内数据行合计 {tot:,}' + ('(抽样 400 件)' if len(rels) > 400 else ''))
  321. if 'npz' in fam['pred']:
  322. sample = rels[:5]
  323. bad = [r for r in sample if not _npz_ok(P.out_root(farm) / r)]
  324. if bad:
  325. fails.append(f"{fam['id']}: 抽样 {len(bad)}/{len(sample)} 件 npz 读不出或为空")
  326. passed.append(f'{len(rels)} 件谱(抽样 {len(sample)} 件 npz 均可读非空)· 输入源 {i_n} 件')
  327. if 'manifest' in fam['pred']:
  328. try:
  329. mf = json.loads((P.out_root(farm) / rels[0]).read_text(encoding='utf-8'))
  330. passed.append('清单自记: ' + ', '.join(f'{k}={v}' for k, v in list(mf.items())[:3]))
  331. except Exception as e:
  332. fails.append(f"{fam['id']}: 清单读不出来 ({type(e).__name__})")
  333. if not gen_ok:
  334. row['verdict'] = '✗ 生成端不在位'
  335. row['note'] = f"缺 {fam['gen']}"
  336. fails.append(f"{fam['id']}: 生成端不在位 {fam['gen']}")
  337. elif not in_ok:
  338. row['verdict'] = '~ 输入不在位'
  339. row['note'] = (f"缺 {(home / fam['input']) if home else station / str(fam['input'])}"
  340. ' ⇒ 现在无法验证(放数据后复跑本器)')
  341. else:
  342. row['verdict'] = '✓ 呼应成立'
  343. row['note'] = ';'.join(notes + passed)
  344. for r in rels:
  345. verdict[r] = dict(fam=fam['id'], verdict=row['verdict'][0],
  346. why=row['note'] if row['verdict'][0] != '✓' else row['note'][:120])
  347. fam_rows.append(row)
  348. # 未归类件 (台账里有, 但没有任何族接住)
  349. unclassified = []
  350. for rel, v in LEDGER.items():
  351. if rel.lower().endswith(('.log', '.jsonl')):
  352. continue
  353. if rel in verdict:
  354. continue
  355. # 产物走通配没接住的, 也按台账来源判定
  356. unclassified.append(rel)
  357. verdict[rel] = dict(fam='(未归类)', verdict='?', why='既不在族表、也无法从台账判定来路')
  358. counts = {}
  359. for v in verdict.values():
  360. counts[v['verdict']] = counts.get(v['verdict'], 0) + 1
  361. if verbose:
  362. print(f'== 反向呼应审计 · 场站 {farm} · 台账 {len(LEDGER)} 件 · 判定 {len(verdict)} 件 ==')
  363. print(f' 输入根: {P.rel(station)}')
  364. print()
  365. print(f'{"族":26s} {"件数":>6s} {"判定":14s} {"输入类":12s} {"功能 / 算法 / 依据"}')
  366. for r in fam_rows:
  367. print(f' {r["id"]:24s} {r["n"]:6d} {r["verdict"]:14s} {str(r["input"] or "—"):12s} '
  368. f'{r["func"][:34]}')
  369. if r['note']:
  370. print(f' └─ {r["note"][:150]}')
  371. if unclassified:
  372. print(f'\n 【未归类 {len(unclassified)} 件】')
  373. for r in unclassified[:20]:
  374. print(f' ? {r}')
  375. print('\n 判定汇总: ' + ' · '.join(f'{k}={v}' for k, v in sorted(counts.items())))
  376. print(f' 判据失败 {len(fails)} 条' + (':' + ';'.join(fails[:3]) if fails else ''))
  377. ok = counts.get('✓', 0)
  378. print(f' 结论: 输出↔输入呼应**成立** {ok} 件 / **不成立(无生成端)** {counts.get("✗", 0)} 件 / '
  379. f'无法验证 {counts.get("~", 0)} 件 / 未归类 {counts.get("?", 0)} 件')
  380. rc = 5 if (fails or unclassified) else 0
  381. return fam_rows, verdict, counts, fails, unclassified, rc
  382. def doc_block(farm: str) -> str:
  383. fam_rows, verdict, counts, fails, unclassified, _rc = audit(farm, verbose=False)
  384. L = [DOC_BEGIN, '### 13.6 反向呼应审计:自输出 → 功能与算法 → 输入(自动生成,勿手改)', '',
  385. f'台账 {len(verdict)} 件产物逐件回溯:**呼应成立 {counts.get("✓", 0)} 件** · '
  386. f'**不成立(无生成端){counts.get("✗", 0)} 件** · 无法验证 {counts.get("~", 0)} 件 · '
  387. f'未归类 {counts.get("?", 0)} 件。'
  388. '判据:① 生成端在位 ② 输入在位 ③ 跨度 ⊆ 输入 / 机组集 ⊆ 输入 / 行数 > 0 / 计数与清单一致。', '',
  389. '| 输出族(产物 glob) | 件数 | 反向判定 | 功能 | 算法 / 生成端 | 输入(data/raw/<场>/) | 判据 | 说明 |',
  390. '|---|---:|---|---|---|---|---|---|']
  391. for r in fam_rows:
  392. fam = next(f for f in FAMILIES if f['id'] == r['id'])
  393. L.append(f'| `{fam["glob"]}` | {r["n"]} | {r["verdict"]} | {r["func"]} | {r["algo"]} | '
  394. f'{r["input"] or "—(无生成端)"} | {r["pred"]} | {r["note"][:160]} |')
  395. if unclassified:
  396. L += ['', f'**未归类 {len(unclassified)} 件**(需人工认领):' + '、'.join(f'`{x}`' for x in unclassified[:12])]
  397. L += ['', '> 生成方式:`python scripts/products_reverse_audit.py --write-doc`。',
  398. '> `✓` 与 `✗` 的区别就是"这件产物的输出能不能由输入推导出来":`✗` 的那些**只能**用 '
  399. '`scripts/products_restore_missing.py --stash <含产物的交付包.zip>` 补齐 —— 重算永远生不出它们。',
  400. DOC_END]
  401. return '\n'.join(L)
  402. def write_doc(farm: str) -> int:
  403. doc = ROOT / 'docs' / '系统设计说明.md'
  404. txt = doc.read_text(encoding='utf-8')
  405. blk = doc_block(farm)
  406. i, j = txt.find(DOC_BEGIN), txt.find(DOC_END)
  407. if i >= 0 and j > i:
  408. txt = txt[:i] + blk + txt[j + len(DOC_END):]
  409. else: # 首次: 追加到文末
  410. txt = txt.rstrip('\n') + '\n\n' + blk + '\n'
  411. doc.write_text(txt, encoding='utf-8', newline='\n')
  412. print(f'已写入 {P.rel(doc)} (§13.6 反向呼应审计块)')
  413. return 0
  414. def main() -> int:
  415. ap = argparse.ArgumentParser(description='反向呼应审计: 输出 → 功能与算法 → 输入')
  416. ap.add_argument('--farm', default=None)
  417. ap.add_argument('--check', action='store_true', help='只出结论 (有未归类/判据失败 → rc=5)')
  418. ap.add_argument('--write-doc', action='store_true', help='把族表写进 docs/系统设计说明.md §13.6')
  419. a = ap.parse_args()
  420. if a.write_doc:
  421. return write_doc(a.farm or P.farm())
  422. _rows, _v, counts, fails, uncl, rc = audit(a.farm, verbose=True)
  423. if a.check:
  424. print(f'[{"OK" if rc == 0 else "X"}] 反向呼应审计 rc={rc}'
  425. + (f'(未归类 {len(uncl)} 件 / 判据失败 {len(fails)} 条)' if rc else '(未归类 0 件、判据无失败)'))
  426. return rc
  427. if __name__ == '__main__':
  428. for _s in (sys.stdout, sys.stderr):
  429. try:
  430. _s.reconfigure(errors='replace')
  431. except Exception:
  432. pass
  433. sys.exit(main())