guanlan-src/scripts/rebuild_all.py

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
r"""一条命令重算全部 (2026-09-12) —— 把散在各脚本里的重算链按依赖顺序串起来。

## 为什么要有它

"从零重算"原本是六七条命令、顺序还不能错 (产物齐了本体层才跑得动, 本体层跑完才能拷随包件…),
手工执行容易漏步、也说不清"到底重算了什么"。本脚本把顺序、依赖、验收锚点全写死在这里。

## 顺序 (为什么是这个顺序)

    ① 放数据      place_raw_data.py --scope full      (给了 --src 才跑; 同尺寸自动跳过)
    ② 三门台账    rebuild_from_raw.py                 报警/工单/油样
    ③ SCADA 侧    rebuild_from_raw.py --scada         10 个构建器, 逐台读 ~14 GB, 约 15 分钟
    ④ 月度派生件  windscada_monthly_build.py          能从 raw 重算的月表(与随包件逐值对齐才落盘)
    ⑤a 台账维护   products_restore_missing.py --refresh  账实相符(谁在位、谁有生成端); 只记账不搬件
    ⑤ 反向呼应审计 products_reverse_audit.py --check   逐件回溯"输出→生成端→输入"(用户令 2026-09-17 #1: 运行期不从交付包补齐)
       ↑ 必须在 ⑥ 之前: 本体层的 populate/chain_ingest 要吃这些 L1 产物
    ⑥ 重启服务    guanlan.py stop/serve               chain_ingest 要从 /api/fleet 取链盘
    ⑦ 本体层      kb_ingest → populate → chain_ingest → trend_ingest → retrieval → refresh_params
    ⑧ 验收        ontology.audit + rebuild_from_raw --verify (可选) + 页面对照

## 用法

    python scripts/rebuild_all.py                      # 全套 (会跑 SCADA 那 15 分钟)
    python scripts/rebuild_all.py --skip-scada         # 只换台账时的常用档
    python scripts/rebuild_all.py --src <现场包目录>   # 连"放数据"一起
    python scripts/rebuild_all.py --no-restart         # 不碰服务(自己管)
    python scripts/rebuild_all.py --with-verify        # 末尾加等价验收(需随包基线在位)
    python scripts/rebuild_all.py --dry-run            # 只打印计划
"""
from __future__ import annotations

import argparse
import os
import pathlib
import subprocess
import sys
import time

ROOT = pathlib.Path(__file__).resolve().parents[1]
PY = sys.executable


def step_cmd(name, cmd, tolerate=(), note=''):
    """tolerate: 允许的退出码 (不算失败); note: 该步非零退出时打给人看的解释(按步, 别用一句通用话糊过去)。"""
    return (name, cmd, tuple(tolerate), note)


def build_plan(a) -> list:
    plan = []
    if a.src:
        plan.append(step_cmd('① 放数据', [PY, 'scripts/place_raw_data.py', '--src', a.src, '--scope', 'full']))
    plan.append(step_cmd('② 三门台账', [PY, 'scripts/rebuild_from_raw.py']))
    if not a.skip_scada:
        plan.append(step_cmd('③ SCADA 侧 10 个构建器 (约 15 分钟)', [PY, 'scripts/rebuild_from_raw.py', '--scada']))
    # ④ 月度派生件: `windscada_monthly_build.py` 会拿随包基线**逐值比对**, 没有基线时它返回 5
    #    ("无法比对 —— 这不是通过", 这是它的诚实口径, 不要改它的退出码)。
    #    ★但"重算链"与"等价验收"是两件事: 基线只是**验收标准答案**, 缺它不该让整条链停在第④步
    #    (2026-09-16 实逮: 基线目录被清理后, 从页面点"执行重算" 387 s 后 rc=1 断在这里, ⑦⑧ 全不执行)。
    #    故这里容忍 5 并写清"跳过了什么"; 要真做验收, 先把随包件恢复成暂存区/基线(见 products_state.py)。
    plan.append(step_cmd('④ 月度派生件', [PY, 'scripts/windscada_monthly_build.py'],
                         tolerate=(5,),
                         note='rc=5 = 找不到随包基线可比对 ⇒ **跳过等价验收**(不是通过)。'
                              '要恢复验收能力: 把随包产物放回 _products_off*/<场>/ 或 '
                              'outputs/<场>/windscada/_pre_rebuild_20260911/'))
    if not a.skip_vib:
        # 振动侧 (2026-09-12 用户令"振动数据参与运行、重算"): 原始导出的 Brande TCM JSON
        # (data/raw/<场站>/windcms/**/*_decode.json) → 窗索引 + 谱库 **+ CMS 报告/逐台页**。
        # 消费者 (src/windcms/data.py) 自动发现新窗, 所以这一步之后 CMS 的谱图/标量/页面就带上了新数据。
        # ★2026-09-18 用户令(" /detail 各页面不许用旧版产出补, 必须基于输入数据重算")后**口径翻转**:
        #   原先默认不跑报告(`--vib-report` 显式开), 理由是"重生成会让 report.md 从 16,857 B 掉到
        #   467 B(融合级表空)" —— 那是拿**随包旧快照**当基准; 现在包里没有旧产物, 页面要么有自算内容
        #   要么是空的。实测从重算出的窗 w0316 一键出报告: 38 台判级齐(报警 3/优秀 35), 只缺
        #   model_run/fusion 两步的**融合级列**(如实写 —), `/api/vibcms` 立即可用。
        #   故默认带报告, 要旧行为用 --no-vib-report。
        # 现场没有振动原始件时本步**空跑退出 0** (不是每台机器都有振动导出, 不该报失败)。
        plan.append(step_cmd('④b 振动侧摄入 + CMS 报告 + 标量 z (原始导出 → 窗索引/谱/逐台页/融合 z)',
                             [PY, 'scripts/vib_raw_build.py'] + ([] if a.vib_report else ['--no-report']),
                             note='没有振动原始件时空跑属正常; 若解析出错会以非零退出 (不静默)'))
    # ⑤a 台账维护 (用户令 2026-09-18: 页面只认"有来路的件" ⇒ 台账必须跟着重算一起更新)。
    #    ★实逮: 2026-09-18 用户「清除产物」后从 raw 全量重算, `outputs/<场>/_provenance.json`
    #      **整本丢了** —— 因为写它的唯一入口 (旧的第⑤步 products_restore_missing.py) 已按用户令
    #      从链上拿下, 而新的第⑤步只**读**台账不写。后果: 门户/页面的「逐件来源」、反向呼应审计的
    #      族匹配全部退化成"未归类", 而盘上 1,728 件其实件件有生成端。故把 `--refresh`(纯账实相符,
    #      不搬任何随包件) 作为**独立一步**放回链上, 位置在审计之前。
    plan.append(step_cmd('⑤a 逐件来源台账 (账实相符: 谁在位、谁有生成端)',
                         [PY, 'scripts/products_restore_missing.py', '--refresh'],
                         note='只维护台账, **不搬任何随包件**(用户令 2026-09-17: 运行期不从交付包补齐); '
                              '盘上有而无人登记的件按族表归口, 归不上族的记 unregistered 并打出来'))
    # ⑤ 反向呼应审计 (用户令 2026-09-17 #1): **运行链不再从含产物的交付包补齐**。
    #    原先这一步跑 products_restore_missing.py —— 那等于"重算链依赖一个包", 与"目标机放数据自己重算"
    #    这条主线冲突: 交付包默认不含产物, 于是这一步在真机上要么报"找不到随包件来源"(rc=6), 要么
    #    被指到某个 zip 上(而那正是用户明令不要的)。改成**只报账、不搬运**: 逐件回溯"这件产物有没有
    #    生成端与输入", 把没有来路的件如实列出来, 供研发补生成端 (口径见 docs §13.6)。
    #    rc=5 = 有未归类/判据失败(例如产物被清后族表匹配不到) —— 容忍, 别为它打断后面的本体链与审计。
    plan.append(step_cmd('⑤ 反向呼应审计 (输出→功能/算法→输入; 不从交付包补齐)',
                         [PY, 'scripts/products_reverse_audit.py', '--check'],
                         tolerate=(5,),
                         note='rc=5 = 有未归类件或判据失败 ⇒ 停下看清单再决定(不打断整条链)。'
                              '★ 运行期一律不由交付包补齐(用户令 2026-09-17): 缺件要么放原始件重算, '
                              '要么由研发补生成端; 逐族可逆性见 docs §13.6'))
    if not a.no_restart:
        # 只重启**组件服务**, 网关留着 —— 两个理由:
        #  ① 控制台页面是网关提供的, 连它一起停的话, 从页面点的重算会把自己的界面(甚至自己)弄没;
        #  ② rebuild_all 自己可能就是从控制台/网关起的任务, `guanlan.py stop` 用 taskkill /T,
        #     连网关会**沿父子树把正在执行的重算一起杀掉**(2026-09-12 实测: 日志停在 stop 那行, 之后全无)。
        # 组件停掉再 serve 就够: chain_ingest 要的是 detail(18033) 重新加载新产物, 网关不缓存产物。
        plan.append(step_cmd('⑥ 重启组件服务 (保留网关, stop)', [PY, 'scripts/_ops_stop_keep_gateway.py']))
        plan.append(step_cmd('⑥ 重启组件服务 (serve)', [PY, 'guanlan.py', 'serve'], tolerate=(1,),
                             note='serve 在"有模块 DOWN"时故意返回 1 —— degraded 是正常状态(例如本机模型未启动)'))
    plan.append(step_cmd('⑦ 本体: 码表/手册/文档', [PY, '-m', 'src.ontology.kb_ingest']))
    plan.append(step_cmd('⑦ 本体: 铺开判级与台账', [PY, '-m', 'src.ontology.populate']))
    plan.append(step_cmd('⑦ 本体: 决策链进度', [PY, '-m', 'src.ontology.chain_ingest']))
    plan.append(step_cmd('⑦ 本体: 在升/闭环证据', [PY, '-m', 'src.ontology.trend_ingest']))
    plan.append(step_cmd('⑦ 本体: 检索索引', [PY, '-c', 'from src.ontology import retrieval as R; R.build(use_vec=False)']))
    plan.append(step_cmd('⑦ 本体: 实机参数表', [PY, '-c', 'from src.ontology.maintenance import refresh_params as f; print(f())']))
    plan.append(step_cmd('⑧ 本体审计 (期望 0 问题)', [PY, '-m', 'src.ontology.audit']))
    # ⑧b 重装门户: 门户正文里的"契约结论段"是**产物派生**的(由 guanlan_portal_inject_claims.py
    #     从 outputs/<场>/guanlan/… 渲染), 所以产物变了门户必须重装一遍, 否则页面挂着旧结论。
    #     装配是"先写临时文件再原子替换", 失败不会破坏正在被网关读的 portal.html (见 portal_build 注释)。
    plan.append(step_cmd('⑧b 重装门户 (把新产物灌进门户结论段)', [PY, 'scripts/portal_build.py'],
                         tolerate=(1,),
                         note='rc=1 = 缺契约产物(产物被清除时属预期) ⇒ 门户保留原样, 不是装配坏了'))
    # ⑧c 页面归口审计: 重算之后, 那些"把数据烘进页面"的页面件(见 configs/portal_pages.yaml)会不会陈旧。
    #     rc=7 = 有页面陈旧(数据换了页面没换) —— 不打断整条链, 但必须报出来, 处置见 docs §10。
    #     ★ rc=5 也容忍 (2026-09-17 实逮): rc=5 = "登记的文件/被引产物不在位", 而**包内没有生成端**的那批
    #       随包件(如 windscada/index.html、m5_cms_tcm/tcm_index.parquet、windcms 页面件)在
    #       "清过产物 + 交付包不含产物"的机器上必然不在位 ⇒ 第 16 步判失败、整条链 rc=1, 而且把最后的
    #       ⑧台账等价验收也跳过了(实测 2026-09-17: 用户在页面上点重算, 1367 s 后 rc=1 断在这里)。
    #       这与 ④/⑤/⑥/⑧b 的口径一致: 缺的是"随包件"这一路, 不是重算本身。缺件仍会由
    #       `guanlan.py check` 报 FAIL(那是给人看的告警位), 本步只保证"链不白断"。
    plan.append(step_cmd('⑧c 页面归口审计 (页面陈旧检测)', [PY, 'scripts/pages_audit.py', '--check'],
                         tolerate=(5, 6, 7),
                         note='rc=7 = 有 data-derived 页面陈旧(内嵌快照的 source_sha256 与当前产物不一致): '
                              '需要对应生成端重跑, 或在登记表里把它改成 frozen-delivery 并接受会过期; '
                              'rc=5 = 登记的文件/被引产物不在位(清过产物、且那批件没有生成端时属预期); '
                              '★rc=6 也容忍 (2026-09-19 实逮): rc=6 = 溯源缺失(产物在盘上/登记里, 但台账查不到来路) '
                              '—— 与 5 同属"缺的是随包件这一路", 例如 ④b 在 report 步崩掉时 '
                              'vib_raw_manifest.json 没写成, 审计就按"溯源缺失"报 6 并把整条链判失败; '
                              '处置见 docs §7 与「数据重算」页的缺件提示; `guanlan.py check` 里仍有给人看的告警位'))
    if a.with_verify:
        # 只有 4 = "有需人工看的差异"(本包已知项: 油样 102 行的源件不在现场包里) 才容忍;
        # 5 = 找不到基线(等于没验收) 必须当失败 —— 2026-09-12 就是因为放过了它, 出现过"验收没做却报通过"。
        plan.append(step_cmd('⑧ 台账等价验收 (rc=4 = 有需人工看的差异, 属已知)',
                             [PY, 'scripts/rebuild_from_raw.py', '--verify'], tolerate=(4,),
                             note='rc=5 表示找不到随包基线, 那是"没验收"不是通过。'
                                  '★ 2026-09-18 现场: 基线目录被「清除产物」真删后这一步必 rc=5, 门户上就显示成'
                                  '"重算失败" ⇒ 用 python scripts/set_baseline.py 一条命令重建基线'
                                  '(用当前已核实的产物快照并写明来历), 再重算即可全绿'))
    return plan


def main() -> int:
    ap = argparse.ArgumentParser()
    ap.add_argument('--src', default=None, help='现场数据包目录 (给了就先跑 place_raw_data --scope full)')
    ap.add_argument('--skip-scada', action='store_true', help='跳过 SCADA 侧 10 个构建器 (没换 10min 数据时用)')
    ap.add_argument('--skip-vib', action='store_true', help='跳过振动侧摄入 (没换 CMS 原始导出时用)')
    ap.add_argument('--no-vib-report', dest='vib_report', action='store_false',
                    help='振动侧只摄入(索引/谱), 不生成 CMS 报告/逐台页 —— ★默认**生成**(2026-09-18 口径'
                         '翻转: 包里没有旧产物可参照, 页面要么有自算内容要么空白; 报告只缺 '
                         'model_run/fusion 的融合级列, 如实写 —)')
    ap.add_argument('--no-restart', action='store_true', help='不自动重启服务')
    ap.add_argument('--with-verify', action='store_true', help='末尾加等价验收')
    ap.add_argument('--dry-run', action='store_true', help='只打印计划')
    a = ap.parse_args()

    plan = build_plan(a)
    print(f'重算全部 · {len(plan)} 步 · 根目录 {ROOT}')
    print(f'  跳过 SCADA: {a.skip_scada} | 重启服务: {not a.no_restart} | 等价验收: {a.with_verify}\n')
    if a.dry_run:
        for name, cmd, tol, note in plan:
            print(f'  {name:34s} {" ".join(cmd[1:])[:90]}')
        print('\n(dry-run, 未执行)')
        return 0

    # 子进程环境: 与 guanlan.py 给服务的一致 —— 中文 Windows 控制台是 GBK, 不设的话
    # 子脚本 print 里的 ✔/✗ 会抛 UnicodeEncodeError, 明明干成了却以退出码 1 结束。
    env = dict(os.environ, PYTHONUTF8='1', PYTHONIOENCODING='utf-8')
    results, t_all = [], time.time()
    for i, (name, cmd, tol, note) in enumerate(plan, 1):
        print(f'\n{"=" * 78}\n[{i}/{len(plan)}] {name}\n$ {" ".join(cmd)}\n{"=" * 78}', flush=True)
        t0 = time.time()
        rc = subprocess.run(cmd, cwd=str(ROOT), env=env).returncode
        dt = time.time() - t0
        ok = (rc == 0) or (rc in tol)
        results.append((name, rc, dt, ok, tol))
        if not ok:
            print(f'\n[X] 第 {i} 步失败 (退出码 {rc}): {name} —— 后面的步骤依赖它, 先停下。')
            if note:
                print(f'    该步说明: {note}')
            break
        if rc != 0:
            print(f'\n    (退出码 {rc} 属预期{(": " + note) if note else ""})')

    print(f'\n{"=" * 78}\n汇总 (总耗时 {time.time() - t_all:.0f}s)')
    for name, rc, dt, ok, tol in results:
        tag = 'OK' if rc == 0 else (f'OK(rc={rc})' if ok else 'FAIL')
        print(f'  [{tag:9s}] {name:34s} {dt:7.1f}s')
    n_fail = sum(1 for *_, ok, _ in results if not ok)
    if n_fail:
        print(f'\n结论: {n_fail} 步失败 —— 按上面的日志处理后再重跑本命令 (各步都是幂等的)')
        return 1
    print('\n结论: 全部完成。核验: .venv\\Scripts\\python.exe -m src.ontology.maintenance '
          '(数据层/机理层的条数与末次更新); 浏览器 http://127.0.0.1:28084/detail/')
    return 0


if __name__ == '__main__':
    for _s in (sys.stdout, sys.stderr):
        try: _s.reconfigure(errors='replace')
        except Exception: pass
    sys.exit(main())