config.py 9.5 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200
  1. # -*- coding: utf-8 -*-
  2. """windscada 场配置 (契约化可迁场 + 场站目录扫描辨识).
  3. ## 一、离线数据怎么放 (2026-09-11 用户令)
  4. 所有离线数据统一放 **`data/raw/`**, 其**下一级目录即「场站名称」**; 系统**扫描辨识**, 不写死目录名:
  5. data/raw/
  6. <场站名称>/ ← 扫描辨识的抓手: 下一级目录就是场站
  7. scada_10min/ SCADA 10min 导出, 逐台平铺 WTG01.csv…WTG38.csv
  8. scada_1min/ (可选) 1min 导出
  9. 故障报警/ 报警事件导出 (SpreadsheetML *.xls)
  10. 风机故障记录/ 检修工单台账 (*.xls/xlsx, 内按 {年}年故障记录/ 分年)
  11. 油样报告/ 油液化验报告 (*.pdf)
  12. 西门子4.0技术资料/ 机理层 (厂商资料), 仍在 raw 根下, 按 A2 未入场站目录
  13. 辨识规则 (逐条, 命中即止, 依据可打印):
  14. ① 场配置的 `raw_station` 与目录名**完全相同**;
  15. ② 目录名与场配置 `src_farm_names` (原始件里的场站名写法) 互为子串 —— 如配置「如东」对上目录「如东海上风电场」;
  16. ③ `data/raw` 下**只有一个**场站目录 (单站部署) → 用它, 但报告里标出"凭单站唯一性", 不假装是精确匹配;
  17. ④ 其余情形 (多个目录且都不匹配) → **不猜**, 返回"未识别", 页面显示无数据并列出扫到的目录。
  18. 命中/未命中的依据由 station_report() 给出, 供 CLI 与维护页显示。
  19. ## 二、场配置怎么来
  20. 2026-08-28 多场化改造: 场定义 = 外部配置 (`configs/farms/<场名>.json`) + 内置默认 (rudong 是已跑通的正本,
  21. 保证零配置也能起)。当前场由 `WINDSCADA_FARM` 或 set_current() 指定。
  22. **外场配置若显式给了 src_*, 以它为准**; 没给就按上面的扫描结果派生 (外场不必再抄一遍路径)。
  23. """
  24. from pathlib import Path
  25. import json
  26. import os
  27. ROOT = Path(os.environ.get('WINDSCADA_ROOT') or Path(__file__).resolve().parents[2])
  28. FARM_DIR = ROOT / 'configs' / 'farms'
  29. # 一个场必须给齐的键 — 缺任何一个都会在加载时响亮报错, 而不是等到分析中途才崩
  30. REQUIRED = ('name', 'n_turbines', 'turbines', 'src_10min', 'src_alarm', 'store', 'rated_kw')
  31. # 原始件根: env WINDSCADA_RUDONG_SRC (或 configs/serve.json 的 raw_dir, 启动器会导出为该环境变量);
  32. # 默认 <安装目录>/data/raw。原始件不随包分发, 目录不存在时页面照常显示"约定位置"。
  33. RUDONG_SRC = os.environ.get('WINDSCADA_RUDONG_SRC') or str(ROOT / 'data' / 'raw')
  34. RAW_ROOT = Path(RUDONG_SRC)
  35. # 场站目录下的**约定子目录名** — 这五个名字是摄入侧的接口, 改名等于换接口, 要同步 README 与维护页
  36. STATION_SUBDIRS = ('scada_10min', 'scada_1min', '故障报警', '风机故障记录', '油样报告')
  37. _SRC_KEYS = (('src_10min', 'scada_10min'), ('src_1min', 'scada_1min'), ('src_alarm', '故障报警'),
  38. ('src_workorder', '风机故障记录'), ('src_oil', '油样报告'))
  39. _BUILTIN = {
  40. 'rudong': {
  41. 'name': '如东海上风电场', 'n_turbines': 38,
  42. 'turbines': [f'WTG{i:02d}' for i in range(1, 39)],
  43. 'raw_station': '如东', # data/raw/<场站名称> 的**首选**目录名
  44. # 原始件里的**场站名写法**: 集团口径导出件 (月度/年度台账) 用「如海风电场」,
  45. # 而本场配置名是「如东海上风电场」。台账/报警摄入按这些别名把本场行筛出来 ——
  46. # 实测 2021年3月那张汇总表里混着民勤/来福/宝力格/大岗子/宏基… 十来个场站的行。
  47. 'src_farm_names': ['如海', '如东'],
  48. 'store': ROOT / 'outputs/rudong/windscada', # L0 标准仓
  49. 'contract': ROOT / 'reference/rudong/windscada_contract.yaml', # M1 产出
  50. 'rated_kw': 4000,
  51. }
  52. }
  53. _CACHE = {}
  54. _CURRENT = [os.environ.get('WINDSCADA_FARM') or 'rudong']
  55. def scan_stations(root=None):
  56. """扫 data/raw 的**下一级目录** = 场站目录。→ {场站名: dict(dir, subdirs, n_files)}
  57. 只列目录, 不读内容 —— 现场目录里可能是十几 GB 的 CSV。
  58. """
  59. root = Path(root or RAW_ROOT)
  60. out = {}
  61. if not root.is_dir():
  62. return out
  63. for d in sorted(p for p in root.iterdir() if p.is_dir()):
  64. subdirs = {n: d / n for n in STATION_SUBDIRS if (d / n).is_dir()}
  65. n_files = sum(1 for p in d.rglob('*') if p.is_file())
  66. out[d.name] = dict(dir=d, subdirs=subdirs, n_files=n_files)
  67. return out
  68. def station_scan(cfg=None, root=None):
  69. """扫 + 辨 → dict(stations={...}, matched=Path|None, name=str|None, how=str, note=str)。
  70. how: 'raw_station' | 'alias' | 'single' | 'none' —— 页面/CLI 显示"凭什么认出这个场站目录"。
  71. """
  72. stations = scan_stations(root)
  73. cfg = cfg or {}
  74. want = str(cfg.get('raw_station') or '')
  75. aliases = [str(a) for a in (cfg.get('src_farm_names') or []) if a]
  76. if not stations:
  77. return dict(stations=stations, matched=None, name=None, how='none',
  78. note=f'{Path(root or RAW_ROOT)} 下没有任何场站目录 → 系统无数据可呈现')
  79. if want and want in stations:
  80. return dict(stations=stations, matched=stations[want]['dir'], name=want, how='raw_station',
  81. note=f'目录名与场配置 raw_station 完全相同: {want}')
  82. for nm, info in stations.items():
  83. if any(a in nm or nm in a for a in aliases):
  84. return dict(stations=stations, matched=info['dir'], name=nm, how='alias',
  85. note=f'目录名 {nm} 与场名写法 {aliases} 匹配')
  86. if len(stations) == 1:
  87. nm = next(iter(stations))
  88. return dict(stations=stations, matched=stations[nm]['dir'], name=nm, how='single',
  89. note=f'data/raw 下只有这一个场站目录 {nm} (单站部署) → 采用它; '
  90. f'若这不是本场, 请把目录名改成 {want or "场配置里的场站名"}')
  91. return dict(stations=stations, matched=None, name=None, how='none',
  92. note=f'data/raw 下有 {len(stations)} 个场站目录 {sorted(stations)}, 但没有一个能对上'
  93. f'本场 (raw_station={want!r} / 场名写法={aliases}) → 不猜, 页面显示无数据')
  94. def station_report(cfg=None, root=None):
  95. """给 CLI 与维护页用的报告: 辨识结论 + 各约定子目录的件数。"""
  96. r = station_scan(cfg or farm(), root)
  97. counts = {}
  98. if r['matched']:
  99. for n in STATION_SUBDIRS:
  100. d = Path(r['matched']) / n
  101. counts[n] = sum(1 for p in d.rglob('*') if p.is_file()) if d.is_dir() else 0
  102. r['counts'] = counts
  103. return r
  104. def _expand(cfg, name):
  105. """展开: turbines 简写 / 相对路径 / **按扫描结果派生 src_***。
  106. 显式给了 src_* 的 (外场配置常见) 一律不动 —— 扫描只填空白, 不覆盖声明。
  107. """
  108. c = dict(cfg)
  109. t = c.get('turbines')
  110. if isinstance(t, str) and ':' in t:
  111. pat, rng = t.rsplit(':', 1)
  112. a, b = (int(x) for x in rng.split('-'))
  113. c['turbines'] = [pat.format(i) for i in range(a, b + 1)]
  114. c.setdefault('n_turbines', len(c.get('turbines') or []))
  115. for k in ('store', 'contract'):
  116. if c.get(k) and not str(c[k]).startswith('/'):
  117. c[k] = ROOT / str(c[k])
  118. c.setdefault('store', ROOT / f'outputs/{name}/windscada')
  119. # ★场站目录: 扫描辨识 (见模块头)。扫不到就指向"约定位置", 让页面能告诉人该往哪放。
  120. scan = station_scan(c)
  121. expected = RAW_ROOT / str(c.get('raw_station') or name)
  122. station = Path(scan['matched']) if scan['matched'] else expected
  123. c['raw_station_dir'] = str(station)
  124. c['station_how'] = scan['how']
  125. c['station_note'] = scan['note']
  126. c['n_stations'] = len(scan['stations'])
  127. for key, sub in _SRC_KEYS:
  128. c.setdefault(key, str(station / sub))
  129. miss = [k for k in REQUIRED if not c.get(k)]
  130. if miss:
  131. raise SystemExit(f'场配置 {name} 缺必需键: {miss} (见 config.REQUIRED)')
  132. return c
  133. def available():
  134. """列出可用场: 内置 + configs/farms/*.json。"""
  135. out = dict.fromkeys(_BUILTIN, '内置')
  136. if FARM_DIR.is_dir():
  137. for f in sorted(FARM_DIR.glob('*.json')):
  138. out[f.stem] = str(f.relative_to(ROOT))
  139. return out
  140. def set_current(name):
  141. farm(name) # 先验证能加载
  142. _CURRENT[0] = name
  143. return name
  144. def current():
  145. return _CURRENT[0]
  146. def farm(name=None, refresh=False):
  147. """取场配置; refresh=True 重扫场站目录 (放了新数据、又不想重启服务时用)。"""
  148. name = name or _CURRENT[0]
  149. if name in _CACHE and not refresh:
  150. return _CACHE[name]
  151. if name in _BUILTIN:
  152. _CACHE[name] = _expand(_BUILTIN[name], name)
  153. return _CACHE[name]
  154. f = FARM_DIR / f'{name}.json'
  155. if not f.exists():
  156. raise SystemExit(f'未知场 {name}; 可用: {list(available())} '
  157. f'(新场请在 {FARM_DIR.relative_to(ROOT)}/ 放 <场名>.json)')
  158. _CACHE[name] = _expand(json.loads(f.read_text(encoding='utf-8')), name)
  159. return _CACHE[name]
  160. def raw_station_dir(name=None):
  161. """本场原始件根目录 = data/raw/<场站名称>。
  162. 扫描辨识到就用它; 没辨识到则返回**约定位置** <raw_root>/<raw_station>, 这样维护页仍能
  163. 指着正确的地方让人补数据 (而不是给一个空路径)。辨识依据见 farm()['station_note']。
  164. """
  165. return Path(str(farm(name)['raw_station_dir']))