跳到正文

《水经注》完整数字语料

FULL CORPUS · 956 页 · R3.4 核心证据文本代理复核

R3 将 R2 公开研究使用的 60-page sample 重新连接到 SHUGE-RESEARCH-DB 中已存在的完整《水经注》corpus。R3.1 三层 page_objects / OCR non-empty / research-searchable body pages 已经分级,R3.2 引入 strict-rule BODY_TEXT 验证与 426 规则筛选正文候选页,R3.3 对其中 100 页抽样文本代理复核 + 7 对核心 pair 共 12 unique supporting pages 全量复核,得到 108 文本代理复核证据页。R3.4 修复 R3.3 的 12/12 跨序列上下文污染,引入 sequence_group (WCSEQ-001..020) + 上下文 4 档判定。
R3.4 起不再把 426 称作"已验证正文页"——只有进入 PROXY_REVIEWED_BODY_PAGES (108) 的页才允许作为 TEXT_SUPPORTED 历史证据。
956
OCR success (page_objects 全数)
426
规则筛选正文候选页 (R3.2)
108
文本代理复核证据页 (R3.3+R3.4 PROXY_REVIEWED)

FULL CORPUS · R3.4 三层 · 956 OCR success / 426 规则筛选正文候选页(= RULE_QUALIFIED_BODY 422 + UNKNOWN→BODY 4)/ 108 文本代理复核证据页(= PROXY_REVIEWED_BODY_PAGES 108 = R3.3 抽样 97 + R3.4 核心 12 − 1 overlap) · 322030 chars · R3.4 严格 RULE_QUALIFIED ≠ PROXY_REVIEWED。
证据门槛(R3.4 Historical Evidence Gate v3):任何 TEXT_SUPPORTED 历史声明必须 page_object_id ∈ PROXY_REVIEWED_BODY_PAGES(108) + 4 项 AND 条件(canonical + RULE_QUALIFIED + PROXY_REVIEWED + same-page semantic support);跨页 claim 额外需要 VALID_SEQUENCE_CONTEXT (同一 WCSEQ-XXX + page_index ± 1)。查看语料质量审计 · 查看核心证据

BLOCK 01

语料概览

本节汇总 SHUGE-RESEARCH-DB 对《水经注》(work_id p124575)的当前 corpus 状态。所有数值来自 data/shuge.db 只读查询,DB 为 authoritative。

1.1 Work 身份

  • canonical SHUGE work record = post_id 124575
  • title:水经注 · author:桑钦撰 后魏 郦道元 注
  • edition:明万历十三年 (乙酉 1585) 新安吴琯刊山水经合刻本 · 14 volumes · 14 册
  • shuge_url:https://www.shuge.org/view/shui_jing_zhu/

1.2 page_objects (956) · 与 EXPECTED 对照

字段EXPECTEDDB authoritative差异
TOTAL_PAGE_OBJECTS956956— ✓
OCR_SUCCESS956956 (via page_ocr.status)page_objects.ocr_status 仍为 QUEUED (上游未更新)
SEARCHABLE_PAGES933956+23 页 ⚠
ZERO_TEXT_PAGES230-23 页 ⚠
OCR_CHARS322030302951 (R3 用 SUM(char_count) · R3.1 改回 SUM(LENGTH(normalized_text)) = 322030)-19079 chars ⚠

DB authoritative 报告与 EXPECTED_FROM_PRIOR_REPORT 不一致。本页面如实报告,不作修正。三处 ⚠ discrepancy 在 R3.1 语料质量审计中已显式拆为 956 page_objects / 956 OCR_NONEMPTY / 866 RESEARCH_SEARCHABLE 三层(详见 corpus/quality/)。

1.3 char_count 分布

bucketpages
00
1–5027
51–20064
201–500865
501+0
NULL0

1.4 page_index / page_label ⚠

  • MIN(id)=1501 · MAX(id)=2456 · MIN(page_index)=1 · MAX(page_index)=91
  • distinct page_label = 91 · 共映射到 956 个 page_objects(1:10.5)
  • R2.1 已发现 page_seq (page_label) 仅 5 unique 不唯一;R3 进一步发现 page_index 同样 1:N

1.5 digital_objects / document_units

  • digital_objects linked to p124575:0(全部 NULL,见 §1.6)
  • document_units for p124575:0(见 Section D · volume_status = UNRESOLVED)

1.6 ocr_fts · 不可用 ⚠

FTS5 virtual table ocr_fts (tokenize='trigram') 对 p124575 完全无数据。R3 全部故事 retest 使用 page_ocr.normalized_text LIKE 替代 FTS。

1.7 OCR runs

  • run 10/11/12/14 (rapidocr · PP-OCRv4-mobile · 2026-09-27 batch run) — 实际 OCR 已完成
  • page_objects.ocr_status='QUEUED' 是上游未更新 (DB column lag),不影响 corpus 使用
BLOCK 02

Canonical Citation 系统

SHUGE architecture contract(取代 R2.1 legacy Citation ID):

SHUGE:<work_id>:<page_object_id>

2.1 关键验证

字段值
CANONICAL_CITATION_COUNT956
CITATION_COLLISIONS0
page_objects.id (INTEGER PK)work_id=p124575 范围内天然唯一

2.2 legacy format (保留不变)

SHUGE:p124575:<page_seq>(例如 SHUGE:p124575:4) — R3 不再视为 page-level canonical,仅作为 legacy 字段保留。

disambiguation example:同一个 legacy SHUGE:p124575:4 在 R2 实际对应 6 个不同的 page_objects(1594 / 1657 / 1795 / 2005 / 2079 / 2323)。canonical 必须使用 SHUGE:p124575:1594 等具体 page_object_id。

2.3 sample canonical citations (前 10)

canonical_citation_idpage_object_idpage_label
SHUGE:p124575:15011501p0001
SHUGE:p124575:15021502p0002
SHUGE:p124575:15031503p0003
SHUGE:p124575:15041504p0004
SHUGE:p124575:15051505p0005
SHUGE:p124575:15911591p0001
SHUGE:p124575:15921592p0002
SHUGE:p124575:15931593p0003
SHUGE:p124575:15941594p0004
SHUGE:p124575:15951595p0005
BLOCK 03

R2 Sample → Full Corpus Mapping

R2.1 的 60 个 WC124575:PAGE<page_id> evidence_ref 全部 EXACT 映射到 956 页 corpus 中的 page_object_id。

3.1 映射汇总

mapping_statuscount
EXACT60
AMBIGUOUS0
NOT_FOUND0
TOTAL60

3.2 映射示例 (10 entries)

public_evidence_refcanonical_citation_idregion (R2.2)
WC124575:PAGE1594SHUGE:p124575:1594河水_野王_修武
WC124575:PAGE1657SHUGE:p124575:1657易水_范陽_容城
WC124575:PAGE1795SHUGE:p124575:1795渭水_關中
WC124575:PAGE2005SHUGE:p124575:2005汾水_代城
WC124575:PAGE2079SHUGE:p124575:2079汝水_霍陽_梁
WC124575:PAGE2323SHUGE:p124575:2323江水_公安_華容
WC124575:PAGE1501SHUGE:p124575:1501unclassified
WC124575:PAGE1502SHUGE:p124575:1502unclassified
WC124575:PAGE1503SHUGE:p124575:1503unclassified
WC124575:PAGE2321SHUGE:p124575:2321江水_公安_华容

完整 60 entries 映射见 data/water_classic_r2_to_full_corpus_map.json。

BLOCK 04

三组核心故事 · 完整 corpus 重新验证

R3 在 956 页完整 corpus 上重新检索三个核心故事。检索方法:page_ocr.normalized_text LIKE(FTS5 不可用)。

江水 — 公安 — 華容

江水→公安→華容

  • 江水:78 页(full corpus)
  • 公安:3 页
  • 華容:4 页
  • 江水+公安 共现:1 页
  • 江水+華容 共现:2 页
文本支持已确认TEXT_CONFIRMED
空间解释待确认SPATIAL_UNRESOLVED
现代对应未确认MODERN_UNRESOLVED

易水 — 范陽 — 容城 — 故安

易水→范陽→容城→故安

  • 易水:11 页
  • 范陽:10 页
  • 容城:8 页
  • 故安:9 页
  • 易水+范陽 共现:5 页
  • 易水+容城 共现:4 页
  • 易水+故安 共现:5 页
文本支持已确认TEXT_CONFIRMED
空间解释待确认SPATIAL_UNRESOLVED
现代对应未确认MODERN_UNRESOLVED

河水 — 野王 — 修武

河水→野王→修武

  • 河水:118 页(远超 R2 60-page sample)
  • 野王:9 页
  • 修武:7 页
  • 河水+野王 共现:1 页
  • 河水+修武 共现:2 页

⚡ R3 strengthen:r2-cl-002 从 R2.2 PARTIALLY_SUPPORTED → R3 TEXT_CONFIRMED(因 full corpus 显示 118 页河水 + 完整 7+9 修武+野王 + 共现关系)

文本支持已确认TEXT_CONFIRMED
空间解释待确认SPATIAL_UNRESOLVED
现代对应未确认MODERN_UNRESOLVED
BLOCK 05

研究缺口 · Volume / Sequence / digital_objects

以下为 R3 发现的结构性缺口,记录为 RESEARCH_LEAD(非 SUPPORTED CLAIM)。

5.1 volume_status = UNRESOLVED

  • document_units 表存在,但对 p124575 为空
  • 无 (volume, page_range) 映射可建立
  • 严禁基于 page_label (p0001..p0091) 推测卷次
  • 14 volumes 由 editions.volume_info 报告,但无 page-level 验证

5.2 digital_objects = 0 linked

  • 完整 corpus DB 中其他 work 有 20 条 digital_objects,无一条属于 p124575
  • canonical_citation_id 可建立(基于 page_objects.id),但 digital_object_id 字段填 NULL

5.3 OCR column lag

  • page_objects.ocr_status 全部 = QUEUED(上游未更新)
  • page_ocr.status 全部 = SUCCESS(实际数据正确)
  • R3 报告值采用 page_ocr.status 视角

5.4 ocr_fts 不可用

  • FTS5 virtual table ocr_fts 对该 work 完全无数据
  • R3 全部 retest 使用 page_ocr.normalized_text LIKE 替代

5.5 RESEARCH_LEADS (not CLAIM)

  • RL-001:完整 corpus 中 河水 出现 118 页 — 远超 R2 60-page sample 涵盖范围;待建立河水 (R3 R2 r2-cl-002) 之外的其他河水河段叙事文本收集
  • RL-002:完整 corpus 中 江水 出现 78 页 — 江水叙事跨多个 volume;待 document_units 重建后才可确认卷次
  • RL-003:易水 / 范陽 / 容城 / 故安 分别 11 / 10 / 8 / 9 页 — 卷十一(易水、滱水)推断但未在 DB 中确认
BLOCK 06

技术数据下载

R3 全部输出文件机器可读。

6.1 数据文件 (data/)

6.2 审计文档 (source/)

6.3 关联页面