diff --git a/backend/app/engine/nodes/io.py b/backend/app/engine/nodes/io.py index a6da3ece..4dd08310 100644 --- a/backend/app/engine/nodes/io.py +++ b/backend/app/engine/nodes/io.py @@ -496,11 +496,13 @@ _PROSE_FENCES = frozenset({"", "markdown", "md", "text", "plaintext", "txt", "pl _CJK = re.compile(r"[\u4e00-\u9fff]") #: 中文的句读:一行里有汉字、又有它们的,是在写句子(SQL 里的中文列名、别名不带这些) _CJK_PUNCT = re.compile(r"[,。!?;:]") +#: 一行里连着六个以上汉字:信息串写明是文字的块里,这就是在写中文。表格的列名、地区名、门店名这类标签多在五个字以内 +_CJK_RUN = re.compile(r"[\u4e00-\u9fff]{6,}") #: 英文的词串:单词之间只隔空格、逗号。五个以上的单词紧跟句末标点算一句(_en_sentence) _EN_RUN = re.compile(r"[A-Za-z]+(?:[ ,]+[A-Za-z]+)*") _EN_WORD = re.compile(r"[A-Za-z]+") -#: 列表项:- * + • 或「1.」「1)」开头。中文报告的列表项常不带句读,后面有两个以上汉字就算在写句子 -_LIST_ITEM = re.compile(r"\s*(?:[-*+•]|\d+[.)])\s+(.*)") +#: Markdown 标题:正文里的标题切块时记为 heading,从不算结论句(evidence._scan_blocks),代码块里的也不算在写正文 +_HEADING = re.compile(r"\s*#{1,6}\s") #: 整行是注释(-- // # /* */ 开头;# 开头的 Markdown 标题本来也不是句子),和行尾隔着空白的注释:写着中文句子也是 #: 代码的一部分 _COMMENT_LINE = re.compile(r"\s*(?:--|//|#|/\*|\*/)") @@ -508,10 +510,11 @@ _TRAILING_COMMENT = re.compile(r"\s(?:--|//|#).*") #: 代码里的字符串字面量('…'、"…",可带 f、r、b、u、N 这类前缀):里面的中文标点是数据。引号前面紧挨着字母、数字的 #: 不算开头(英文的 it's、don't) _STRING_LITERAL = re.compile(r"(? bool: @@ -525,16 +528,46 @@ def _en_sentence(line: str) -> bool: return False -def _prose_line(line: str, *, lists: bool = True) -> bool: - """这一行是不是在写句子:去掉字符串字面量和行尾注释之后,有两个以上汉字又有中文句读,或者是一句英文;lists 为真时, - 列表项后面有两个以上汉字也算。整行是注释的不算。""" +def _sentence(line: str) -> bool: + """成句:两个以上汉字又有中文句读,或者是一句英文。""" + return (len(_CJK.findall(line)) >= 2 and _CJK_PUNCT.search(line) is not None) or _en_sentence(line) + + +def _concluding(line: str) -> bool: + """按正文的规矩这一行会算一句结论(evidence._classify 认文字结论的那条):带方向词、因果词,又不只是在下定义。 + 只认有两个以上汉字的行:drop、rise 这类英文词在代码里也常见。数字不看,代码块里的数字报告节点按裸数字查。""" + from app.engine.evidence import _CAUSAL, _DEFINITION, _DIRECTIONAL + + return len(_CJK.findall(line)) >= 2 and _DIRECTIONAL.search(line) is not None \ + and not (_DEFINITION.search(line) is not None and _CAUSAL.search(line) is None) + + +def _written(line: str) -> bool: + """信息串写明是文字(markdown、text 这类)、里面也看不出是代码的块里,这一行在写正文:成句、按正文的规矩会算结论, + 或者一行里连着六个以上汉字。不看列表标记:标记的写法太多(- 1. 1、 一、 (1) · ●,也常不带标记),补一种漏一种; + 也不当代码看,# -- 和半角引号都是正文里的符号。标题不算。""" + if _HEADING.match(line): + return False + return _sentence(line) or _CJK_RUN.search(line) is not None or _concluding(line) + + +def _code_like(lines: list[str]) -> bool: + """块里看得出是代码:有 SQL、Python 开头的行(_CODE_LINE)、YAML 的键(_YAML_KEY),或者整块是 diff(有 + 开头的 + 行也有 - 开头的行,其余是空格开头的上下文行、@@ 开头的块头)。""" + if any(_CODE_LINE.match(line) or _YAML_KEY.match(line) for line in lines): + return True + heads = {line[:1] for line in lines if line.strip()} + return {"+", "-"} <= heads <= {"+", "-", " ", "@"} + + +def _prose_line(line: str, *, code: bool) -> bool: + """信息串为空、或者看得出是代码的块里,这一行在写正文:去掉字符串字面量和行尾注释之后成句;整块看不出是代码时, + 按正文的规矩会算结论的也算(不带句读的列表项、不带标记的行)。不带句读、也不像结论的不算:YAML 里的列名、diff 里 + 改的口径和列表项没有分别。整行是注释的不算。""" if _COMMENT_LINE.match(line): return False line = _TRAILING_COMMENT.sub("", _STRING_LITERAL.sub(" ", line), count=1) - if (len(_CJK.findall(line)) >= 2 and _CJK_PUNCT.search(line) is not None) or _en_sentence(line): - return True - item = _LIST_ITEM.match(line) if lists else None - return item is not None and len(_CJK.findall(item.group(1))) >= 2 + return _sentence(line) or (not code and _concluding(line)) def _drop_block_comments(text: str) -> str: @@ -549,13 +582,15 @@ def _drop_block_comments(text: str) -> str: def _fenced_body(doc: dict[str, Any]) -> bool: """报告的正文写在代码块里:文档里一句结论都没有,却有写文字的代码块(_PROSE_FENCES),里面写着引用(片段里的 - [[m:…]] 这类标记、句子上挂的 [[see:…]] 依据,代码里不会这样写)或者成句的文字(_prose_line)。 + [[m:…]] 这类标记、句子上挂的 [[see:…]] 依据,代码里不会这样写)或者在写正文。 报告节点只在整篇正好是一个代码块时去掉外层围栏(report._unfenced),围栏外有前言、只有开头没有收尾、信息串写成 text 的原样交给 compose_doc:整段正文落在代码块里,切不出结论句,裁判没有句子可判、反方审稿记 no_claims,没挂依据 的、证据相矛盾的结论句都数出 0 句,出具就成了完整出具。有一句结论的不算:正文没被整个藏起来,结论句照常核对。 - 信息串为空的代码块里也常是 SQL、Python:看内容是不是成句,注释、字符串字面量里的中文句子不算;整块看得出是代码 - (_CODE_LINE)的,以 * + - 开头的行是运算的续行,不当列表项。""" + + 在不在写正文逐行看:信息串写明是文字、里面也看不出是代码的按 _written。信息串为空的块里也常是 SQL、Python、YAML、 + diff,信息串写成 text 的也偶尔是代码,这些按 _prose_line:注释、字符串字面量里的中文句子不算;整块看得出是代码 + (_code_like)的只认成句的,以 * + - 开头的 SQL 续行、中文别名里的「最高」这类词都不算。""" from app.engine.evidence import iter_units units = list(iter_units(doc)) @@ -568,9 +603,14 @@ def _fenced_body(doc: dict[str, Any]) -> bool: segments = [s for s in unit.get("segments") or [] if isinstance(s, dict)] if unit.get("see") or any(s.get("ref") for s in segments): return True - lines = _drop_block_comments("".join(str(s.get("text") or "") for s in segments)).split("\n") - lists = bool(lang) or not any(_CODE_LINE.match(line) for line in lines) - if any(_prose_line(line, lists=lists) for line in lines): + # 围栏那两行是挂在块上的结构片段,不是块里写的内容:整块是不是 diff 要看里面每一行的开头 + text = "".join(str(s.get("text") or "") for s in segments if s.get("kind") != "structural") + lines = _drop_block_comments(text).split("\n") + code = _code_like(lines) + if lang and not code: + if any(_written(line) for line in text.split("\n")): + return True + elif any(_prose_line(line, code=code) for line in lines): return True return False diff --git a/backend/tests/test_contract_fenced_body.py b/backend/tests/test_contract_fenced_body.py index 0c832d48..09818132 100644 --- a/backend/tests/test_contract_fenced_body.py +++ b/backend/tests/test_contract_fenced_body.py @@ -5,11 +5,13 @@ K5 让报告节点去掉整篇外层的 markdown 围栏(report._unfenced), 照样完整出具,读的人以为结论都核对过。 - 结论句策略为 judge 或 require_citation(报告节点的,或出具契约自己写的)、结论句 0 句、又有信息串为空 / markdown / - md / text / plaintext / txt / plain 的代码块,里面是成句的文字(带句读的中文、成句的英文、不带句读的列表项)或写着 - 引用(片段里的引用、只挂依据的 [[see:]]):记一条缺口,降档。缺口不带核查节点的前缀,界面上归在「校验未全部完成」 - 下(run/decode.ts 的 splitIssuanceGaps) -- 行为不变:有正常结论句的;代码块是 sql、python 这类代码的(信息串为空、里面是代码的也算:注释、字符串里的中文标点 - 不算句子,SQL 以 * + - 开头的续行不算列表项);结论句策略为 off 的 + md / text / plaintext / txt / plain 的代码块,里面写着引用(片段里的引用、只挂依据的 [[see:]])或者在写正文:记一条 + 缺口,降档。缺口不带核查节点的前缀,界面上归在「校验未全部完成」下(run/decode.ts 的 splitIssuanceGaps) +- 在写正文:带句读的中文、成句的英文,或者按正文的规矩会算一句结论(方向词、因果词);信息串写明是文字的,一行里连着 + 六个以上汉字也算。列表不论用什么标记(- 1. 1、 一、 (1) · ●),也不论带不带标记,只看字 +- 行为不变:有正常结论句的;代码块是 sql、python 这类代码的;信息串为空、里面是代码的(注释、字符串里的中文标点不算 + 句子;有 SQL / Python 开头的行、YAML 的键,或者整块是 diff 时,方向词也不算),信息串写成 text、markdown 而里面 + 看得出是代码的同样;信息串为空的块里不带句读、也不像结论的标签和列名;结论句策略为 off 的 模型一律是 MockChatModel 剧本,数据源是现造的 SQLite 文件,区域、金额都是虚构的。 """ @@ -49,10 +51,29 @@ AS_TEXT = fenced(TEXT, "text") SEE_LIST = "## 本周结论\n\n- 华东销售额居各区域之首 [[see:Q1]]\n- 华南销售额超过华北 [[see:Q1]]" #: 不带句读、也没挂依据的列表:中文报告的列表项常这样写 BARE_LIST = "## 本周结论\n\n- 华东销售额居各区域之首\n- 华南销售额超过华北" +#: 同样两句,换成中文报告常见的几种编号、项目符号,或者干脆不带标记。不包代码块时第二句是一句结论(「超过」), +#: 第一句是连接性的话:两种句子都要认得出 +LINES = ("华东销售额居各区域之首", "华南销售额超过华北") +#: 不带标记、一行一句 +UNMARKED = f"## 本周结论\n\n{LINES[0]}\n\n{LINES[1]}" + + +def listed(first: str, second: str) -> str: + return f"## 本周结论\n\n{first}{LINES[0]}\n{second}{LINES[1]}" + + HIDDEN = [pytest.param(PREAMBLE, id="preamble"), pytest.param(UNCLOSED, id="unclosed"), pytest.param(AS_TEXT, id="text"), pytest.param(fenced(TEXT, "plaintext"), id="plaintext"), pytest.param(f"以下是本周周报:\n\n{fenced(SEE_LIST)}", id="see-only-list"), - pytest.param(f"以下是本周周报:\n\n{fenced(BARE_LIST)}", id="list-without-punctuation")] + pytest.param(f"以下是本周周报:\n\n{fenced(BARE_LIST)}", id="list-without-punctuation"), + pytest.param(f"以下是本周周报:\n\n{fenced(listed('1、', '2、'))}", id="digit-and-comma"), + pytest.param(f"以下是本周周报:\n\n{fenced(listed('一、', '二、'))}", id="chinese-numeral"), + pytest.param(f"以下是本周周报:\n\n{fenced(listed('(1)', '(2)'))}", id="fullwidth-parens"), + pytest.param(f"以下是本周周报:\n\n{fenced(listed('· ', '· '))}", id="middle-dot"), + pytest.param(f"以下是本周周报:\n\n{fenced(listed('● ', '● '))}", id="black-circle"), + pytest.param(f"以下是本周周报:\n\n{fenced(UNMARKED)}", id="lines-without-markers"), + # 信息串为空:第二句按正文的规矩是一句结论 + pytest.param(f"以下是本周周报:\n\n{fenced(listed('1、', '2、'), '')}", id="enumerated-no-info")] def doc_of(raw: str) -> dict: @@ -82,11 +103,33 @@ def doc_of(raw: str) -> dict: pytest.param("以下是周报:\n\n```markdown\n- 华东销售额 [[m:gmv]]\n- 华南销售额 [[m:gmv_s]]\n```", id="markers"), # 只挂了依据([[see:]] 记在句子上,片段里没有引用),列表项短得不成句也认 pytest.param("以下是周报:\n\n```markdown\n- East [[see:m:gmv]]\n- South [[see:m:gmv]]\n```", id="see-only"), - # 不带句读的列表项:标记后面有两个以上汉字 + # 不带句读的列表项:一行里连着六个以上汉字,或者按正文的规矩是一句结论 pytest.param("以下是周报:\n\n```markdown\n## 本周结论\n\n- 华东销售额居各区域之首\n- 华南销售额超过华北\n```", id="bullets"), pytest.param("```text\n1. 华东销售额居各区域之首\n2) 华南销售额超过华北\n```", id="numbered"), pytest.param("```\n* 华东销售额居各区域之首\n+ 华南销售额超过华北\n• 华北销售额持平\n```", id="bare-bullets"), + # 中文报告常见的编号、项目符号,或者不带标记:不看标记,只看字 + pytest.param("以下是周报:\n\n```markdown\n1、华东销售额居各区域之首\n2、华南销售额超过华北\n```", id="digit-and-comma"), + pytest.param("```markdown\n一、华东销售额居各区域之首\n二、华南销售额超过华北\n```", id="chinese-numeral"), + pytest.param("```text\n(1)华东销售额居各区域之首\n(2) 华南销售额超过华北\n```", id="parens"), + pytest.param("```markdown\n· 华东销售额居各区域之首\n● 华南销售额超过华北\n▪ 华北销售额持平\n```", id="dots-circles-squares"), + pytest.param("```markdown\n华东销售额居各区域之首\n\n华南销售额超过华北\n```", id="no-markers"), + pytest.param("```markdown\n> 华东销售额居各区域之首\n```", id="blockquote"), + pytest.param("```markdown\n| 区域 | 结论 |\n|---|---|\n| 华东 | 销售额居各区域之首 |\n```", id="table-row"), + pytest.param("```markdown\n**华东**销售额居各区域之首\n```", id="bold"), + # 写明是文字的块:一行里连着六个以上汉字就是在写中文,不像结论的也算 + pytest.param("```markdown\n华东销售额居各区域之首\n```", id="six-or-more-in-a-row"), + # 不到六个字的短句:按正文的规矩是一句结论(方向词)就算 + pytest.param("```text\n- 华北回落\n- 华南领先\n```", id="short-conclusions"), + # 写明是文字的块不当代码看:# -- 和半角引号都是正文里的符号 + pytest.param("```markdown\n华东排名 #1,销售额居各区域之首。\n```", id="hash-in-prose"), + pytest.param('```markdown\n负责人说"销售额创新高,下周继续推进。"\n```', id="quoted-sentence"), + pytest.param("```markdown\n华东领跑 -- 华南次之,华北第三。\n```", id="dash-in-prose"), + # 信息串为空、看不出是代码:按正文的规矩会算结论的行也算 + pytest.param("```\n1、华东销售额居各区域之首\n2、华南销售额超过华北\n```", id="no-info-enumerated"), + pytest.param("```\n华北销售额回落\n```", id="no-info-conclusion"), + # 首字母大写的「Note:」是正文里的标签,不是 YAML 的键 + pytest.param("```markdown\nNote: 以下为初步结论\n- 华南销售额超过华北\n```", id="capitalised-label"), ]) def test_a_report_body_in_a_prose_code_block_is_recognised(raw): doc = doc_of(raw) @@ -115,10 +158,28 @@ def test_a_report_body_in_a_prose_code_block_is_recognised(raw): pytest.param('```\nprint("销售额:", total)\nprint(f"订单数:{n},客单价:{avg}")\n```', id="string-literals"), pytest.param("```\nSELECT * FROM orders WHERE note = '已退款,不计入:测试' OR memo = N'作废,重开'\n```", id="sql-strings"), - # 信息串为空、看得出是 SQL 的块:以 * + - 开头的是运算的续行,后面是中文列名也不是列表项 + # 信息串为空、看得出是 SQL 的块:以 * + - 开头的是运算的续行,后面的中文列名不算正文 pytest.param("```\nSELECT 单价\n * 数量 AS 金额\n + 运费 AS 合计\n - 折扣金额 AS 实付\nFROM 订单\n```", id="sql-continuation"), pytest.param("```text\n区域 销售额\n华东 1500\n华南 900\n```", id="table-of-numbers"), + # 写明是文字的块里,表格的列名、门店名这类标签不到六个字,又不像结论 + pytest.param("```text\n门店名称 累计销售额\n华东一店 1500\n```", id="labels-under-six"), + # 标题不算正文:不包代码块时,标题也从不算结论句 + pytest.param("```markdown\n## 华南销售额超过华北\n```", id="heading-only"), + # 信息串为空、不带句读的行:不像结论的不算(列名、改了的口径) + pytest.param("## 口径说明\n\n本周报告按支付日期统计。\n\n```\ncolumns:\n - 订单编号\n - 支付日期\n```", id="yaml-list"), + pytest.param("## 口径说明\n\n本周报告按支付日期统计。\n\n```\n- 按下单日期统计\n+ 按支付日期统计\n```", id="diff"), + pytest.param("```\n- 订单编号\n- 支付日期\n```", id="labels"), + # 信息串为空、看得出是代码(SQL、YAML 的键、diff):值里、别名里有方向词也不是结论 + pytest.param("```\nSELECT MAX(amount) AS 最高金额, MIN(amount) AS 最低金额 FROM orders\n```", id="sql-aliases"), + pytest.param("```\nmetrics:\n - 退款占比\n - 销售额增长率\n```", id="yaml-with-conclusion-words"), + pytest.param("```\n- name: 退款占比\n unit: 百分比\n```", id="yaml-mappings"), + pytest.param("```\n- 退款率下降\n+ 退款率上升\n```", id="diff-with-conclusion-words"), + pytest.param("```\n@@ -1,2 +1,2 @@\n 口径说明\n-销售额按下单日期统计后下降\n+销售额按支付日期统计后上升\n```", id="diff-hunk"), + # 信息串写成 text、markdown,里面却看得出是代码:照代码看,注释里的句子、别名里的方向词不算 + pytest.param("```text\nSELECT region AS 区域, MAX(amount) AS 最高金额 FROM orders -- 按区域汇总,排除退款\n```", + id="sql-labelled-text"), + pytest.param("```markdown\nmetrics:\n - 退款占比\n - 销售额增长率\n```", id="yaml-labelled-markdown"), # 有正常的结论句:正文没被藏起来 pytest.param("华东销售额超过华南。\n\n```markdown\n华东销售额 1500,居各区域之首。\n```", id="claims-outside"), # 没有代码块 @@ -222,11 +283,16 @@ async def test_require_citation_records_the_gap_too(monkeypatch, claims, contrac assert issuance["claims"]["uncited_claims"] == 0 -async def test_sql_with_a_trailing_comment_is_issued_as_before(monkeypatch): - """一句结论都没有的报告(只有口径说明)贴了一段不带信息串的 SQL,行尾注释里写着中文句子:那是代码,不是藏起来的 - 正文,照常完整出具,不记这条缺口。""" - writer(monkeypatch, "## 口径说明\n\n本周报告按支付日期统计。\n\n```\n" - "SELECT region, SUM(amount) AS gmv FROM orders GROUP BY region -- 按区域汇总,排除退款\n```") +@pytest.mark.parametrize("code", [ + pytest.param("SELECT region, SUM(amount) AS gmv FROM orders GROUP BY region -- 按区域汇总,排除退款", + id="sql-trailing-comment"), + pytest.param("columns:\n - 订单编号\n - 支付日期", id="yaml-list"), + pytest.param("- 按下单日期统计\n+ 按支付日期统计", id="diff"), +]) +async def test_code_in_a_report_without_claims_is_issued_as_before(monkeypatch, code): + """一句结论都没有的报告(只有口径说明)贴了一段不带信息串的代码:行尾注释里写着中文句子的 SQL、列着中文列名的 + YAML、改口径的 diff。那是代码,不是藏起来的正文,照常完整出具,不记这条缺口。""" + writer(monkeypatch, f"## 口径说明\n\n本周报告按支付日期统计。\n\n```\n{code}\n```") row = await finish(weekly(claims="require_citation")) assert row.status == "succeeded", row.error issuance = row.output["_issuance"]