diff --git a/backend/app/engine/analysis_claims.py b/backend/app/engine/analysis_claims.py index 9936b3aa..ea5ee5a1 100644 --- a/backend/app/engine/analysis_claims.py +++ b/backend/app/engine/analysis_claims.py @@ -5,20 +5,35 @@ 1. **说法表**(LEXICONS,一处定义,带版本 LEXICON_VERSION):判断词分成来源、分散、抵消、结构、异常、新高新低、正常、 趋势、无趋势、差异、无差异、因果几类,每类要挂一种分析(op),判定要对得上(细案 01 §9.1)。只收强判断词,宁可漏报 - 不误报:「持续」要跟着涨跌(「持续关注」不算),「异常」后面接着订单、数据这类名词的是业务分类、前面是数据、系统的是 - 数据质量,都不算;「相当」只认句读前的(「相当于」「相当高」不算) + 不误报(误报让正常的报告多重写一次、strict 下降档)。这几种写法不核: + - 说的是构成、不是变化从哪来:来源、集中、分散、主导、拉动带动要这句话到这个分句为止说了变化(涨跌、变化、降幅、持平、 + 环比……)才核——「下降主要来自华东」核,「本周订单主要来自线上渠道」「销售额集中在周末两天」「客户分散在各个城市」 + 「通过会员活动带动复购」不核;「拖累」「贡献最大」本身就在说变化,照核 + - 建议、计划、预测、假设:分句里有「建议、计划、预计、争取、需要、应当、将要……」的不核(「建议」「下周」「避免」这些 + 管到句子后面的分句:「建议加大投放,拉动新客增长」) + - 业务上的「异常」:前面是订单、物流、支付、门店、营业、库存、设备、账号或数据、系统(「部分订单异常」「系统无异常」), + 后面是名词(「异常订单」「物流异常的订单」);「无异常」「未见异常」主语得是指标或波动(「销售额未见异常」), + 「整体运行平稳,未见异常」不核 + - 别的:「持续」要跟着涨跌(「持续关注」不算);「来源于」不是「源于」;「表结构变化」不是结构变化;「相当」只认比的是 + 几组、几样的(「两个渠道的转化率相当」「规模相当」),比上期的(「订单量与上周相当」)、「相当于」「相当高」不算 2. **否定**:判断词前 4 个字以内(跳过「出现」「明显」这类填充词)有「不、没有、没、并非、并不、未、无」的翻到反面类: - 「并未出现明显异常」是正常,「没有明显的上升趋势」是无趋势,「并非主要来自华东」要拆解、华东不在主要来源里; + 「销售额并未出现明显异常」是正常,「没有明显的上升趋势」是无趋势,「并非主要来自华东」要拆解、华东不在主要来源里; 「不但」「不少」「无论」「未来」这类不是否定 3. **怎么挂**:一句话的分析依据 = 句中的 [[a:]]、[[v:A…]]、[[table:A…]] 和句末 [[see:A…]](组装、复核时按重新解析的 引用算,见 evidence.verify_doc)。类要的 op 必须在依据里出现,几个里任一个对得上就算对;挂了算不了的结论算对不上 -4. **点名的段**:判断词所在分句里出现的结论结果表的维度值(全半角归一,两个字以上、不是纯数字)。来源类要判定说了主要 - 来源(driver、concentrated,比率拆解的 mix_driven、rate_driven),点名的段都在 subjects 里;拖累要那一段变化为负, - 拉动、带动为正(不在 subjects 里、但那一段的变化占总变化过半的也算拖累) -5. **来源和因果的分界**:句子挂了拆解、因果词所在分句点名的是这份结论的段或因子(「下降主要由华东造成」)→ 按来源核, - 这是记账意义上的「来自」;点名的不是(「由于促销结束导致下降」)→ 按因果核:同一句要有知识库原话([[q:]])或运行 - 输入([[i:]])作依据,或者写成推测(可能、或许、推测、待核实、不排除、疑似)。分句里已有来源一类判断词的,因果词 - 并进那一处核。原因说的是数据本身(「由于数据只到 10 月 16 日」「样本少」)的不算 +4. **点名的段**:结论结果表里的维度值、乘积拆解的因子(全半角归一,两个字以上、不是纯数字)。来源类判断看判断词说的那一边: + 「主要来自」「集中在」「以…为主」看后面、判断词里(到分句末尾),「主导」「贡献最大」看前面(同一分句没点名的往前找 + 最近点了名的分句)。判定要说了主要来源(driver、concentrated,比率拆解的 mix_driven、rate_driven),点名的段都在 + subjects 里,而且得点名:「下降主要来自线上渠道」「下降主要来自新客流失」挂了按地区的拆解,说的来源不是拆解里的段, + 对不上(同一分句引用了判定语 [[a:A1]] 的、比率拆解说「结构变化」「自身变化」的不用点名)。拖累要那一段变化为负, + 拉动、带动为正(看整个分句,没点名的按 subjects;不在 subjects 里、但那一段的变化占总变化过半的也算拖累) +5. **来源和因果的分界**:原因在因果词的哪一边:「由于、因为、原因是、源于、得益于」后面,「导致、造成、引起、所致、 + 是…的主要原因」前面(「由华东造成」是「由」和「造成」之间),「受…影响」中间。句子挂了拆解、原因点名的是这份结论的 + 段或因子(「下降主要由华东造成」「华东是下降的主要原因」)→ 按来源核,这是记账意义上的「来自」;点名的不是(「由于 + 促销结束导致下降」「下降主要由促销结束造成」)→ 按因果核:同一句要有知识库原话([[q:]])或运行输入([[i:]])作 + 依据,或者写成推测(可能、或许、推测、待核实、不排除、疑似)。句子没挂拆解、同一分句里有来源判断的,原因不是拆解 + 的段时另报(目录里有拆解可比的时候),认不出时并进来源那一处(它报没挂拆解)。原因说的是数据本身(「由于数据只到 + 10 月 16 日」「样本少」)、只是指代(「以上是下降的主要原因」,列出原因的那几句各自核)的不算 6. **不扫的地方**:知识库原话([[q:]] 片段)、系统渲染的判定语([[a:]] 片段)、别的引用渲染出来的字、标题、代码块、 表格(表头和正文的格都不扫:一格是一个值不是一句话,状态列的「异常」、说明列的「主要来自线上」不是判断;裁判的预筛 judge.claim_priority 也不送表格的格);分析范围是文档的结构化字段(analysis_scope),本来就不在正文里 @@ -38,7 +53,7 @@ from __future__ import annotations import re import unicodedata from collections.abc import Iterable, Mapping -from dataclasses import dataclass, field +from dataclasses import dataclass, field, replace from decimal import Decimal, InvalidOperation from typing import Any @@ -66,9 +81,19 @@ _DOWN = "下降|下滑|减少|降低|下跌|走低|回落|走弱|萎缩|减弱| _DIR = f"(?:{_UP}|{_DOWN})" _UP_RE = re.compile(_UP) _DOWN_RE = re.compile(_DOWN) +#: 说的是变化:来源、集中、分散、主导、拉动带动要这句话到这个分句为止有它才核(「下降主要来自华东」说的是变化从哪来, +#: 「本周订单主要来自线上渠道」说的是构成)。「环比」「同比」本身不是涨跌,可跟着的是变化(「环比 −5%,主要来自华东」) +_CHANGE = f"{_UP}|{_DOWN}|变化|变动|涨跌|升降|增减|涨幅|降幅|增幅|跌幅|减幅|增量|减量|增速|持平|波动|环比|同比" +#: 判断词后面紧跟着的涨跌、波动(「订单异常下降」「出现异常的增长」说的是指标,不是订单状态) +_MOVES = re.compile(f"(?:的|地)?(?:{_DIR}|波动|变化|变动)") #: 分句的边界(顿号、冒号不算:「集中在华东、华北」「主要来自:华东」还是一句里的事) _STOPS = ",,;;。!?!?\n" _NOT_STOP = f"[^{_STOPS}]" +#: 「相当」比的是几组、几样(「两个渠道的转化率相当」「规模相当」)才是差异判断 +_PEERS = re.compile(r"水平|规模|表现|幅度|程度|体量|量级|两(?:个|组|类|种|者|地|边|家|区|店)|二者|双方|几个|几组|各(?:个|组|类)") +#: 「相当」比的是上一期、往常:说的是持平,不是两组差异(「订单量与上周相当」) +_PERIODS = re.compile(r"上(?:一)?(?:个)?(?:周|月|季度|季|年|期)|前(?:一)?(?:周|月|天|日|期)|去年|同期|往年|以往|往常|昨天|昨日" + r"|此前|之前") @dataclass(frozen=True) @@ -84,8 +109,20 @@ class Claim: flip: str | None = None mode: str | None = None negative: bool = False - #: 「连续…上升」:另要末尾连续同向至少 3 期 + #: 「连续…上升」「三连降」:另要末尾连续同向至少 3 期 run: bool = False + #: 这句话到这个分句为止要说了变化(Lexicon.change)才核:来源、集中、分散、主导、拉动带动 + gated: bool = False + #: 判断词前面(同一分句里)要有这些字才核(「两个渠道的转化率相当」) + needs: re.Pattern[str] | None = None + #: 分句里有这些字就不核(「订单量与上周相当」) + bars: re.Pattern[str] | None = None + #: 主语要是指标或波动(Lexicon.subject)才核:「销售额未见异常」核,「整体运行平稳,未见异常」不核 + subject: bool = False + #: 点名的段(来源类)、原因(因果类)在判断词的哪一边:after 后面到分句末尾(主要来自华东、由于促销结束)、before 前面 + #: (华东主导、华东是…的主要原因、促销结束导致)、inside 判断词里(以线上为主、受促销影响)、pull 拖累拉动带动(看整个 + #: 分句,见 _check);None 整个分句 + side: str | None = None @dataclass(frozen=True) @@ -102,10 +139,19 @@ class Lexicon: guess: re.Pattern[str] #: 因果说的是数据本身(数据只到哪天、口径、样本):不当原因判断核 method: re.Pattern[str] - #: 「异常」「正常」前面是这些的,说的是数据质量(数据异常、系统无异常),不是指标的波动 + #: 「异常」「正常」这一类的判断词前面是这些的,说的是数据质量(数据异常、系统无异常),不是指标的波动 quality: re.Pattern[str] - #: 拖累、拉动、带动:点名的段不在 subjects 里时,按那一段变化的正负和占比核 - pulls: frozenset[str] = field(default_factory=frozenset) + #: 「异常」「异动」前面是这些的,说的是业务上的状态(部分订单异常、门店营业异常);后面跟着涨跌的说的是指标(订单 + #: 异常下降、出现异常的增长),「订单大幅减少」也照核 + status: re.Pattern[str] + #: 说的是变化(Claim.gated 的类要有它) + change: re.Pattern[str] + #: 建议、计划、预测、假设:分句里有它的判断词不核(「下周将持续提升转化率」不是对数据下的判断) + plan: re.Pattern[str] + #: 同上,管到句子后面的分句(「建议加大投放,拉动新客增长」「避免缺货导致客诉」) + plan_ahead: re.Pattern[str] + #: 指标或波动(Claim.subject 的类要主语是它) + subject: re.Pattern[str] def claim(self, key: str) -> Claim: return next(c for c in self.claims if c.key == key) @@ -115,50 +161,69 @@ _V1 = Lexicon( version=1, claims=( Claim("source", "来源", "decompose", re.compile( - r"主要(?:来自|源自|出自|由|集中(?:在|于))" - rf"|主要是(?!因为|由于|受|指|看|说|想|希望){_NOT_STOP}{{0,12}}?(?:{_DIR}|贡献|拖累|带动|拉动|驱动)" - r"|(?:绝)?大(?:部分|多数|多)(?:来自|源自|出自|由|集中(?:在|于))" - r"|集中(?:在|于)" - r"|主导(?!地位|产品|品类|品牌|产业)" - r"|拖累|拉动|带动" - r"|贡献(?:最大|最多|最高)|最大(?:的)?贡献|贡献了(?:绝)?大部分"), flip="source_not"), + r"主要(?:来自|源自|出自|源于|由(?!于)|集中(?:在|于)|依靠|依赖|靠|体现在|表现在|发生在|在于|在)" + r"|(?:绝)?大(?:部分|多数|多)(?:来自|源自|出自|由(?!于)|集中(?:在|于))" + r"|(?:将近|接近|超过|近|超|逾|过|约|多达|高达)?(?:[一二三四五六七八九两几]成|一半|半数|过半|大半|大部分|大多数)" + rf"{_NOT_STOP}{{0,8}}?(?:来自|源自|出自|集中(?:在|于))" + r"|集中(?:在|于)"), flip="source_not", gated=True, side="after"), + Claim("source", "来源", "decompose", re.compile( + rf"主要是(?!因为|由于|受|指|看|说|想|希望){_NOT_STOP}{{0,12}}?(?:{_DIR}|贡献|拖累|带动|拉动|驱动)" + rf"|以{_NOT_STOP}{{1,8}}?为主(?![题线要体流打])"), flip="source_not", gated=True, side="inside"), + Claim("source", "来源", "decompose", re.compile(r"主导(?!地位|产品|品类|品牌|产业)|贡献了(?:绝)?大部分"), + flip="source_not", gated=True, side="before"), + Claim("source", "来源", "decompose", re.compile(r"贡献(?:最大|最多|最高)|最大(?:的)?贡献"), + flip="source_not", side="before"), + Claim("source", "来源", "decompose", re.compile(r"拉动|带动"), flip="source_not", gated=True, side="pull"), + Claim("source", "来源", "decompose", re.compile(r"拖累"), flip="source_not", side="pull"), Claim("source_not", "来源(否定)", "decompose", re.compile(r"(?!)"), negative=True), + Claim("dispersed", "分散", "decompose", re.compile(r"分散(?!注意|精力|风险|投资|采购)"), flip="source", + gated=True), Claim("dispersed", "分散", "decompose", re.compile( - r"分散(?!注意|精力|风险|投资|采购)" - rf"|普遍(?:有所|出现|呈现)?{_DIR}" + rf"普遍(?:有所|出现|呈现)?{_DIR}" rf"|全面{_DIR}" rf"|各(?:个)?{_NOT_STOP}{{1,6}}?(?:都|均)(?:有所|出现|在)?{_DIR}"), flip="source"), - Claim("offset", "抵消", "decompose", re.compile(r"抵消|抵冲|此消彼长|一增一减|一升一降|有增有减")), + Claim("offset", "抵消", "decompose", re.compile( + r"抵消|抵冲|此消彼长|此增彼减|此涨彼跌|涨跌互现|有增有减|有涨有跌|有升有降" + r"|一增一减|一减一增|一升一降|一降一升|一涨一跌|一跌一涨")), Claim("mix", "结构", "decompose", re.compile( - r"结构性|结构(?:变化|变动|效应)|占比(?:的)?变化(?:带来|造成|导致|引起)"), mode="ratio"), + r"结构性|(? Lexicon: @dataclass(frozen=True) class Hit: - """句子里的一处判断词:类(否定翻过之后的)、在句子里的起止、原文、方向(up / down / None)。""" + """句子里的一处判断词:类(否定翻过之后的)、在句子里的起止、原文、方向(up / down / None)。side 是点名的段、原因在 + 判断词的哪一边(Claim.side,否定翻过来的为 None)。""" claim: str start: int @@ -230,6 +321,7 @@ class Hit: direction: str | None negated: bool = False run: bool = False + side: str | None = None def _clause(text: str, start: int, end: int) -> tuple[int, int]: @@ -261,9 +353,28 @@ def _direction(lex: Lexicon, word: str, after: str, clause: str) -> str | None: return None +def _counts(lex: Lexicon, claim: Claim, text: str, start: int, end: int, left: int, right: int) -> bool: + """这处判断词核不核:说的是数据质量、业务状态的「异常」,没说变化的来源、集中、分散(构成),建议、计划、预测、假设, + 不合条件的「相当」,都不核。""" + before = text[left:start] + if claim.key in ("anomaly", "normal"): + head = re.sub(r"(?:不|没有|没|并不|并非|未|无)$", "", before.rstrip("\x00 ")) + if lex.quality.search(head) or ("异" in text[start:end] and lex.status.search(head) + and not _MOVES.match(text, end)): + return False + if claim.gated and not lex.change.search(text[:right]): + return False + if lex.plan.search(text[left:right]) or lex.plan_ahead.search(text[:right]): + return False + if claim.needs is not None and not claim.needs.search(before): + return False + return claim.bars is None or not claim.bars.search(text[left:right]) + + def scan(text: str, *, version: int | None = None) -> list[Hit]: """一句话里的判断词(text 是写作者自己写的字,别的片段已经涂成 \\x00)。同一处有几种读法时取最靠前、最长的: - 「超出正常范围」是异常不是正常,「没有明显的上升或下降趋势」是无趋势不是趋势。""" + 「超出正常范围」是异常不是正常,「没有明显的上升或下降趋势」是无趋势不是趋势。不核的写法(_counts)连同和它重叠的 + 读法一起跳过。""" lex = lexicon(version) found: list[tuple[int, int, int, Claim]] = [] for order, claim in enumerate(lex.claims): @@ -276,24 +387,23 @@ def scan(text: str, *, version: int | None = None) -> list[Hit]: end = start - minus if start < taken: continue + taken = end left, right = _clause(text, start, end) - before = text[left:start] - if claim.key in ("anomaly", "normal") and lex.quality.search( - re.sub(r"(?:不|没有|没|并不|并非|未|无)$", "", before.rstrip("\x00 "))): - taken = end + if not _counts(lex, claim, text, start, end, left, right): continue + before = text[left:start] key, negated = claim.key, False if not claim.negative and _negated(lex, before): negated = True if claim.flip is None: - taken = end continue key = claim.flip word = text[start:end] + if key == "normal" and (claim.subject or (negated and "异" in word)) and not lex.subject.search(text[:right]): + continue # 「未见异常」「没有出现异动」:主语不是指标、波动的(运行平稳、系统正常)不核 direction = _direction(lex, word, text[end:right], text[left:right]) hits.append(Hit(claim=key, start=start, end=end, word=word, direction=direction, negated=negated, - run=claim.run and not negated)) - taken = end + run=claim.run and not negated, side=None if negated else claim.side)) return hits @@ -309,7 +419,8 @@ class Sentence: text、names、shown 等长,位置一一对应:text 只留写作者自己写的字(判断词在这里找),names 另留引用渲染出来的值(点名 的段在这里认),两者都把判定语、知识库原话涂成 \\x00;shown 是给人看的整句(排版符号涂成 \\x00,显示时去掉)。没给 names、shown 的按 text。analyses 是这句的分析依据(A 编号),quoted / inputs:同一句里有知识库原话、运行输入。base 是 - text[0] 在正文里的位置(违规带 span 要用),pieces 是各片段在 text 里的起止和编号(违规带所在片段)。""" + text[0] 在正文里的位置(违规带 span 要用),pieces 是各片段在 text 里的起止和编号(违规带所在片段),phrases 是判定语 + 引用 [[a:A1]] 在 text 里的起止和编号(同一分句引用了判定语的来源判断不用再点名)。""" text: str names: str = "" @@ -320,6 +431,7 @@ class Sentence: base: int | None = None unit: str | None = None pieces: list[tuple[int, int, str | None]] = field(default_factory=list) + phrases: list[tuple[int, int, str]] = field(default_factory=list) def __post_init__(self) -> None: if len(self.names) != len(self.text): @@ -497,8 +609,10 @@ def _verdict_miss(result: Mapping[str, Any]) -> _Miss: return _Miss(said, said) -def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Miss | None: - """这处判断词能不能挂这份结论:对得上返回 None,对不上返回原因。names 是判断词所在分句(点名用的样子)。""" +def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str, *, spans: tuple[str, ...] = (), + phrased: bool = False) -> _Miss | None: + """这处判断词能不能挂这份结论:对得上返回 None,对不上返回原因。names 是判断词所在分句(点名用的样子);spans 是来源类 + 判断说的那一边(_object,近的在前,取第一个点了名的),没给按分句;phrased:同一分句引用了这份结论的判定语。""" if result.get("status") != "ok": reason = str(result.get("reason") or "算不了") return _Miss(f"没有做成({reason})", f"这份结论没有做成({reason})") @@ -507,7 +621,7 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi key = hit.claim if key in ("source", "source_not"): subjects = _subjects(result) - named = _named(result, names) + named = next((found for span in spans or (names,) if (found := _named(result, span))), []) # 判定语说「主要来自」的几种:一段(一个因子)为主、集中在前几段;比率拆解的结构为主、各段自身为主 top = code in _SOURCE_VERDICTS if key == "source_not": @@ -521,16 +635,22 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi return _verdict_miss(result) wanted = {_named_value(s) for s in subjects} stray = [n for n in named if _named_value(n) not in wanted] - pull = hit.word in lex.pulls + pull = hit.side == "pull" if stray and pull: # 拖累、拉动、带动:点名的段不在主要来源里,变化方向对、占总变化过半的也算(整体上涨、华东下跌拖累了涨幅) main = _decimal((result.get("settings") or {}).get("main_share")) or Decimal("0.5") stray = [n for n in stray if not ((share := _segment_change(result, n)[1]) is not None and abs(share) >= main)] + subject = "、".join(subjects) if stray: - subject = "、".join(subjects) return _Miss(f"判的主要来源是{subject},不是{'、'.join(stray)}", f"判定的主要来源是{subject},不是{'、'.join(stray)}") + if not named and hit.side in _NAMING_SIDES and not phrased \ + and not ((effect := _EFFECTS.get(str(code))) and effect.search((spans or (names,))[0])): + # 说的来源不是拆解里的段(「主要来自线上渠道」挂了按地区的拆解、「主要来自新客流失」),当没点名 + part = "因子" if result.get("mode") == "factor" else "段" + return _Miss(f"判的主要来源是{subject},这句说的来源不是这份拆解里的{part}", + f"判定的主要来源是{subject},句子里说的来源不是这份拆解里的{part}") if pull and hit.direction: for name in named or subjects: change, _ = _segment_change(result, name) @@ -592,7 +712,7 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi if len(subjects) == 2 and hit.direction and direction in ("up", "down"): # 判定语的写法是「A 的…高于 B」:A 是 subjects 的第一个。句子里两组都点名了才核方向,后点名的先写就反过来 flat = _same_length_norm(names) - spots = [flat.find(_named_value(s) or "￿") for s in subjects] + spots = [flat.find(_named_value(s) or "\uffff") for s in subjects] if all(at >= 0 for at in spots): expected = direction if spots[0] < spots[1] else ("down" if direction == "up" else "up") if expected != hit.direction: @@ -619,9 +739,9 @@ def _direction_miss(hit: Hit, direction: Any) -> _Miss | None: _FALLBACK = { "decompose": "只写各段各自的变化,不下「主要」「集中」「拖累」「分散」这类判断", "mix": "只写比率和各段的变化,不说结构变化", - "baseline": "只写本期的数和变化,不说「异常」「大幅」「激增」「历史新高」「正常波动」这类判断", + "baseline": "只写本期的数和变化,不说「异常」「大幅」「显著下降」「激增」「历史新高」「正常波动」这类判断", "trend": "只写各期的数,不说「持续」「趋势」「连续」这类判断", - "differ": "只写各组各自的数,不说「显著」「明显高于」「差异不大」这类判断", + "differ": "只写各组各自的数,不说「显著高于」「明显高于」「差异不大」这类判断", } @@ -660,6 +780,49 @@ def _causal(snippet: str) -> _Reason: f"「{snippet}」没有依据:数据只能说明变化来自哪里;要写原因,引用知识库原话,或写成「可能与…有关,待核实」") +def _object(sentence: Sentence, hit: Hit, left: int, right: int) -> tuple[str, ...]: + """来源类判断说的那一边(点名用的样子 names),近的在前:「主要来自」「集中在」后面到分句末尾,「以…为主」判断词里, + 「主导」「贡献最大」前面——同一分句里,再往前一个个分句(「线上渠道表现突出,贡献最大」);拖累、拉动、带动和别的类看 + 整个分句。""" + names = sentence.names + if hit.side == "after": + return (names[hit.start:right],) + if hit.side == "inside": + return (names[hit.start:hit.end],) + if hit.side != "before": + return (names[left:right],) + spans = [names[left:hit.end]] + cut = left - 1 + while cut > 0: + prev, _ = _clause(sentence.text, cut, cut) + spans.append(names[prev:cut]) + cut = prev - 1 + return tuple(spans) + + +def _cause(sentence: Sentence, hit: Hit, left: int, right: int) -> str: + """因果词说的原因(点名用的样子 names):「由于、因为、原因是、源于、得益于」后面到分句末尾,「受…影响」中间,「导致、 + 造成、引起、所致、是…的主要原因」前面到分句开头——前面有「由」的(「由华东造成」)从「由」后面起。""" + names = sentence.names + if hit.side == "after": + return names[hit.end:right] + if hit.side == "inside": + return names[hit.start:hit.end] + by = [m.end() for m in re.finditer(r"由(?!于)", sentence.text[left:hit.start])] + return names[left + by[-1]:hit.start] if by else names[left:hit.start] + + +#: 原因只是指代(「以上是下降的主要原因」「原因如下:」后面的列表各自核):这一句不核 +_POINTER = re.compile(r"(?:这|那|此|其|以上|上述|前述|如下|以下|下列)(?:些|个|几个|几点|两点|方面|原因|因素)?") +_FILLING = re.compile(r"[\x00\s\W_]|的|都|也|就|主要|正是|便是|即") + + +def _said_cause(cause: str) -> bool: + """原因说了实在的东西:去掉标点、空白、虚词之后不是空的,也不只是指代。""" + rest = _FILLING.sub("", cause) + return bool(rest) and _POINTER.fullmatch(rest) is None + + def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]], *, available: Mapping[str, list[str]] | None = None, version: int | None = None) -> list[dict[str, Any]]: """一句话的说法违规。results 是写作目录里的分析结论 {A 编号: 结论},available 是 {op: [这次有的 A 编号]}(没挂时 @@ -671,6 +834,9 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]], if not hits: return [] mine = [(a, results[a]) for a in dict.fromkeys(sentence.analyses) if a in results] + #: 这句挂的拆解(原因点名的是它的段就按来源核),和目录里所有的拆解(没挂时认原因是不是哪份拆解的段) + decomposes = [r for _, r in mine if r.get("op") == "decompose"] + known = [r for r in results.values() if r.get("op") == "decompose"] out: list[dict[str, Any]] = [] #: 同一分句里同一类只报一处(「由于促销结束导致下降」是一处没依据的原因,不是两处) seen: set[tuple[str, str, int]] = set() @@ -680,17 +846,20 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]], left, right = _clause(sentence.text, hit.start, hit.end) names = sentence.names[left:right] snippet = _snippet(sentence.shown, hit.start, hit.end) + spans = _object(sentence, hit, left, right) if claim.key == "causal": clause = sentence.text[left:right] if sentence.quoted or sentence.inputs or guessed or lex.method.search(clause): continue - if any(h is not hit and h.claim in _SOURCE_KEYS and left <= h.start < right for h in hits): - continue # 「主要由华东造成」:并进来源那一处核 - decomposes = [(a, r) for a, r in mine if r.get("op") == "decompose"] - if any(_named(r, names) for _, r in decomposes): - # 因果词点名的是拆解的段或因子:按来源核(记账意义上的「来自」) - hit = Hit("source", hit.start, hit.end, hit.word, hit.direction) - claim = lex.claim("source") + cause = _cause(sentence, hit, left, right) + if not _said_cause(cause): + continue # 「以上是下降的主要原因」「主要原因:」:原因在别处,各自核 + if any(_named(r, cause) for r in decomposes): + # 原因点名的是所挂拆解的段或因子(「下降主要由华东造成」):按来源核,这是记账意义上的「来自」 + hit, claim, spans = replace(hit, claim="source", side="cause"), lex.claim("source"), (cause,) + elif not decomposes and (not known or any(_named(r, cause) for r in known)) \ + and any(h is not hit and h.claim in _SOURCE_KEYS and left <= h.start < right for h in hits): + continue # 没挂拆解:并进同一分句里的来源判断,那一处报没挂拆解 else: key = (CAUSAL, claim.key, left) if key not in seen: @@ -704,7 +873,8 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]], seen.add(key) out.append(_record(UNCITED, _uncited(claim, hit.word, available), sentence, hit, claim, mine)) continue - misses = [(a, _check(lex, hit, r, names)) for a, r in candidates] + phrased = {alias for at, _, alias in sentence.phrases if left <= at < right} + misses = [(a, _check(lex, hit, r, names, spans=spans, phrased=a in phrased)) for a, r in candidates] if any(miss is None for _, miss in misses): continue alias, miss = misses[0] @@ -762,7 +932,7 @@ def results_of(catalog: Mapping[str, Any], load: Any = None) -> dict[str, dict[s def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str, Any]) -> Sentence | None: """文档里的一个句子单元 → Sentence。写作者自己写的字(文字片段、没有出处的数字)留在 text;引用渲染出来的值、表名 - 字段名留在 names(点名用);判定语(a:)、知识库原话(q:)、排版符号两边都涂掉。""" + 字段名留在 names(点名用);判定语(a:)、知识库原话(q:)、排版符号两边都涂掉,判定语另记下位置(phrases)。""" segments = [s for s in unit.get("segments") or [] if isinstance(s, dict)] if not segments: return None @@ -770,6 +940,7 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str name_parts: list[str] = [] shown_parts: list[str] = [] pieces: list[tuple[int, int, str | None]] = [] + phrases: list[tuple[int, int, str]] = [] quoted = False pos = 0 for seg in segments: @@ -784,6 +955,8 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str scan_parts.append(blank) name_parts.append(blank) quoted = quoted or (head == "q" and seg.get("state") == "deterministic") + if head == "a" and (phrase := _PHRASE_REF.match(ref)): + phrases.append((pos, pos + len(text), phrase.group(1))) elif ref or kind == "entity": scan_parts.append(blank) name_parts.append(text) @@ -798,7 +971,8 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str cited = list(dict.fromkeys(str(a) for a in aliases)) return Sentence(text="".join(scan_parts), names="".join(name_parts), shown="".join(shown_parts), analyses=[a for a in cited if a in results], quoted=quoted, - inputs=any(a.startswith("i:") for a in cited), base=base, unit=unit.get("id"), pieces=pieces) + inputs=any(a.startswith("i:") for a in cited), base=base, unit=unit.get("id"), pieces=pieces, + phrases=phrases) def check_doc(doc: dict[str, Any], catalog: Mapping[str, Any], *, cited: Mapping[int, list[str]] | None = None, @@ -875,9 +1049,10 @@ ANALYSIS_RULES_PROMPT = ( "分析结论(系统会逐句核对判断词):\n" "- 「主要来自」「集中在」「拖累」「带动」「分散」「异常」「大幅」「激增」「历史新高」「正常波动」「持续上升」「趋势」" "「显著高于」「差异不大」这类判断,只能照证据目录里分析结论的判定写,句末挂对应的依据,比如 [[see:A1]];最好直接引用" - "判定语 [[a:A1]],它由系统按判定渲染。来源、集中、拖累、分散挂变化拆解,结构变化挂比率拆解,异常、新高新低、正常波动" - "挂波动基线,持续、趋势、连续挂趋势,显著、明显高于、差异不大挂差异检验。\n" - "- 判定和你想写的不一样时照判定写;点名的地区、渠道要在判定点名的段里;没有做成的分析照实写没做成的原因,不下这类判断。" + "判定语 [[a:A1]],它由系统按判定渲染。来源、集中、拖累、分散挂变化拆解,结构变化挂比率拆解,异常、大幅、显著上升或下降、" + "新高新低、正常波动挂波动基线,持续、趋势、连续挂趋势,显著高于、明显高于、差异不大挂差异检验。\n" + "- 判定和你想写的不一样时照判定写;写来源要点名是哪一段,点名的地区、渠道要在判定点名的段里;没有做成的分析照实写" + "没做成的原因,不下这类判断。" "没有对应的分析结论,就只陈述数字和变化。\n" "- 拆解只说明变化来自哪里,不说明为什么。写原因(因为、由于、导致、受…影响)要有知识库原话或运行输入作依据," "否则写成待核实的推测,比如「可能与促销结束有关,待核实」。" diff --git a/backend/tests/test_analysis_claims.py b/backend/tests/test_analysis_claims.py index 4e9326d8..2416a560 100644 --- a/backend/tests/test_analysis_claims.py +++ b/backend/tests/test_analysis_claims.py @@ -43,7 +43,7 @@ def codes(found: list[dict]) -> list[str]: @pytest.mark.parametrize("text, claim", [ ("下降主要来自华东。", "source"), ("增长主要由线上贡献。", "source"), ("下降集中在华东、华北。", "source"), - ("绝大部分来自线下。", "source"), ("华东拖累了整体。", "source"), ("线上带动了增长。", "source"), + ("增长绝大部分来自线下。", "source"), ("华东拖累了整体。", "source"), ("线上带动了增长。", "source"), ("华东贡献最大。", "source"), ("下降主要是华东下滑造成的。", "source"), ("变化分散在各地区。", "dispersed"), ("各地区都在下降。", "dispersed"), ("各渠道普遍下滑。", "dispersed"), ("全面下降。", "dispersed"), @@ -53,7 +53,7 @@ def codes(found: list[dict]) -> list[str]: ("销售额明显偏离往常。", "anomaly"), ("超出过去 12 周的常规波动范围。", "anomaly"), ("销售额明显高于正常水平。", "anomaly"), ("波动剧烈。", "anomaly"), ("本周创历史新高。", "record"), ("销售额创新高。", "record"), ("前所未有。", "record"), - ("在常规波动范围内。", "normal"), ("属于正常波动。", "normal"), ("并不异常。", "normal"), + ("在常规波动范围内。", "normal"), ("属于正常波动。", "normal"), ("这一降幅并不异常。", "normal"), ("线上销售额持续上升。", "trend"), ("呈上升趋势。", "trend"), ("一路走低。", "trend"), ("稳步增长。", "trend"), ("连续三周下降。", "trend"), ("连续下滑。", "trend"), ("没有明显的上升或下降趋势。", "no_trend"), ("上升趋势不明显。", "no_trend"), ("基本平稳。", "no_trend"), @@ -138,13 +138,13 @@ def test_dafu_needs_a_baseline_outside_the_band_in_the_same_direction(): @pytest.mark.parametrize("text, claim", [ - ("并未出现明显异常。", "normal"), # 否定隔着「出现明显」 - ("本周没有出现异常。", "normal"), + ("订单数并未出现明显异常。", "normal"), # 否定隔着「出现明显」 + ("本周销售额没有出现异常。", "normal"), ("不在正常范围内。", "anomaly"), ("不属于正常波动。", "anomaly"), ("没有显著高于华东。", "no_diff"), - ("并非主要来自华东。", "source_not"), - ("并不分散。", "source"), + ("下降并非主要来自华东。", "source_not"), + ("下降并不分散。", "source"), ("没有持续上升。", "no_trend"), ]) def test_a_negation_flips_to_the_opposite_class(text, claim): @@ -196,8 +196,10 @@ def test_ascii_names_need_word_boundaries_but_chinese_neighbours_are_fine(): result["table"]["rows"][0][0] = "AB" result["table"]["rows"][1][0] = "A" assert said("下降主要来自AB店。", "A1", results={"A1": result}) == [] - assert said("下降主要来自XAB。", "A1", results={"A1": result}) == [], "XAB 不是点名 AB,也没点名别的段" - assert codes(said("下降主要来自A。", "A1", results={"A1": result})) == [], "一个字的名字不认" + # XAB 不是点名 AB、一个字的名字不认:都当没点名哪一段,说的来源不是拆解里的段 + [miss] = said("下降主要来自XAB。", "A1", results={"A1": result}) + assert miss["code"] == ac.MISMATCH and "不是这份拆解里的段" in miss["message"] + assert codes(said("下降主要来自A。", "A1", results={"A1": result})) == [ac.MISMATCH] def test_named_segments_are_matched_across_full_and_half_width(): @@ -330,11 +332,65 @@ def test_a_cause_outside_the_decomposition_needs_its_own_evidence(): {"text": "由于促销结束导致下降。", "inputs": True}, {"text": "由于数据只到 10 月 16 日,本周不完整。"}, {"text": "由于样本少,差异不能下结论。"}, + {"text": "以上是本周下降的主要原因。"}, # 原因只是指代:列出原因的那几句各自核 + {"text": "下降的原因主要是:"}, ]) def test_guesses_quotes_inputs_and_data_caveats_are_not_unsupported_causes(sentence): assert ac.check_sentence(ac.Sentence(**sentence), {}) == [] +@pytest.mark.parametrize("text, found", [ + ("下降主要由于促销结束。", [(ac.CAUSAL, "causal")]), # 「主要由」不吃掉「由于」 + ("华东下降主要由于促销结束。", [(ac.CAUSAL, "causal")]), # 原因在「由于」后面,前面的华东不算 + ("促销结束导致华东下降。", [(ac.CAUSAL, "causal")]), # 原因在「导致」前面 + ("华东受促销结束影响下降。", [(ac.CAUSAL, "causal")]), # 原因在「受…影响」中间 + ("下降主要由促销结束造成。", [(ac.MISMATCH, "source"), (ac.CAUSAL, "causal")]), + ("下降主要来自线上渠道。", [(ac.MISMATCH, "source")]), # 说的来源不是拆解(按地区)里的段 + ("下降主要来自新客流失。", [(ac.MISMATCH, "source")]), + ("华东下降主要来自线上渠道。", [(ac.MISMATCH, "source")]), # 「主要来自」看后面 + ("下降主要由华东造成。", []), + ("华东是本周下降的主要原因。", []), # 原因点名的是段:按来源核 + ("下降的主要原因是华东门店客流减少。", []), + ("华南是本周下降的主要原因。", [(ac.MISMATCH, "source")]), + ("下降主要源于华东。", []), + ("华东下滑,拖累了整体。", []), # 拖累看整个分句,没点名的按主要来源 +]) +def test_sources_and_causes_attached_to_a_decomposition(text, found): + """挂了按地区拆解、判「主要来自华东」的结论(复核 R4):原因按因果词的那一边认;说的来源得是拆解里的段。""" + assert [(v["code"], v["claim"]) for v in said(text, "A1", results={"A1": fake_result()})] == found + + +def test_a_source_needs_no_name_when_the_clause_quotes_the_phrase_or_says_structure(): + driver = fake_result() + phrase = ac.Sentence(text="下降主要来自以下地区:\x00\x00\x00\x00。", analyses=["A1"], phrases=[(11, 15, "A1")]) + assert ac.check_sentence(phrase, {"A1": driver}) == [] + elsewhere = ac.Sentence(text="\x00\x00\x00\x00,下降主要来自这一地区。", analyses=["A1"], phrases=[(0, 4, "A1")]) + assert codes(ac.check_sentence(elsewhere, {"A1": driver})) == [ac.MISMATCH], "判定语在别的分句" + mix = fake_result(mode="ratio", verdict="mix_driven", subjects=[["华东"]]) + assert said("退款率上升主要来自结构变化。", "A1", results={"A1": mix}) == [] + rate = fake_result(mode="ratio", verdict="rate_driven", subjects=[["华东"]]) + assert said("退款率上升主要来自各段自身的变化。", "A1", results={"A1": rate}) == [] + assert [v["claim"] for v in said("退款率上升主要来自结构变化。", "A1", results={"A1": rate})] == ["source", "mix"] + + +def test_before_side_sources_look_back_to_the_nearest_named_clause(): + driver = fake_result() + assert said("华东门店表现最弱,贡献最大。", "A1", results={"A1": driver}) == [] + assert said("华南基本持平,华东贡献最大。", "A1", results={"A1": driver}) == [], "最近的分句点了名就不再往前找" + assert codes(said("新客贡献最大。", "A1", results={"A1": driver})) == [ac.MISMATCH] + + +@pytest.mark.parametrize("text, results, found", [ + ("下降主要由华东造成。", {}, [ac.UNCITED]), # 没有拆解可比:并进来源 + ("下降主要由华东造成。", {"A2": fake_result()}, [ac.UNCITED]), # 华东是目录里拆解的段:并进来源 + ("下降主要由促销结束造成。", {"A2": fake_result()}, [ac.UNCITED, ac.CAUSAL]), + ("下降主要由促销结束造成。", {}, [ac.UNCITED]), +]) +def test_without_a_decomposition_attached_a_cause_merges_into_the_source_only_when_it_could_be_one(text, results, + found): + assert codes(said(text, results=results)) == found + + # -------------------------------------------------------------------------- # 文档:哪里不扫、怎么挂、版本 # -------------------------------------------------------------------------- @@ -451,6 +507,24 @@ def test_compose_and_verify_bind_the_sentence_to_its_see_marker(): assert [v["code"] for v in verify_doc(tampered, cat)["violations"]] == [ac.UNCITED] +@pytest.mark.parametrize("raw, want", [ + ("销售额 [[m:gmv]],下降主要来自线上渠道。[[see:A1]]", [(ac.MISMATCH, "主要来自")]), + ("销售额 [[m:gmv]],下降主要来自新客流失。[[see:A1]]", [(ac.MISMATCH, "主要来自")]), + ("销售额 [[m:gmv]],下降主要由于促销结束。[[see:A1]]", [(ac.CAUSAL, "由于")]), + ("销售额 [[m:gmv]],下降主要由促销结束造成。[[see:A1]]", [(ac.MISMATCH, "主要由"), (ac.CAUSAL, "造成")]), + ("销售额 [[m:gmv]],下降主要来自华东。[[see:A1]]", []), + ("销售额 [[m:gmv]],下降主要来自 [[v:A1.r0.region]]。[[see:A1]]", []), + ("销售额 [[m:gmv]],下降主要来自以下地区:[[a:A1]]。", []), + ("[[a:A1]],下降主要来自这一地区。", [(ac.MISMATCH, "主要来自")]), +]) +def test_strict_documents_close_the_source_and_cause_loopholes(raw, want): + """复核 R4 的几个口子(strict 下挂一份按地区拆解、判「主要来自华东」的 A1):经组装和复核都核出来。""" + cat = catalog(A1=fake_result()) + doc = compose_doc(raw, cat, analysis_claims="strict") + assert [(v["code"], v["text"]) for v in found(doc)] == want + assert [(v["code"], v["text"]) for v in found(verify_doc(doc, cat))] == want + + def test_inputs_and_quotes_in_the_same_sentence_support_a_cause(): doc = compose_doc("由于本周有 [[i:promo]] 活动,销售额 [[m:gmv]]。[[see:m:gmv]]", catalog(), analysis_claims="check") assert found(doc) == [] diff --git a/backend/tests/test_analysis_claims_lexicon.py b/backend/tests/test_analysis_claims_lexicon.py new file mode 100644 index 00000000..3b580822 --- /dev/null +++ b/backend/tests/test_analysis_claims_lexicon.py @@ -0,0 +1,137 @@ +"""说法表的样本表(engine/analysis_claims,细案 01 §9.1):常见的周报写法逐句过 scan,每句期望认出的类(按出现的先后, +否定翻过之后的)或「不核」(空)。以后改说法表都过这张表:误报(正常的句子被打回)让报告多重写一次、strict 下降档, +漏报只是少核一处,宁可漏报不误报。 + +前半是第 1 波复核时的 70 句(复核第 4 节),后半是这次调整顺带看清楚的写法。和复核标记不一样的只有一句:「退款主要集中在 +生鲜品类」复核标的是判断,可它说的是退款的构成、没说变化,按「来源、集中只在说了变化时才核」不核。 +""" +from __future__ import annotations + +import pytest + +from app.engine import analysis_claims as ac + +#: 不核 +NO: tuple[str, ...] = () + +SAMPLES: list[tuple[str, tuple[str, ...]]] = [ + # ---- 陈述数字和变化:不核 ---- + ("本周销售额 12.3 万元,环比下降 5.2%。", NO), + ("整体平稳,各品类变化不大。", NO), + ("退款率略有下降。", NO), + ("订单数明显回升,客单价基本持平。", NO), # 「明显」只是程度,不收「明显 + 涨跌」 + ("环比基本持平。", NO), + ("本周数据只到 10 月 16 日,周数据不完整。", NO), + ("客单价相当于上周的 1.1 倍。", NO), + ("订单量与上周相当。", NO), # 比上期:说的是持平,不是两组差异 + # ---- 判断:核 ---- + ("销售额同比增长 8.1%,主要是因为国庆假期客流增加。", ("causal",)), + ("受节假日影响,线下门店客流明显回升。", ("causal",)), + ("华东销售额大幅增长 32%。", ("anomaly",)), + ("线上渠道拉动整体增长。", ("source",)), + ("华东下滑拖累了整体表现。", ("source",)), + ("各地区普遍上涨。", ("dispersed",)), + ("已连续三周下降。", ("trend",)), + ("西南地区退款率显著高于其他地区。", ("differ",)), + ("两个渠道的转化率相当。", ("no_diff",)), + ("促销效果显著,带动订单量增长。", ("source",)), + ("由于华东仓库搬迁,发货延迟导致退款增加。", ("causal", "causal")), + ("线上销售额持续增长,已连续 5 周上升。", ("trend", "trend")), + ("退款金额骤增,需重点关注。", ("anomaly",)), # 「需」在后一个分句,不管前面的判断 + ("新客贡献最大。", ("source",)), + ("这主要是由于华东仓库搬迁。", ("causal",)), + ("整体来看,各渠道均有所下降。", ("dispersed",)), + ("销量下降主要由促销结束造成。", ("source", "causal")), + ("下降主要来自客流减少。", ("source",)), + ("退款主要集中在生鲜品类。", NO), # 复核标的是判断;说的是构成、没说变化,不核 + # ---- 业务上的「异常」、数据质量:不核 ---- + ("本周异常订单 35 单,已全部处理。", NO), + ("部分门店数据异常,已提交核查。", NO), + ("部分订单异常,已退款。", NO), + ("物流异常的订单已全部退款。", NO), + ("支付异常的订单已全部退款。", NO), + ("门店营业异常 2 家。", NO), + ("整体运行平稳,未见异常。", NO), # 主语不是指标、波动 + ("系统运行正常,无异常。", NO), + # ---- 说的是构成,不是变化从哪来:不核 ---- + ("本周订单主要来自线上渠道,占 65%。", NO), + ("销售额集中在周末两天。", NO), + ("华东门店集中在上海、杭州。", NO), + ("客户分散在各个城市。", NO), + ("线上渠道占主导。", NO), + # ---- 建议、计划、预测:不核 ---- + ("下一步将全面提升门店服务水平。", NO), + ("建议加大投放,拉动新客增长。", NO), # 「建议」管到后面的分句 + ("通过会员活动带动复购。", NO), # 带动的不是变化 + ("下周将持续提升转化率。", NO), + ("建议持续降低退款率。", NO), + ("计划逐步提高线上占比。", NO), + ("下一步将大幅提升配送效率。", NO), + ("下周重点主要是提升转化率。", NO), + ("避免缺货导致客诉。", NO), + ("预计下周将继续保持增长态势。", NO), + # ---- 别的误报:不核 ---- + ("订单来源于线上渠道。", NO), # 「来源于」不是「源于」 + ("数据来源于业务系统,金额含税。", NO), + ("本周数据源表结构变化,部分字段暂缺。", NO), # 表结构不是结构变化 + # ---- 漏报,补上:核 ---- + ("华东是本周下降的主要原因。", ("causal",)), # 原因点名的是拆解的段时按来源核 + ("近七成的降幅来自华东。", ("source",)), + ("超过一半的下降来自华东。", ("source",)), + ("增长主要靠线上。", ("source",)), + ("降幅主要在华东。", ("source",)), + ("下降主要体现在华东。", ("source",)), + ("增长以线上为主。", ("source",)), + ("销售额创年内新高。", ("record",)), + ("销售额创近一年新高。", ("record",)), + ("整体趋势向好。", ("trend",)), + ("本周销售额波动较大。", ("anomaly",)), + ("订单量三连降。", ("trend",)), + ("退款率显著下降。", ("anomaly",)), + ("销售额远高于往常。", ("anomaly",)), + ("本周销售额出现异动。", ("anomaly",)), + ("华东和华南一涨一跌。", ("offset",)), + # ---- 这次调整顺带看清楚的写法 ---- + ("订单大幅减少。", ("anomaly",)), # 「订单」只在「订单异常」里是业务状态 + ("不少门店大幅下滑。", ("anomaly",)), + ("订单异常下降。", ("anomaly",)), # 「异常」后面跟着涨跌:说的是指标 + ("华东线上订单出现异常的下降。", ("anomaly",)), + ("异常的门店已全部整改。", NO), + ("两个渠道的转化率与上周相当。", NO), + ("华东和华南的退款率水平相当。", ("no_diff",)), + ("销售额并未出现明显异常。", ("normal",)), + ("本周没有出现异常。", NO), + ("退款率并未显著下降。", ("normal",)), + ("下降主要来自华东,建议加大华东投放。", ("source",)), # 「建议」在后一个分句 + ("销售额\x00\x00,环比\x00\x00,主要来自华东。", ("source",)), # 引用渲染的数涂成 \x00,「环比」说的是变化 + ("订单主要来自线上渠道,占比较上周提升 5 个百分点。", NO), # 变化在后一个分句:前面说的是构成 + ("新增客户主要来自线上渠道。", NO), + ("增量主要来自线上。", ("source",)), + ("下降主要源于华东。", ("source",)), + ("订单以线上为主。", NO), + ("线上渠道表现突出,贡献最大。", ("source",)), + ("下降的主要原因是华东门店客流减少。", ("causal",)), + ("受促销结束影响,华东销售额下降。", ("causal",)), + ("近 8 周销售额持续下降,已连续三周下降。", ("trend", "trend")), + ("线上销售额十二连涨。", ("trend",)), + ("整体走势向下。", ("trend",)), + ("销售额创下了近一年来新高。", ("record",)), + ("创新能力最高的门店是华东店。", NO), + ("预计下周销售额将创新高。", NO), +] + + +@pytest.mark.parametrize("text, expected", SAMPLES, ids=[t for t, _ in SAMPLES]) +def test_the_sample_table(text, expected): + found = ac.scan(text) + assert tuple(h.claim for h in found) == expected, [(h.claim, h.word) for h in found] + + +@pytest.mark.parametrize("text, expected", SAMPLES, ids=[t for t, _ in SAMPLES]) +def test_a_sentence_is_reported_without_conclusions_exactly_when_it_carries_a_judgement(text, expected): + """没有分析结论可挂时:认出判断的句子至少报一处(没挂、原因没依据),不核的一处都不报。""" + assert bool(ac.check_sentence(ac.Sentence(text=text), {})) == bool(expected) + + +def test_the_sample_table_is_not_shorter_than_the_review(): + assert len(SAMPLES) >= 70 and len({t for t, _ in SAMPLES}) == len(SAMPLES)