说法核对按复核调整(说法表 v1,还没有线上文档,不升版本)。来源和因果的口子:「主要由」不再吃掉「由于」(主要由(?!于),「主要源于」归来源类);原因按因果词的那一边认(「由于、因为、原因是、源于、得益于」后面,「导致、造成、引起、所致、是…的主要原因」前面、「由华东造成」在「由」和「造成」之间,「受…影响」中间),挂了拆解、原因点名的是它的段才按来源核,否则按因果核——「华东下降主要由于促销结束」「下降主要由促销结束造成」不再通过;没挂拆解的,原因不是目录里拆解的段时另报,认不出时照旧并进同一分句的来源判断;原因只是指代(「以上是下降的主要原因」)不核。来源类判断要点名拆解里的段:「主要来自」「集中在」「以…为主」看判断词后面,「主导」「贡献最大」看前面(同一分句没点名的往前找最近点了名的分句),拖累拉动带动照旧看整个分句;挂了拆解却没点名任何一段(「下降主要来自线上渠道」挂按地区的拆解、「主要来自新客流失」)判对不上,同一分句引用了判定语、比率拆解说「结构变化」「自身变化」的不用点名。误报去掉:来源、集中、分散、主导、拉动带动要这句话到这个分句为止说了变化才核(构成不核);建议、计划、预测、假设的分句不核(「建议」「下周」「避免」管到后面的分句);「异常」前面是订单、物流、支付、门店、营业、库存、设备、账号的是业务状态(后面跟着涨跌的照核),「异常的 + 名词」不核;「无异常」「未见异常」主语要是指标或波动;「来源于」不是「源于」;「表结构变化」不是结构变化;「相当」只认比几组、几样的,比上期的不核。漏报补上:「是…的主要原因」「主要原因是」、「近七成 / 超过一半 / 大部分的降幅来自」、「主要靠 / 在 / 体现在」、「以…为主」、「创」和「新高」之间 0–4 个字、「显著 + 涨跌」、「趋势向好」「波动较大」「三连降」「远高于往常」「异动」「一涨一跌」。写作规则补一句「写来源要点名是哪一段」,异常类的说法带上「显著上升或下降」。样本表 tests/test_analysis_claims_lexicon.py:复核的 70 句加这次看清楚的 26 句,每句期望的类或不核,以后改说法表都过这张表;和复核标记不一样的只有「退款主要集中在生鲜品类」(说的是构成,不核);绑定测试补上复核列的几个口子

This commit is contained in:
ThearchyHelios
2026-10-21 15:56:03 +08:00
parent 2e57c401e6
commit 3fd5d1309c
3 changed files with 467 additions and 81 deletions
+248 -73
View File
@@ -5,20 +5,35 @@
1. **说法表**(LEXICONS,一处定义,带版本 LEXICON_VERSION):判断词分成来源、分散、抵消、结构、异常、新高新低、正常、
趋势、无趋势、差异、无差异、因果几类,每类要挂一种分析(op),判定要对得上(细案 01 §9.1)。只收强判断词,宁可漏报
不误报:「持续」要跟着涨跌(「持续关注」不算),「异常」后面接着订单、数据这类名词的是业务分类、前面是数据、系统的是
数据质量,都不算;「相当」只认句读前的(「相当于」「相当高」不算)
不误报(误报让正常的报告多重写一次、strict 下降档)。这几种写法不核:
- 说的是构成、不是变化从哪来:来源、集中、分散、主导、拉动带动要这句话到这个分句为止说了变化(涨跌、变化、降幅、持平、
环比……)才核——「下降主要来自华东」核,「本周订单主要来自线上渠道」「销售额集中在周末两天」「客户分散在各个城市」
「通过会员活动带动复购」不核;「拖累」「贡献最大」本身就在说变化,照核
- 建议、计划、预测、假设:分句里有「建议、计划、预计、争取、需要、应当、将要……」的不核(「建议」「下周」「避免」这些
管到句子后面的分句:「建议加大投放,拉动新客增长」)
- 业务上的「异常」:前面是订单、物流、支付、门店、营业、库存、设备、账号或数据、系统(「部分订单异常」「系统无异常」),
后面是名词(「异常订单」「物流异常的订单」);「无异常」「未见异常」主语得是指标或波动(「销售额未见异常」),
「整体运行平稳,未见异常」不核
- 别的:「持续」要跟着涨跌(「持续关注」不算);「来源于」不是「源于」;「表结构变化」不是结构变化;「相当」只认比的是
几组、几样的(「两个渠道的转化率相当」「规模相当」),比上期的(「订单量与上周相当」)、「相当于」「相当高」不算
2. **否定**:判断词前 4 个字以内(跳过「出现」「明显」这类填充词)有「不、没有、没、并非、并不、未、无」的翻到反面类:
「并未出现明显异常」是正常,「没有明显的上升趋势」是无趋势,「并非主要来自华东」要拆解、华东不在主要来源里;
「销售额并未出现明显异常」是正常,「没有明显的上升趋势」是无趋势,「并非主要来自华东」要拆解、华东不在主要来源里;
「不但」「不少」「无论」「未来」这类不是否定
3. **怎么挂**:一句话的分析依据 = 句中的 [[a:]]、[[v:A…]]、[[table:A…]] 和句末 [[see:A…]](组装、复核时按重新解析的
引用算,见 evidence.verify_doc)。类要的 op 必须在依据里出现,几个里任一个对得上就算对;挂了算不了的结论算对不上
4. **点名的段**:判断词所在分句里出现的结论结果表的维度值(全半角归一,两个字以上、不是纯数字)。来源类要判定说了主要
来源(driver、concentrated,比率拆解的 mix_driven、rate_driven),点名的段都在 subjects 里;拖累要那一段变化为负,
拉动、带动为正(不在 subjects 里、但那一段的变化占总变化过半的也算拖累)
5. **来源和因果的分界**:句子挂了拆解、因果词所在分句点名的是这份结论的段或因子(「下降主要由华东造成」)→ 按来源核,
这是记账意义上的「来自」;点名的不是(「由于促销结束导致下降」)→ 按因果核:同一句要有知识库原话([[q:]])或运行
输入([[i:]])作依据,或者写成推测(可能、或许、推测、待核实、不排除、疑似)。分句里已有来源一类判断词的,因果词
并进那一处核。原因说的是数据本身(「由于数据只到 10 月 16 日」「样本少」)的不算
4. **点名的段**:结论结果表里的维度值、乘积拆解的因子(全半角归一,两个字以上、不是纯数字)。来源类判断看判断词说的那一边:
「主要来自」「集中在」「以…为主」看后面、判断词里(到分句末尾),「主导」「贡献最大」看前面(同一分句没点名的往前找
最近点了名的分句)。判定要说了主要来源(driver、concentrated,比率拆解的 mix_driven、rate_driven),点名的段都在
subjects 里,而且得点名:「下降主要来自线上渠道」「下降主要来自新客流失」挂了按地区的拆解,说的来源不是拆解里的段,
对不上(同一分句引用了判定语 [[a:A1]] 的、比率拆解说「结构变化」「自身变化」的不用点名)。拖累要那一段变化为负,
拉动、带动为正(看整个分句,没点名的按 subjects;不在 subjects 里、但那一段的变化占总变化过半的也算拖累)
5. **来源和因果的分界**:原因在因果词的哪一边:「由于、因为、原因是、源于、得益于」后面,「导致、造成、引起、所致、
是…的主要原因」前面(「由华东造成」是「由」和「造成」之间),「受…影响」中间。句子挂了拆解、原因点名的是这份结论的
段或因子(「下降主要由华东造成」「华东是下降的主要原因」)→ 按来源核,这是记账意义上的「来自」;点名的不是(「由于
促销结束导致下降」「下降主要由促销结束造成」)→ 按因果核:同一句要有知识库原话([[q:]])或运行输入([[i:]])作
依据,或者写成推测(可能、或许、推测、待核实、不排除、疑似)。句子没挂拆解、同一分句里有来源判断的,原因不是拆解
的段时另报(目录里有拆解可比的时候),认不出时并进来源那一处(它报没挂拆解)。原因说的是数据本身(「由于数据只到
10 月 16 日」「样本少」)、只是指代(「以上是下降的主要原因」,列出原因的那几句各自核)的不算
6. **不扫的地方**:知识库原话([[q:]] 片段)、系统渲染的判定语([[a:]] 片段)、别的引用渲染出来的字、标题、代码块、
表格(表头和正文的格都不扫:一格是一个值不是一句话,状态列的「异常」、说明列的「主要来自线上」不是判断;裁判的预筛
judge.claim_priority 也不送表格的格);分析范围是文档的结构化字段(analysis_scope),本来就不在正文里
@@ -38,7 +53,7 @@ from __future__ import annotations
import re
import unicodedata
from collections.abc import Iterable, Mapping
from dataclasses import dataclass, field
from dataclasses import dataclass, field, replace
from decimal import Decimal, InvalidOperation
from typing import Any
@@ -66,9 +81,19 @@ _DOWN = "下降|下滑|减少|降低|下跌|走低|回落|走弱|萎缩|减弱|
_DIR = f"(?:{_UP}|{_DOWN})"
_UP_RE = re.compile(_UP)
_DOWN_RE = re.compile(_DOWN)
#: 说的是变化:来源、集中、分散、主导、拉动带动要这句话到这个分句为止有它才核(「下降主要来自华东」说的是变化从哪来,
#: 「本周订单主要来自线上渠道」说的是构成)。「环比」「同比」本身不是涨跌,可跟着的是变化(「环比 −5%,主要来自华东」)
_CHANGE = f"{_UP}|{_DOWN}|变化|变动|涨跌|升降|增减|涨幅|降幅|增幅|跌幅|减幅|增量|减量|增速|持平|波动|环比|同比"
#: 判断词后面紧跟着的涨跌、波动(「订单异常下降」「出现异常的增长」说的是指标,不是订单状态)
_MOVES = re.compile(f"(?:的|地)?(?:{_DIR}|波动|变化|变动)")
#: 分句的边界(顿号、冒号不算:「集中在华东、华北」「主要来自:华东」还是一句里的事)
_STOPS = ",,;;。!?!?\n"
_NOT_STOP = f"[^{_STOPS}]"
#: 「相当」比的是几组、几样(「两个渠道的转化率相当」「规模相当」)才是差异判断
_PEERS = re.compile(r"水平|规模|表现|幅度|程度|体量|量级|两(?:个|组|类|种|者|地|边|家|区|店)|二者|双方|几个|几组|各(?:个|组|类)")
#: 「相当」比的是上一期、往常:说的是持平,不是两组差异(「订单量与上周相当」)
_PERIODS = re.compile(r"上(?:一)?(?:个)?(?:周|月|季度|季|年|期)|前(?:一)?(?:周|月|天|日|期)|去年|同期|往年|以往|往常|昨天|昨日"
r"|此前|之前")
@dataclass(frozen=True)
@@ -84,8 +109,20 @@ class Claim:
flip: str | None = None
mode: str | None = None
negative: bool = False
#: 「连续…上升」:另要末尾连续同向至少 3 期
#: 「连续…上升」「三连降」:另要末尾连续同向至少 3 期
run: bool = False
#: 这句话到这个分句为止要说了变化(Lexicon.change)才核:来源、集中、分散、主导、拉动带动
gated: bool = False
#: 判断词前面(同一分句里)要有这些字才核(「两个渠道的转化率相当」)
needs: re.Pattern[str] | None = None
#: 分句里有这些字就不核(「订单量与上周相当」)
bars: re.Pattern[str] | None = None
#: 主语要是指标或波动(Lexicon.subject)才核:「销售额未见异常」核,「整体运行平稳,未见异常」不核
subject: bool = False
#: 点名的段(来源类)、原因(因果类)在判断词的哪一边:after 后面到分句末尾(主要来自华东、由于促销结束)、before 前面
#: (华东主导、华东是…的主要原因、促销结束导致)、inside 判断词里(以线上为主、受促销影响)、pull 拖累拉动带动(看整个
#: 分句,见 _check);None 整个分句
side: str | None = None
@dataclass(frozen=True)
@@ -102,10 +139,19 @@ class Lexicon:
guess: re.Pattern[str]
#: 因果说的是数据本身(数据只到哪天、口径、样本):不当原因判断核
method: re.Pattern[str]
#: 「异常」「正常」前面是这些的,说的是数据质量(数据异常、系统无异常),不是指标的波动
#: 「异常」「正常」这一类的判断词前面是这些的,说的是数据质量(数据异常、系统无异常),不是指标的波动
quality: re.Pattern[str]
#: 拖累、拉动、带动:点名的段不在 subjects 里时,按那一段变化的正负和占比核
pulls: frozenset[str] = field(default_factory=frozenset)
#: 「异常」「异动」前面是这些的,说的是业务上的状态(部分订单异常、门店营业异常);后面跟着涨跌的说的是指标(订单
#: 异常下降、出现异常的增长),「订单大幅减少」也照核
status: re.Pattern[str]
#: 说的是变化(Claim.gated 的类要有它)
change: re.Pattern[str]
#: 建议、计划、预测、假设:分句里有它的判断词不核(「下周将持续提升转化率」不是对数据下的判断)
plan: re.Pattern[str]
#: 同上,管到句子后面的分句(「建议加大投放,拉动新客增长」「避免缺货导致客诉」)
plan_ahead: re.Pattern[str]
#: 指标或波动(Claim.subject 的类要主语是它)
subject: re.Pattern[str]
def claim(self, key: str) -> Claim:
return next(c for c in self.claims if c.key == key)
@@ -115,50 +161,69 @@ _V1 = Lexicon(
version=1,
claims=(
Claim("source", "来源", "decompose", re.compile(
r"主要(?:来自|源自|出自|由|集中(?:在|于))"
rf"|主要是(?!因为|由于|受|指|看|说|想|希望){_NOT_STOP}{{0,12}}?(?:{_DIR}|贡献|拖累|带动|拉动|驱动)"
r"|(?:绝)?大(?:部分|多数|多)(?:来自|源自|出自|由|集中(?:在|于))"
r"|集中(?:在|于)"
r"|主导(?!地位|产品|品类|品牌|产业)"
r"|拖累|拉动|带动"
r"|贡献(?:最大|最多|最高)|最大(?:的)?贡献|贡献了(?:绝)?大部分"), flip="source_not"),
r"主要(?:来自|源自|出自|源于|由(?!于)|集中(?:在|于)|依靠|依赖|靠|体现在|表现在|发生在|在于|在)"
r"|(?:绝)?大(?:部分|多数|多)(?:来自|源自|出自|由(?!于)|集中(?:在|于))"
r"|(?:将近|接近|超过|近|超|逾|过|约|多达|高达)?(?:[一二三四五六七八九两几]成|一半|半数|过半|大半|大部分|大多数)"
rf"{_NOT_STOP}{{0,8}}?(?:来自|源自|出自|集中(?:在|于))"
r"|集中(?:在|于)"), flip="source_not", gated=True, side="after"),
Claim("source", "来源", "decompose", re.compile(
rf"主要是(?!因为|由于|受|指|看|说|想|希望){_NOT_STOP}{{0,12}}?(?:{_DIR}|贡献|拖累|带动|拉动|驱动)"
rf"|以{_NOT_STOP}{{1,8}}?为主(?![题线要体流打])"), flip="source_not", gated=True, side="inside"),
Claim("source", "来源", "decompose", re.compile(r"主导(?!地位|产品|品类|品牌|产业)|贡献了(?:绝)?大部分"),
flip="source_not", gated=True, side="before"),
Claim("source", "来源", "decompose", re.compile(r"贡献(?:最大|最多|最高)|最大(?:的)?贡献"),
flip="source_not", side="before"),
Claim("source", "来源", "decompose", re.compile(r"拉动|带动"), flip="source_not", gated=True, side="pull"),
Claim("source", "来源", "decompose", re.compile(r"拖累"), flip="source_not", side="pull"),
Claim("source_not", "来源(否定)", "decompose", re.compile(r"(?!)"), negative=True),
Claim("dispersed", "分散", "decompose", re.compile(r"分散(?!注意|精力|风险|投资|采购)"), flip="source",
gated=True),
Claim("dispersed", "分散", "decompose", re.compile(
r"分散(?!注意|精力|风险|投资|采购)"
rf"|普遍(?:有所|出现|呈现)?{_DIR}"
rf"普遍(?:有所|出现|呈现)?{_DIR}"
rf"|全面{_DIR}"
rf"|各(?:个)?{_NOT_STOP}{{1,6}}?(?:都|均)(?:有所|出现|在)?{_DIR}"), flip="source"),
Claim("offset", "抵消", "decompose", re.compile(r"抵消|抵冲|此消彼长|一增一减|一升一降|有增有减")),
Claim("offset", "抵消", "decompose", re.compile(
r"抵消|抵冲|此消彼长|此增彼减|此涨彼跌|涨跌互现|有增有减|有涨有跌|有升有降"
r"|一增一减|一减一增|一升一降|一降一升|一涨一跌|一跌一涨")),
Claim("mix", "结构", "decompose", re.compile(
r"结构性|结构(?:变化|变动|效应)|占比(?:的)?变化(?:带来|造成|导致|引起)"), mode="ratio"),
r"结构性|(?<![表据段])结构(?:变化|变动|效应)|占比(?:的)?变化(?:带来|造成|导致|引起)"), mode="ratio"),
Claim("anomaly", "异常", "baseline", re.compile(
r"异常(?!订单|单|值|数据|记录|交易|码|状态|类|退款|商品|门店|账户|用户|日志|处理|检测)"
r"|反常|罕见"
r"异常(?!订单|单|值|数据|记录|交易|码|状态|类|退款|商品|门店|账户|账号|用户|日志|处理|检测"
rf"|的(?!{_DIR}|波动|变化|变动|高|低))"
r"|异动|反常|罕见"
r"|(?:明显|显著|大幅|严重)偏离|偏离(?:了)?(?:正常|常规|往常|以往|历史|过往)"
rf"|(?:明显|显著)?(?:超出|超过|跳出|突破|高于|低于)(?:了)?{_NOT_STOP}{{0,14}}?(?:正常|常规)(?:的)?(?:波动)?(?:范围|水平|区间)"
r"|超出(?:了)?(?:正常|常规)"
rf"|大幅(?:度)?(?:地)?(?:{_DIR}|波动|变化|变动)"
r"|(?:远远|远|明显|显著|大幅)(?:地)?(?:高于|低于|超过|超出)(?:了)?"
r"(?:往常|以往|平时|平常|往期|过往|历史(?:同期)?(?:水平|均值)?|平均水平)"
rf"|大幅(?:度)?(?:地)?(?:{_DIR}|波动|变化|变动)|显著(?:地)?{_DIR}"
r"|骤降|骤减|暴跌|暴降|锐减|激增|飙升|暴涨|猛增|骤增|陡增|陡降"
r"|剧烈(?:地)?(?:波动|变化|变动|震荡|起伏)|(?:波动|变化|变动)(?:十分|非常|较为|比较)?剧烈"),
r"|剧烈(?:地)?(?:波动|变化|变动|震荡|起伏)|(?:波动|变化|变动)(?:十分|非常|较为|比较)?剧烈"
r"|波动(?:幅度)?(?:较大|很大|偏大|加大|加剧)"),
flip="normal"),
Claim("record", "新高新低", "baseline", re.compile(
r"历史(?:新高|新低|最高|最低)|创(?:下)?(?:了)?(?:历史)?(?:新高(?!地)|新低)|前所未有")),
r"历史(?:新高|新低|最高|最低)"
rf"|创(?!新(?!高|低))(?:下|出|造)?(?:了)?{_NOT_STOP}{{0,4}}?(?:新高(?!地)|新低|最高|最低)"
r"|前所未有")),
Claim("normal", "正常", "baseline", re.compile(
r"(?:正常|常规)(?:的)?波动(?:范围)?(?:内|之内)?"
r"|(?:正常|常规)(?:的)?(?:范围|区间)(?:内|之内)?"
r"|(?:属于|处于|在)(?:正常|常规)(?:水平|区间|范围)"), flip="anomaly"),
Claim("normal", "正常", "baseline", re.compile(
r"(?:并不|并非|并没有|没有|未见|并无|不算|不属于|不是)(?:明显)?(?:的)?异常|无异常"), negative=True),
r"(?:并不|并非|并没有|没有|未见|并无|不算|不属于|不是)(?:明显)?(?:的)?异常|无异常"), negative=True,
subject=True),
Claim("trend", "趋势", "trend", re.compile(
rf"{_DIR}(?:的)?(?:趋势|态势|势头)"
rf"|(?:趋势|态势|势头)(?:性)?(?:地)?{_DIR}"
rf"|(?:呈|呈现|保持|维持|显示)(?:出)?{_DIR}?(?:的)?(?:趋势|态势)"
r"|(?:趋势|态势|走势|势头)(?:持续|继续|整体|总体)?(?:向好|向上|向下|好转|转好|走好|转差|走坏|恶化|转弱|转强)"
rf"|持续(?:地|性)?{_DIR}"
rf"|一路(?:{_DIR}|走高|走低|上扬)"
rf"|逐步{_DIR}|稳步{_DIR}"
r"|节节(?:攀升|升高|走高|上涨|上升|下滑|下降|败退|走低)"), flip="no_trend"),
Claim("trend", "趋势", "trend", re.compile(
rf"连续(?:[\x00\s0-90-9一二三四五六七八九十两几多数个周月天日季度年期]|都|在|有所|出现)*?{_DIR}"),
rf"连续(?:[\x00\s0-90-9一二三四五六七八九十两几多数个周月天日季度年期]|都|在|有所|出现)*?{_DIR}"
r"|(?:[0-90-9]+|[二三四五六七八九十两几多数]+|\x00+)连(?:降|跌|减|涨|升|增)"),
flip="no_trend", run=True),
Claim("no_trend", "无趋势", "trend", re.compile(
r"(?:没有|并没有|没|无|未见|并无|未呈现|未出现)(?:明显|显著)?(?:的)?"
@@ -173,16 +238,19 @@ _V1 = Lexicon(
Claim("no_diff", "无差异", "differ", re.compile(
r"差(?:异|别)(?:不大|很小|较小|不明显|并不明显|不显著|有限)"
r"|(?:没有|并没有|没|无|并无)(?:明显|显著)?(?:的)?(?:差异|差别|区别)"
r"|不相上下|旗鼓相当"
rf"|(?:基本|大致|大体)?相当(?=[{_STOPS}\s\x00]|$)"), negative=True),
r"|不相上下|旗鼓相当"), negative=True),
Claim("no_diff", "无差异", "differ", re.compile(rf"(?:基本|大致|大体)?相当(?=[{_STOPS}\s\x00]|$)"),
negative=True, needs=_PEERS, bars=_PERIODS),
Claim("causal", "因果", None, re.compile(
r"因为|由于|导致|造成|引起(?!关注|重视|注意|警惕|讨论|兴趣)|归因(?:于|为)|原因(?:主要)?(?:是|在于)"
r"|源于|所致|得益于"
rf"|受(?!到?影响)(?:到)?{_NOT_STOP}{{1,12}}?(?:的)?影响")),
r"因为|由于|归因(?:于|为)|(?:主要)?原因(?:主要)?(?:是|在于|为|:|:)|(?<!来)源于|得益于"), side="after"),
Claim("causal", "因果", None, re.compile(
rf"导致|造成|引起(?!关注|重视|注意|警惕|讨论|兴趣)|所致|是{_NOT_STOP}{{0,12}}?的主要原因"), side="before"),
Claim("causal", "因果", None, re.compile(rf"受(?!到?影响)(?:到)?{_NOT_STOP}{{1,12}}?(?:的)?影响"),
side="inside"),
),
intrinsic=(
(re.compile(r"拖累|骤降|骤减|暴跌|暴降|锐减|陡降|新低|最低|低于|小于|少于|更低|更少"), "down"),
(re.compile(r"拉动|带动|激增|飙升|暴涨|猛增|骤增|陡增|新高|最高|高于|大于|多于|更高|更多"), "up"),
(re.compile(r"拖累|骤降|骤减|暴跌|暴降|锐减|陡降|新低|最低|低于|小于|少于|更低|更少|连(?:降|跌|减)|向下"), "down"),
(re.compile(r"拉动|带动|激增|飙升|暴涨|猛增|骤增|陡增|新高|最高|高于|大于|多于|更高|更多|连(?:涨|升|增)|向上"), "up"),
),
negation=re.compile(r"不(?![但仅只光论少同断久管过如然错禁免妨要])|没有|没|并非|并不|未(?![来必])|无(?![论疑关需])"),
filler=re.compile(r"(?:出现|发现|看到|见到|存在|呈现|表现出|明显|显著|什么|任何|多大|太|很|特别|有|过|的|了|[\x00\s])$"),
@@ -190,7 +258,22 @@ _V1 = Lexicon(
r"|不排除|疑似|大概率"),
method=re.compile(r"数据|口径|统计|查询|目录|样本|取数|截断|截止|只到|不完整|未覆盖|篇幅|省略|证据"),
quality=re.compile(r"(?:数据|系统|接口|取数|口径|同步|查询|日志|字段|格式|编码)(?:出现|存在|有|无|没有|并无|未见)?$"),
pulls=frozenset({"拖累", "拉动", "带动"}),
status=re.compile(r"(?:订单|物流|支付|门店|营业|库存|设备|账号|账户|人事)(?:出现|存在|有|无|没有|并无|未见)?$"),
change=re.compile(_CHANGE),
plan=re.compile(
r"(?<![即])将(?=会|要|继续|持续|进一步|全面|大幅|逐步|稳步|保持|维持|迎来|出现|有望|达到|提升|提高|降低|下降|上升|增长"
r"|增加|减少|加大|加强|推进|推出|开展|启动|上线|恢复|回升|回落)"
r"|即将|需要|(?<![必所])需(?!求)|应当|应该"
r"|(?<![相对供反响适效感呼])应(?=继续|持续|进一步|加强|尽快|及时|重点|做好|关注|提升|提高|降低|减少|加大)"
r"|(?<![主重只首必纲概摘想需不])要(?=继续|持续|进一步|加强|尽快|及时|重点|做好|关注|保持|确保|提升|提高|降低|减少"
r"|加大)"
r"|目标(?=是|为|:|:)|如果|假如|一旦|若(?!干)"),
plan_ahead=re.compile(
r"建议|计划(?!完成|达成|内|外|数|值|量)|预计|争取|力争|打算|希望|下一步|下阶段|下一阶段|接下来|下周|下个?月|下季度"
r"|明年|避免|防止|以免|以防|防范|谨防"),
subject=re.compile(
rf"{_DIR}|波动|变化|变动|走势|涨跌|涨幅|降幅|增幅|跌幅|增速|幅度|水平|指标|销售额|销量|订单量|订单数|单量|客单价"
r"|转化率|退款率|退款额|退货率|毛利|利润|收入|营收|客流|流量|访客|GMV", re.I),
)
LEXICONS: dict[int, Lexicon] = {1: _V1}
@@ -198,8 +281,15 @@ LEXICONS: dict[int, Lexicon] = {1: _V1}
#: 能挂「主要来自」这类来源判断的拆解判定(判定语就是这么说的):一段或一个因子为主、集中在前几段,比率拆解里结构为主、
#: 各段自身为主
_SOURCE_VERDICTS = frozenset({"driver", "concentrated", "mix_driven", "rate_driven"})
#: 有这几类判断的分句里,因果词并进它们核(「下降主要由华东造成」:说的是记账意义上的来源)
#: 句子没挂拆解时,有这几类判断的分句里的因果词并进它们核(「下降主要由华东造成」:说的是记账意义上的来源,那一处报没挂
#: 拆解);挂了拆解的按原因点名的是不是拆解的段分开核(check_sentence)
_SOURCE_KEYS = frozenset({"source", "source_not", "dispersed", "offset", "mix"})
#: 来源类判断要点名是哪一段的那几种(拖累、拉动、带动另按方向核,翻过来的否定另有规矩)
_NAMING_SIDES = frozenset({"after", "inside", "before", "cause"})
#: 比率拆解的结构为主、各段自身为主:判定语说的是「主要来自结构变化」「主要来自各段自身的变化」,句子这么说也算点了名
_EFFECTS = {"mix_driven": re.compile(r"结构|占比"), "rate_driven": re.compile(r"自身")}
#: 判定语引用([[a:A1]],不含具名标量 [[a:A1.键]])的片段 ref
_PHRASE_REF = re.compile(r"^a:\s*([A-Za-z]+\d+)\s*$")
#: 拆解结果表里不是维度的列(params.by 对不上时按「不是度量列」认维度,跳过这些)
_MEASURE_COLUMNS = frozenset({
"base", "target", "delta", "pct", "share", "flag", "n_base", "n_target", "d_base", "d_target", "w_base",
@@ -221,7 +311,8 @@ def lexicon(version: int | None = None) -> Lexicon:
@dataclass(frozen=True)
class Hit:
"""句子里的一处判断词:类(否定翻过之后的)、在句子里的起止、原文、方向(up / down / None)。"""
"""句子里的一处判断词:类(否定翻过之后的)、在句子里的起止、原文、方向(up / down / None)。side 是点名的段、原因在
判断词的哪一边(Claim.side,否定翻过来的为 None)。"""
claim: str
start: int
@@ -230,6 +321,7 @@ class Hit:
direction: str | None
negated: bool = False
run: bool = False
side: str | None = None
def _clause(text: str, start: int, end: int) -> tuple[int, int]:
@@ -261,9 +353,28 @@ def _direction(lex: Lexicon, word: str, after: str, clause: str) -> str | None:
return None
def _counts(lex: Lexicon, claim: Claim, text: str, start: int, end: int, left: int, right: int) -> bool:
"""这处判断词核不核:说的是数据质量、业务状态的「异常」,没说变化的来源、集中、分散(构成),建议、计划、预测、假设,
不合条件的「相当」,都不核。"""
before = text[left:start]
if claim.key in ("anomaly", "normal"):
head = re.sub(r"(?:不|没有|没|并不|并非|未|无)$", "", before.rstrip("\x00 "))
if lex.quality.search(head) or ("异" in text[start:end] and lex.status.search(head)
and not _MOVES.match(text, end)):
return False
if claim.gated and not lex.change.search(text[:right]):
return False
if lex.plan.search(text[left:right]) or lex.plan_ahead.search(text[:right]):
return False
if claim.needs is not None and not claim.needs.search(before):
return False
return claim.bars is None or not claim.bars.search(text[left:right])
def scan(text: str, *, version: int | None = None) -> list[Hit]:
"""一句话里的判断词(text 是写作者自己写的字,别的片段已经涂成 \\x00)。同一处有几种读法时取最靠前、最长的:
「超出正常范围」是异常不是正常,「没有明显的上升或下降趋势」是无趋势不是趋势。"""
「超出正常范围」是异常不是正常,「没有明显的上升或下降趋势」是无趋势不是趋势。不核的写法(_counts)连同和它重叠的
读法一起跳过。"""
lex = lexicon(version)
found: list[tuple[int, int, int, Claim]] = []
for order, claim in enumerate(lex.claims):
@@ -276,24 +387,23 @@ def scan(text: str, *, version: int | None = None) -> list[Hit]:
end = start - minus
if start < taken:
continue
taken = end
left, right = _clause(text, start, end)
before = text[left:start]
if claim.key in ("anomaly", "normal") and lex.quality.search(
re.sub(r"(?:不|没有|没|并不|并非|未|无)$", "", before.rstrip("\x00 "))):
taken = end
if not _counts(lex, claim, text, start, end, left, right):
continue
before = text[left:start]
key, negated = claim.key, False
if not claim.negative and _negated(lex, before):
negated = True
if claim.flip is None:
taken = end
continue
key = claim.flip
word = text[start:end]
if key == "normal" and (claim.subject or (negated and "异" in word)) and not lex.subject.search(text[:right]):
continue # 「未见异常」「没有出现异动」:主语不是指标、波动的(运行平稳、系统正常)不核
direction = _direction(lex, word, text[end:right], text[left:right])
hits.append(Hit(claim=key, start=start, end=end, word=word, direction=direction, negated=negated,
run=claim.run and not negated))
taken = end
run=claim.run and not negated, side=None if negated else claim.side))
return hits
@@ -309,7 +419,8 @@ class Sentence:
text、names、shown 等长,位置一一对应:text 只留写作者自己写的字(判断词在这里找),names 另留引用渲染出来的值(点名
的段在这里认),两者都把判定语、知识库原话涂成 \\x00;shown 是给人看的整句(排版符号涂成 \\x00,显示时去掉)。没给
names、shown 的按 text。analyses 是这句的分析依据(A 编号),quoted / inputs:同一句里有知识库原话、运行输入。base 是
text[0] 在正文里的位置(违规带 span 要用),pieces 是各片段在 text 里的起止和编号(违规带所在片段)。"""
text[0] 在正文里的位置(违规带 span 要用),pieces 是各片段在 text 里的起止和编号(违规带所在片段),phrases 是判定语
引用 [[a:A1]] 在 text 里的起止和编号(同一分句引用了判定语的来源判断不用再点名)。"""
text: str
names: str = ""
@@ -320,6 +431,7 @@ class Sentence:
base: int | None = None
unit: str | None = None
pieces: list[tuple[int, int, str | None]] = field(default_factory=list)
phrases: list[tuple[int, int, str]] = field(default_factory=list)
def __post_init__(self) -> None:
if len(self.names) != len(self.text):
@@ -497,8 +609,10 @@ def _verdict_miss(result: Mapping[str, Any]) -> _Miss:
return _Miss(said, said)
def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Miss | None:
"""这处判断词能不能挂这份结论:对得上返回 None,对不上返回原因。names 是判断词所在分句(点名用的样子)。"""
def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str, *, spans: tuple[str, ...] = (),
phrased: bool = False) -> _Miss | None:
"""这处判断词能不能挂这份结论:对得上返回 None,对不上返回原因。names 是判断词所在分句(点名用的样子);spans 是来源类
判断说的那一边(_object,近的在前,取第一个点了名的),没给按分句;phrased:同一分句引用了这份结论的判定语。"""
if result.get("status") != "ok":
reason = str(result.get("reason") or "算不了")
return _Miss(f"没有做成({reason})", f"这份结论没有做成({reason})")
@@ -507,7 +621,7 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi
key = hit.claim
if key in ("source", "source_not"):
subjects = _subjects(result)
named = _named(result, names)
named = next((found for span in spans or (names,) if (found := _named(result, span))), [])
# 判定语说「主要来自」的几种:一段(一个因子)为主、集中在前几段;比率拆解的结构为主、各段自身为主
top = code in _SOURCE_VERDICTS
if key == "source_not":
@@ -521,16 +635,22 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi
return _verdict_miss(result)
wanted = {_named_value(s) for s in subjects}
stray = [n for n in named if _named_value(n) not in wanted]
pull = hit.word in lex.pulls
pull = hit.side == "pull"
if stray and pull:
# 拖累、拉动、带动:点名的段不在主要来源里,变化方向对、占总变化过半的也算(整体上涨、华东下跌拖累了涨幅)
main = _decimal((result.get("settings") or {}).get("main_share")) or Decimal("0.5")
stray = [n for n in stray if not ((share := _segment_change(result, n)[1]) is not None
and abs(share) >= main)]
subject = "、".join(subjects)
if stray:
subject = "、".join(subjects)
return _Miss(f"判的主要来源是{subject},不是{'、'.join(stray)}",
f"判定的主要来源是{subject},不是{'、'.join(stray)}")
if not named and hit.side in _NAMING_SIDES and not phrased \
and not ((effect := _EFFECTS.get(str(code))) and effect.search((spans or (names,))[0])):
# 说的来源不是拆解里的段(「主要来自线上渠道」挂了按地区的拆解、「主要来自新客流失」),当没点名
part = "因子" if result.get("mode") == "factor" else "段"
return _Miss(f"判的主要来源是{subject},这句说的来源不是这份拆解里的{part}",
f"判定的主要来源是{subject},句子里说的来源不是这份拆解里的{part}")
if pull and hit.direction:
for name in named or subjects:
change, _ = _segment_change(result, name)
@@ -592,7 +712,7 @@ def _check(lex: Lexicon, hit: Hit, result: Mapping[str, Any], names: str) -> _Mi
if len(subjects) == 2 and hit.direction and direction in ("up", "down"):
# 判定语的写法是「A 的…高于 B」:A 是 subjects 的第一个。句子里两组都点名了才核方向,后点名的先写就反过来
flat = _same_length_norm(names)
spots = [flat.find(_named_value(s) or "￿") for s in subjects]
spots = [flat.find(_named_value(s) or "\uffff") for s in subjects]
if all(at >= 0 for at in spots):
expected = direction if spots[0] < spots[1] else ("down" if direction == "up" else "up")
if expected != hit.direction:
@@ -619,9 +739,9 @@ def _direction_miss(hit: Hit, direction: Any) -> _Miss | None:
_FALLBACK = {
"decompose": "只写各段各自的变化,不下「主要」「集中」「拖累」「分散」这类判断",
"mix": "只写比率和各段的变化,不说结构变化",
"baseline": "只写本期的数和变化,不说「异常」「大幅」「激增」「历史新高」「正常波动」这类判断",
"baseline": "只写本期的数和变化,不说「异常」「大幅」「显著下降」「激增」「历史新高」「正常波动」这类判断",
"trend": "只写各期的数,不说「持续」「趋势」「连续」这类判断",
"differ": "只写各组各自的数,不说「显著」「明显高于」「差异不大」这类判断",
"differ": "只写各组各自的数,不说「显著高于」「明显高于」「差异不大」这类判断",
}
@@ -660,6 +780,49 @@ def _causal(snippet: str) -> _Reason:
f"「{snippet}」没有依据:数据只能说明变化来自哪里;要写原因,引用知识库原话,或写成「可能与…有关,待核实」")
def _object(sentence: Sentence, hit: Hit, left: int, right: int) -> tuple[str, ...]:
"""来源类判断说的那一边(点名用的样子 names),近的在前:「主要来自」「集中在」后面到分句末尾,「以…为主」判断词里,
「主导」「贡献最大」前面——同一分句里,再往前一个个分句(「线上渠道表现突出,贡献最大」);拖累、拉动、带动和别的类看
整个分句。"""
names = sentence.names
if hit.side == "after":
return (names[hit.start:right],)
if hit.side == "inside":
return (names[hit.start:hit.end],)
if hit.side != "before":
return (names[left:right],)
spans = [names[left:hit.end]]
cut = left - 1
while cut > 0:
prev, _ = _clause(sentence.text, cut, cut)
spans.append(names[prev:cut])
cut = prev - 1
return tuple(spans)
def _cause(sentence: Sentence, hit: Hit, left: int, right: int) -> str:
"""因果词说的原因(点名用的样子 names):「由于、因为、原因是、源于、得益于」后面到分句末尾,「受…影响」中间,「导致、
造成、引起、所致、是…的主要原因」前面到分句开头——前面有「由」的(「由华东造成」)从「由」后面起。"""
names = sentence.names
if hit.side == "after":
return names[hit.end:right]
if hit.side == "inside":
return names[hit.start:hit.end]
by = [m.end() for m in re.finditer(r"由(?!于)", sentence.text[left:hit.start])]
return names[left + by[-1]:hit.start] if by else names[left:hit.start]
#: 原因只是指代(「以上是下降的主要原因」「原因如下:」后面的列表各自核):这一句不核
_POINTER = re.compile(r"(?:这|那|此|其|以上|上述|前述|如下|以下|下列)(?:些|个|几个|几点|两点|方面|原因|因素)?")
_FILLING = re.compile(r"[\x00\s\W_]|的|都|也|就|主要|正是|便是|即")
def _said_cause(cause: str) -> bool:
"""原因说了实在的东西:去掉标点、空白、虚词之后不是空的,也不只是指代。"""
rest = _FILLING.sub("", cause)
return bool(rest) and _POINTER.fullmatch(rest) is None
def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]], *,
available: Mapping[str, list[str]] | None = None, version: int | None = None) -> list[dict[str, Any]]:
"""一句话的说法违规。results 是写作目录里的分析结论 {A 编号: 结论},available 是 {op: [这次有的 A 编号]}(没挂时
@@ -671,6 +834,9 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]],
if not hits:
return []
mine = [(a, results[a]) for a in dict.fromkeys(sentence.analyses) if a in results]
#: 这句挂的拆解(原因点名的是它的段就按来源核),和目录里所有的拆解(没挂时认原因是不是哪份拆解的段)
decomposes = [r for _, r in mine if r.get("op") == "decompose"]
known = [r for r in results.values() if r.get("op") == "decompose"]
out: list[dict[str, Any]] = []
#: 同一分句里同一类只报一处(「由于促销结束导致下降」是一处没依据的原因,不是两处)
seen: set[tuple[str, str, int]] = set()
@@ -680,17 +846,20 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]],
left, right = _clause(sentence.text, hit.start, hit.end)
names = sentence.names[left:right]
snippet = _snippet(sentence.shown, hit.start, hit.end)
spans = _object(sentence, hit, left, right)
if claim.key == "causal":
clause = sentence.text[left:right]
if sentence.quoted or sentence.inputs or guessed or lex.method.search(clause):
continue
if any(h is not hit and h.claim in _SOURCE_KEYS and left <= h.start < right for h in hits):
continue # 「主要由华东造成」:并进来源那一处核
decomposes = [(a, r) for a, r in mine if r.get("op") == "decompose"]
if any(_named(r, names) for _, r in decomposes):
# 因果词点名的是拆解的段或因子:按来源核(记账意义上的「来自」)
hit = Hit("source", hit.start, hit.end, hit.word, hit.direction)
claim = lex.claim("source")
cause = _cause(sentence, hit, left, right)
if not _said_cause(cause):
continue # 「以上是下降的主要原因」「主要原因:」:原因在别处,各自核
if any(_named(r, cause) for r in decomposes):
# 原因点名的是所挂拆解的段或因子(「下降主要由华东造成」):按来源核,这是记账意义上的「来自」
hit, claim, spans = replace(hit, claim="source", side="cause"), lex.claim("source"), (cause,)
elif not decomposes and (not known or any(_named(r, cause) for r in known)) \
and any(h is not hit and h.claim in _SOURCE_KEYS and left <= h.start < right for h in hits):
continue # 没挂拆解:并进同一分句里的来源判断,那一处报没挂拆解
else:
key = (CAUSAL, claim.key, left)
if key not in seen:
@@ -704,7 +873,8 @@ def check_sentence(sentence: Sentence, results: Mapping[str, Mapping[str, Any]],
seen.add(key)
out.append(_record(UNCITED, _uncited(claim, hit.word, available), sentence, hit, claim, mine))
continue
misses = [(a, _check(lex, hit, r, names)) for a, r in candidates]
phrased = {alias for at, _, alias in sentence.phrases if left <= at < right}
misses = [(a, _check(lex, hit, r, names, spans=spans, phrased=a in phrased)) for a, r in candidates]
if any(miss is None for _, miss in misses):
continue
alias, miss = misses[0]
@@ -762,7 +932,7 @@ def results_of(catalog: Mapping[str, Any], load: Any = None) -> dict[str, dict[s
def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str, Any]) -> Sentence | None:
"""文档里的一个句子单元 → Sentence。写作者自己写的字(文字片段、没有出处的数字)留在 text;引用渲染出来的值、表名
字段名留在 names(点名用);判定语(a:)、知识库原话(q:)、排版符号两边都涂掉。"""
字段名留在 names(点名用);判定语(a:)、知识库原话(q:)、排版符号两边都涂掉,判定语另记下位置(phrases)。"""
segments = [s for s in unit.get("segments") or [] if isinstance(s, dict)]
if not segments:
return None
@@ -770,6 +940,7 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str
name_parts: list[str] = []
shown_parts: list[str] = []
pieces: list[tuple[int, int, str | None]] = []
phrases: list[tuple[int, int, str]] = []
quoted = False
pos = 0
for seg in segments:
@@ -784,6 +955,8 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str
scan_parts.append(blank)
name_parts.append(blank)
quoted = quoted or (head == "q" and seg.get("state") == "deterministic")
if head == "a" and (phrase := _PHRASE_REF.match(ref)):
phrases.append((pos, pos + len(text), phrase.group(1)))
elif ref or kind == "entity":
scan_parts.append(blank)
name_parts.append(text)
@@ -798,7 +971,8 @@ def _sentence(unit: dict[str, Any], aliases: Iterable[str], results: Mapping[str
cited = list(dict.fromkeys(str(a) for a in aliases))
return Sentence(text="".join(scan_parts), names="".join(name_parts), shown="".join(shown_parts),
analyses=[a for a in cited if a in results], quoted=quoted,
inputs=any(a.startswith("i:") for a in cited), base=base, unit=unit.get("id"), pieces=pieces)
inputs=any(a.startswith("i:") for a in cited), base=base, unit=unit.get("id"), pieces=pieces,
phrases=phrases)
def check_doc(doc: dict[str, Any], catalog: Mapping[str, Any], *, cited: Mapping[int, list[str]] | None = None,
@@ -875,9 +1049,10 @@ ANALYSIS_RULES_PROMPT = (
"分析结论(系统会逐句核对判断词):\n"
"- 「主要来自」「集中在」「拖累」「带动」「分散」「异常」「大幅」「激增」「历史新高」「正常波动」「持续上升」「趋势」"
"「显著高于」「差异不大」这类判断,只能照证据目录里分析结论的判定写,句末挂对应的依据,比如 [[see:A1]];最好直接引用"
"判定语 [[a:A1]],它由系统按判定渲染。来源、集中、拖累、分散挂变化拆解,结构变化挂比率拆解,异常、新高新低、正常波动"
"挂波动基线,持续、趋势、连续挂趋势,显著、明显高于、差异不大挂差异检验。\n"
"- 判定和你想写的不一样时照判定写;点名的地区、渠道要在判定点名的段里;没有做成的分析照实写没做成的原因,不下这类判断。"
"判定语 [[a:A1]],它由系统按判定渲染。来源、集中、拖累、分散挂变化拆解,结构变化挂比率拆解,异常、大幅、显著上升或下降、"
"新高新低、正常波动挂波动基线,持续、趋势、连续挂趋势,显著高于、明显高于、差异不大挂差异检验。\n"
"- 判定和你想写的不一样时照判定写;写来源要点名是哪一段,点名的地区、渠道要在判定点名的段里;没有做成的分析照实写"
"没做成的原因,不下这类判断。"
"没有对应的分析结论,就只陈述数字和变化。\n"
"- 拆解只说明变化来自哪里,不说明为什么。写原因(因为、由于、导致、受…影响)要有知识库原话或运行输入作依据,"
"否则写成待核实的推测,比如「可能与促销结束有关,待核实」。"
+82 -8
View File
@@ -43,7 +43,7 @@ def codes(found: list[dict]) -> list[str]:
@pytest.mark.parametrize("text, claim", [
("下降主要来自华东。", "source"), ("增长主要由线上贡献。", "source"), ("下降集中在华东、华北。", "source"),
("绝大部分来自线下。", "source"), ("华东拖累了整体。", "source"), ("线上带动了增长。", "source"),
("增长绝大部分来自线下。", "source"), ("华东拖累了整体。", "source"), ("线上带动了增长。", "source"),
("华东贡献最大。", "source"), ("下降主要是华东下滑造成的。", "source"),
("变化分散在各地区。", "dispersed"), ("各地区都在下降。", "dispersed"), ("各渠道普遍下滑。", "dispersed"),
("全面下降。", "dispersed"),
@@ -53,7 +53,7 @@ def codes(found: list[dict]) -> list[str]:
("销售额明显偏离往常。", "anomaly"), ("超出过去 12 周的常规波动范围。", "anomaly"),
("销售额明显高于正常水平。", "anomaly"), ("波动剧烈。", "anomaly"),
("本周创历史新高。", "record"), ("销售额创新高。", "record"), ("前所未有。", "record"),
("在常规波动范围内。", "normal"), ("属于正常波动。", "normal"), ("并不异常。", "normal"),
("在常规波动范围内。", "normal"), ("属于正常波动。", "normal"), ("这一降幅并不异常。", "normal"),
("线上销售额持续上升。", "trend"), ("呈上升趋势。", "trend"), ("一路走低。", "trend"), ("稳步增长。", "trend"),
("连续三周下降。", "trend"), ("连续下滑。", "trend"),
("没有明显的上升或下降趋势。", "no_trend"), ("上升趋势不明显。", "no_trend"), ("基本平稳。", "no_trend"),
@@ -138,13 +138,13 @@ def test_dafu_needs_a_baseline_outside_the_band_in_the_same_direction():
@pytest.mark.parametrize("text, claim", [
("并未出现明显异常。", "normal"), # 否定隔着「出现明显」
("本周没有出现异常。", "normal"),
("订单数并未出现明显异常。", "normal"), # 否定隔着「出现明显」
("本周销售额没有出现异常。", "normal"),
("不在正常范围内。", "anomaly"),
("不属于正常波动。", "anomaly"),
("没有显著高于华东。", "no_diff"),
("并非主要来自华东。", "source_not"),
("并不分散。", "source"),
("下降并非主要来自华东。", "source_not"),
("下降并不分散。", "source"),
("没有持续上升。", "no_trend"),
])
def test_a_negation_flips_to_the_opposite_class(text, claim):
@@ -196,8 +196,10 @@ def test_ascii_names_need_word_boundaries_but_chinese_neighbours_are_fine():
result["table"]["rows"][0][0] = "AB"
result["table"]["rows"][1][0] = "A"
assert said("下降主要来自AB店。", "A1", results={"A1": result}) == []
assert said("下降主要来自XAB。", "A1", results={"A1": result}) == [], "XAB 不是点名 AB,也没点名别的段"
assert codes(said("下降主要来自A。", "A1", results={"A1": result})) == [], "一个字的名字不认"
# XAB 不是点名 AB、一个字的名字不认:都当没点名哪一段,说的来源不是拆解里的段
[miss] = said("下降主要来自XAB。", "A1", results={"A1": result})
assert miss["code"] == ac.MISMATCH and "不是这份拆解里的段" in miss["message"]
assert codes(said("下降主要来自A。", "A1", results={"A1": result})) == [ac.MISMATCH]
def test_named_segments_are_matched_across_full_and_half_width():
@@ -330,11 +332,65 @@ def test_a_cause_outside_the_decomposition_needs_its_own_evidence():
{"text": "由于促销结束导致下降。", "inputs": True},
{"text": "由于数据只到 10 月 16 日,本周不完整。"},
{"text": "由于样本少,差异不能下结论。"},
{"text": "以上是本周下降的主要原因。"}, # 原因只是指代:列出原因的那几句各自核
{"text": "下降的原因主要是:"},
])
def test_guesses_quotes_inputs_and_data_caveats_are_not_unsupported_causes(sentence):
assert ac.check_sentence(ac.Sentence(**sentence), {}) == []
@pytest.mark.parametrize("text, found", [
("下降主要由于促销结束。", [(ac.CAUSAL, "causal")]), # 「主要由」不吃掉「由于」
("华东下降主要由于促销结束。", [(ac.CAUSAL, "causal")]), # 原因在「由于」后面,前面的华东不算
("促销结束导致华东下降。", [(ac.CAUSAL, "causal")]), # 原因在「导致」前面
("华东受促销结束影响下降。", [(ac.CAUSAL, "causal")]), # 原因在「受…影响」中间
("下降主要由促销结束造成。", [(ac.MISMATCH, "source"), (ac.CAUSAL, "causal")]),
("下降主要来自线上渠道。", [(ac.MISMATCH, "source")]), # 说的来源不是拆解(按地区)里的段
("下降主要来自新客流失。", [(ac.MISMATCH, "source")]),
("华东下降主要来自线上渠道。", [(ac.MISMATCH, "source")]), # 「主要来自」看后面
("下降主要由华东造成。", []),
("华东是本周下降的主要原因。", []), # 原因点名的是段:按来源核
("下降的主要原因是华东门店客流减少。", []),
("华南是本周下降的主要原因。", [(ac.MISMATCH, "source")]),
("下降主要源于华东。", []),
("华东下滑,拖累了整体。", []), # 拖累看整个分句,没点名的按主要来源
])
def test_sources_and_causes_attached_to_a_decomposition(text, found):
"""挂了按地区拆解、判「主要来自华东」的结论(复核 R4):原因按因果词的那一边认;说的来源得是拆解里的段。"""
assert [(v["code"], v["claim"]) for v in said(text, "A1", results={"A1": fake_result()})] == found
def test_a_source_needs_no_name_when_the_clause_quotes_the_phrase_or_says_structure():
driver = fake_result()
phrase = ac.Sentence(text="下降主要来自以下地区:\x00\x00\x00\x00。", analyses=["A1"], phrases=[(11, 15, "A1")])
assert ac.check_sentence(phrase, {"A1": driver}) == []
elsewhere = ac.Sentence(text="\x00\x00\x00\x00,下降主要来自这一地区。", analyses=["A1"], phrases=[(0, 4, "A1")])
assert codes(ac.check_sentence(elsewhere, {"A1": driver})) == [ac.MISMATCH], "判定语在别的分句"
mix = fake_result(mode="ratio", verdict="mix_driven", subjects=[["华东"]])
assert said("退款率上升主要来自结构变化。", "A1", results={"A1": mix}) == []
rate = fake_result(mode="ratio", verdict="rate_driven", subjects=[["华东"]])
assert said("退款率上升主要来自各段自身的变化。", "A1", results={"A1": rate}) == []
assert [v["claim"] for v in said("退款率上升主要来自结构变化。", "A1", results={"A1": rate})] == ["source", "mix"]
def test_before_side_sources_look_back_to_the_nearest_named_clause():
driver = fake_result()
assert said("华东门店表现最弱,贡献最大。", "A1", results={"A1": driver}) == []
assert said("华南基本持平,华东贡献最大。", "A1", results={"A1": driver}) == [], "最近的分句点了名就不再往前找"
assert codes(said("新客贡献最大。", "A1", results={"A1": driver})) == [ac.MISMATCH]
@pytest.mark.parametrize("text, results, found", [
("下降主要由华东造成。", {}, [ac.UNCITED]), # 没有拆解可比:并进来源
("下降主要由华东造成。", {"A2": fake_result()}, [ac.UNCITED]), # 华东是目录里拆解的段:并进来源
("下降主要由促销结束造成。", {"A2": fake_result()}, [ac.UNCITED, ac.CAUSAL]),
("下降主要由促销结束造成。", {}, [ac.UNCITED]),
])
def test_without_a_decomposition_attached_a_cause_merges_into_the_source_only_when_it_could_be_one(text, results,
found):
assert codes(said(text, results=results)) == found
# --------------------------------------------------------------------------
# 文档:哪里不扫、怎么挂、版本
# --------------------------------------------------------------------------
@@ -451,6 +507,24 @@ def test_compose_and_verify_bind_the_sentence_to_its_see_marker():
assert [v["code"] for v in verify_doc(tampered, cat)["violations"]] == [ac.UNCITED]
@pytest.mark.parametrize("raw, want", [
("销售额 [[m:gmv]],下降主要来自线上渠道。[[see:A1]]", [(ac.MISMATCH, "主要来自")]),
("销售额 [[m:gmv]],下降主要来自新客流失。[[see:A1]]", [(ac.MISMATCH, "主要来自")]),
("销售额 [[m:gmv]],下降主要由于促销结束。[[see:A1]]", [(ac.CAUSAL, "由于")]),
("销售额 [[m:gmv]],下降主要由促销结束造成。[[see:A1]]", [(ac.MISMATCH, "主要由"), (ac.CAUSAL, "造成")]),
("销售额 [[m:gmv]],下降主要来自华东。[[see:A1]]", []),
("销售额 [[m:gmv]],下降主要来自 [[v:A1.r0.region]]。[[see:A1]]", []),
("销售额 [[m:gmv]],下降主要来自以下地区:[[a:A1]]。", []),
("[[a:A1]],下降主要来自这一地区。", [(ac.MISMATCH, "主要来自")]),
])
def test_strict_documents_close_the_source_and_cause_loopholes(raw, want):
"""复核 R4 的几个口子(strict 下挂一份按地区拆解、判「主要来自华东」的 A1):经组装和复核都核出来。"""
cat = catalog(A1=fake_result())
doc = compose_doc(raw, cat, analysis_claims="strict")
assert [(v["code"], v["text"]) for v in found(doc)] == want
assert [(v["code"], v["text"]) for v in found(verify_doc(doc, cat))] == want
def test_inputs_and_quotes_in_the_same_sentence_support_a_cause():
doc = compose_doc("由于本周有 [[i:promo]] 活动,销售额 [[m:gmv]]。[[see:m:gmv]]", catalog(), analysis_claims="check")
assert found(doc) == []
@@ -0,0 +1,137 @@
"""说法表的样本表(engine/analysis_claims,细案 01 §9.1):常见的周报写法逐句过 scan,每句期望认出的类(按出现的先后,
否定翻过之后的)或「不核」(空)。以后改说法表都过这张表:误报(正常的句子被打回)让报告多重写一次、strict 下降档,
漏报只是少核一处,宁可漏报不误报。
前半是第 1 波复核时的 70 句(复核第 4 节),后半是这次调整顺带看清楚的写法。和复核标记不一样的只有一句:「退款主要集中在
生鲜品类」复核标的是判断,可它说的是退款的构成、没说变化,按「来源、集中只在说了变化时才核」不核。
"""
from __future__ import annotations
import pytest
from app.engine import analysis_claims as ac
#: 不核
NO: tuple[str, ...] = ()
SAMPLES: list[tuple[str, tuple[str, ...]]] = [
# ---- 陈述数字和变化:不核 ----
("本周销售额 12.3 万元,环比下降 5.2%。", NO),
("整体平稳,各品类变化不大。", NO),
("退款率略有下降。", NO),
("订单数明显回升,客单价基本持平。", NO), # 「明显」只是程度,不收「明显 + 涨跌」
("环比基本持平。", NO),
("本周数据只到 10 月 16 日,周数据不完整。", NO),
("客单价相当于上周的 1.1 倍。", NO),
("订单量与上周相当。", NO), # 比上期:说的是持平,不是两组差异
# ---- 判断:核 ----
("销售额同比增长 8.1%,主要是因为国庆假期客流增加。", ("causal",)),
("受节假日影响,线下门店客流明显回升。", ("causal",)),
("华东销售额大幅增长 32%。", ("anomaly",)),
("线上渠道拉动整体增长。", ("source",)),
("华东下滑拖累了整体表现。", ("source",)),
("各地区普遍上涨。", ("dispersed",)),
("已连续三周下降。", ("trend",)),
("西南地区退款率显著高于其他地区。", ("differ",)),
("两个渠道的转化率相当。", ("no_diff",)),
("促销效果显著,带动订单量增长。", ("source",)),
("由于华东仓库搬迁,发货延迟导致退款增加。", ("causal", "causal")),
("线上销售额持续增长,已连续 5 周上升。", ("trend", "trend")),
("退款金额骤增,需重点关注。", ("anomaly",)), # 「需」在后一个分句,不管前面的判断
("新客贡献最大。", ("source",)),
("这主要是由于华东仓库搬迁。", ("causal",)),
("整体来看,各渠道均有所下降。", ("dispersed",)),
("销量下降主要由促销结束造成。", ("source", "causal")),
("下降主要来自客流减少。", ("source",)),
("退款主要集中在生鲜品类。", NO), # 复核标的是判断;说的是构成、没说变化,不核
# ---- 业务上的「异常」、数据质量:不核 ----
("本周异常订单 35 单,已全部处理。", NO),
("部分门店数据异常,已提交核查。", NO),
("部分订单异常,已退款。", NO),
("物流异常的订单已全部退款。", NO),
("支付异常的订单已全部退款。", NO),
("门店营业异常 2 家。", NO),
("整体运行平稳,未见异常。", NO), # 主语不是指标、波动
("系统运行正常,无异常。", NO),
# ---- 说的是构成,不是变化从哪来:不核 ----
("本周订单主要来自线上渠道,占 65%。", NO),
("销售额集中在周末两天。", NO),
("华东门店集中在上海、杭州。", NO),
("客户分散在各个城市。", NO),
("线上渠道占主导。", NO),
# ---- 建议、计划、预测:不核 ----
("下一步将全面提升门店服务水平。", NO),
("建议加大投放,拉动新客增长。", NO), # 「建议」管到后面的分句
("通过会员活动带动复购。", NO), # 带动的不是变化
("下周将持续提升转化率。", NO),
("建议持续降低退款率。", NO),
("计划逐步提高线上占比。", NO),
("下一步将大幅提升配送效率。", NO),
("下周重点主要是提升转化率。", NO),
("避免缺货导致客诉。", NO),
("预计下周将继续保持增长态势。", NO),
# ---- 别的误报:不核 ----
("订单来源于线上渠道。", NO), # 「来源于」不是「源于」
("数据来源于业务系统,金额含税。", NO),
("本周数据源表结构变化,部分字段暂缺。", NO), # 表结构不是结构变化
# ---- 漏报,补上:核 ----
("华东是本周下降的主要原因。", ("causal",)), # 原因点名的是拆解的段时按来源核
("近七成的降幅来自华东。", ("source",)),
("超过一半的下降来自华东。", ("source",)),
("增长主要靠线上。", ("source",)),
("降幅主要在华东。", ("source",)),
("下降主要体现在华东。", ("source",)),
("增长以线上为主。", ("source",)),
("销售额创年内新高。", ("record",)),
("销售额创近一年新高。", ("record",)),
("整体趋势向好。", ("trend",)),
("本周销售额波动较大。", ("anomaly",)),
("订单量三连降。", ("trend",)),
("退款率显著下降。", ("anomaly",)),
("销售额远高于往常。", ("anomaly",)),
("本周销售额出现异动。", ("anomaly",)),
("华东和华南一涨一跌。", ("offset",)),
# ---- 这次调整顺带看清楚的写法 ----
("订单大幅减少。", ("anomaly",)), # 「订单」只在「订单异常」里是业务状态
("不少门店大幅下滑。", ("anomaly",)),
("订单异常下降。", ("anomaly",)), # 「异常」后面跟着涨跌:说的是指标
("华东线上订单出现异常的下降。", ("anomaly",)),
("异常的门店已全部整改。", NO),
("两个渠道的转化率与上周相当。", NO),
("华东和华南的退款率水平相当。", ("no_diff",)),
("销售额并未出现明显异常。", ("normal",)),
("本周没有出现异常。", NO),
("退款率并未显著下降。", ("normal",)),
("下降主要来自华东,建议加大华东投放。", ("source",)), # 「建议」在后一个分句
("销售额\x00\x00,环比\x00\x00,主要来自华东。", ("source",)), # 引用渲染的数涂成 \x00,「环比」说的是变化
("订单主要来自线上渠道,占比较上周提升 5 个百分点。", NO), # 变化在后一个分句:前面说的是构成
("新增客户主要来自线上渠道。", NO),
("增量主要来自线上。", ("source",)),
("下降主要源于华东。", ("source",)),
("订单以线上为主。", NO),
("线上渠道表现突出,贡献最大。", ("source",)),
("下降的主要原因是华东门店客流减少。", ("causal",)),
("受促销结束影响,华东销售额下降。", ("causal",)),
("近 8 周销售额持续下降,已连续三周下降。", ("trend", "trend")),
("线上销售额十二连涨。", ("trend",)),
("整体走势向下。", ("trend",)),
("销售额创下了近一年来新高。", ("record",)),
("创新能力最高的门店是华东店。", NO),
("预计下周销售额将创新高。", NO),
]
@pytest.mark.parametrize("text, expected", SAMPLES, ids=[t for t, _ in SAMPLES])
def test_the_sample_table(text, expected):
found = ac.scan(text)
assert tuple(h.claim for h in found) == expected, [(h.claim, h.word) for h in found]
@pytest.mark.parametrize("text, expected", SAMPLES, ids=[t for t, _ in SAMPLES])
def test_a_sentence_is_reported_without_conclusions_exactly_when_it_carries_a_judgement(text, expected):
"""没有分析结论可挂时:认出判断的句子至少报一处(没挂、原因没依据),不核的一处都不报。"""
assert bool(ac.check_sentence(ac.Sentence(text=text), {})) == bool(expected)
def test_the_sample_table_is_not_shorter_than_the_review():
assert len(SAMPLES) >= 70 and len({t for t, _ in SAMPLES}) == len(SAMPLES)