文本里出现了一个熟悉的词,情感分析模块识别出几个积极表达,实体匹配又恰好找到一个上市公司。所有局部判断似乎都说得通,组合起来却可能指向一笔毫无依据的交易。安妮·海瑟薇与伯克希尔·哈撒韦的同名关系,正是这类问题中最容易被引用的例子:一个是演员,一个是公司,二者共享同一个英文姓氏,却分属完全不同的语义场景。
如果系统只把“Hathaway”当作一个关键词,而没有继续判断它在文本中究竟指向谁,那么一则娱乐新闻就可能被错误地归入金融实体,继而影响相关性评分、情感因子,甚至触发后续策略信号。
这类现象通常被称为“安妮·海瑟薇效应”。这里的“效应”并不意味着演员新闻真的能够稳定推动伯克希尔·哈撒韦股价上涨,也不意味着某个具体行情一定由文本误读造成。更准确的说法是:它被认为展示了实体混淆、语义歧义与数据筛选偏差如何共同制造出看似合理的错误关联。
舆情量化最先要解决的,不是“这条消息利好还是利空”,而是“这条消息到底在说谁”。
安妮·海瑟薇效应:量化算法的语义陷阱与数据误读
安妮·海瑟薇效应之所以有代表性,是因为它把一个在人类语境里很容易察觉的笑话,变成了机器系统中的真实工程问题。
英文新闻标题中可能出现“Hathaway”。如果后续流程只进行关键词检索,系统首先知道的只是一个字符串,而不是一个完整实体。这个字符串既可能出现在演员姓名中,也可能出现在伯克希尔·哈撒韦公司名称中,还可能出现在其他人名、地名、机构名或品牌名称中。
对于人类读者来说,“安妮·海瑟薇出演新片”和“伯克希尔·哈撒韦发布财报”之间的区别非常明显。前一句包含演员、电影、出演等词,后一句包含公司、财报、股东等词。可是,传统的关键词策略并不理解“演员”和“公司”之间的类型差异。它只负责寻找词语是否出现,至于词语之间的关系,往往需要另外一套机制判断。
更复杂的情况来自情感分析。娱乐报道可能包含“获奖”“回归”“热门”“期待”等积极表达。如果系统先判断这些词具有正面情绪,再根据其中出现的“Hathaway”把文本归到金融标的,就会形成一条错误链路:
1. 文本中出现目标关键词;
2. 文本整体呈现正面情绪;
3. 关键词被误认为对应目标公司;
4. 新闻被赋予较高的金融相关性;
5. 正面情绪进入舆情因子;
6. 策略将其理解为潜在利好。
每个步骤单独看都不一定完全错误,真正的问题在于它们之间缺少语义约束。系统没有确认“被讨论的主体是谁”,也没有确认“主体与标的之间是否存在经济关系”。
这也是为什么,不能简单地把安妮·海瑟薇效应解释成“某位演员的新闻导致伯克希尔·哈撒韦上涨”。这种说法把相关性直接写成了因果关系,既不符合严谨的市场分析,也掩盖了案例真正有价值的地方。更稳妥的表述是:部分被观察到的关联,可能与同名实体混淆、样本筛选方式或市场背景有关;无论具体价格波动如何,案例都提示我们检查文本识别链条是否存在错误。
关键词相同,不代表实体相同
在舆情数据里,至少要区分四个层次:
- 字符串相同:文本中出现了相同的字母或汉字。
- 提及相同:这些字符串在句子中承担相近的指代作用。
- 实体相同:多个提及确实指向同一个人、机构或产品。
- 事件相关:该实体与目标金融标的之间存在足够明确的事件关系。
关键词匹配通常只覆盖第一层。命名实体识别负责向第二层和第三层推进,实体消歧则进一步确认它对应知识库中的哪个节点。相关性评分要解决的,则是第四层:即使识别出了正确实体,也不能默认它与目标标的有关。
例如,新闻中出现“巴菲特”,不一定就与伯克希尔·哈撒韦的投资决策有关。它可能是一篇历史访谈,也可能是对某个慈善项目的回顾,或者只是社交媒体用户用名人语录进行类比。实体出现本身只能说明“被提到”,不能自动说明“具有交易价值”。
命名实体识别:把人名和机构名分开的核心步骤
命名实体识别是文本清洗进入语义理解阶段后的第一道重要关口。它的任务不是判断新闻利好还是利空,而是识别文本中的实体边界,并给实体加上类别标签。
常见类别包括:
- 人物;
- 组织机构;
- 上市公司;
- 地点;
- 产品;
- 品牌;
- 股票或指数;
- 日期与时间;
- 金融事件。
在安妮·海瑟薇效应中,理想的识别结果应当至少包含两种不同实体类型:
- “安妮·海瑟薇”:人物;
- “伯克希尔·哈撒韦”:组织机构或上市公司。
这一步看起来基础,却直接影响后面的实体链接、事件抽取和情感计算。如果人物被识别成公司,或者公司名称只被拆成普通词语,那么之后再复杂的模型也只能在错误输入上继续计算。
中文金融文本的实体边界并不稳定
中文环境下,命名实体识别有自己的麻烦。英文姓名通常通过空格、大小写和词形边界提供一定提示,中文文本则经常缺少清晰的分隔符。公司名称、产品名称、基金名称和普通词语之间,也可能存在边界模糊。
例如,“平安”既可能是公司名称的一部分,也可能只是普通形容词;“小米”可能指企业,也可能指一种食物;“长城”可能指汽车品牌、上市公司,也可能指地理景观。新闻标题为了简短,还会省略公司全称、行业背景和事件主体,进一步增加识别难度。
金融文本中还经常出现以下情况:
- 公司简称与全称交替出现;
- 股票代码代替公司名称;
- 同一家公司在不同市场使用不同代码;
- 品牌名称、母公司和子公司被混用;
- 机构名称在新闻中被缩写;
- 并购后旧名称仍然出现在历史报道中;
- 产品名称与公司名称共享核心词;
- 中英文名称在同一篇文章里混合出现。
因此,命名实体识别不能只依赖通用语料。一个在新闻领域表现不错的模型,换到公告、研报、社交媒体或盘口评论中,仍然可能出现明显的实体边界错误。
规则、词典与模型需要共同工作
实践中更可靠的做法,通常不是在“规则系统”和“机器学习模型”之间二选一,而是让它们承担不同任务。
领域词典适合处理稳定的名称集合,例如上市公司全称、证券简称、常见股票代码、交易所名称和指数名称。规则适合处理格式明显的内容,例如带有特定后缀的公司名称、股票代码格式和公告标题。模型则更擅长根据上下文判断一个词在当前句子中的实际含义。
例如,在下面两句话中,“华为”都被识别为组织机构并不困难:
- 华为发布新款手机,市场关注其供应链变化。
- 这家企业的设备被多家运营商采用。
但如果文本写成:
- “华为式管理”正在成为不少创业公司的讨论对象。
这里的“华为”仍然与企业有关,却不一定表示华为公司参与了事件。它可能只是一个类比对象。系统如果把所有出现公司名称的句子都当成公司新闻,就会高估相关性。
同样,“苹果”在“苹果公司公布服务业务计划”中显然是企业,在“苹果供应商进入备货周期”中则需要结合行业知识判断其是否间接指向公司生态,在“苹果价格上涨影响食品通胀”中则可能只是农产品。命名实体识别必须把上下文作为基本输入,而不能只看词本身。
识别准确率不是最终目标
命名实体识别常用精确率、召回率和综合指标评估,但离线指标并不能直接等价于策略收益。一个模型可能在通用测试集上表现很好,却在极少见的公司简称、突发事件和跨市场名称上失效。
更适合交易系统的评估方式,还应包括:
- 关键标的是否被漏识别;
- 同名实体是否被错误合并;
- 人物新闻被归入公司新闻的比例;
- 公司简称变化后的适应速度;
- 突发热点期间误报是否明显上升;
- 错误实体是否会进一步进入交易因子;
- 低置信度文本能否被及时拦截。
从策略角度看,漏掉一条边缘新闻未必会造成严重损失,但把娱乐新闻、广告内容或同名实体误判成金融事件,可能会在多个标的上重复发生。错误的频率、传播范围和后续放大机制,往往比单次识别准确率更值得关注。
实体消歧:把文本提及映射到正确节点
命名实体识别解决的是“这是什么类型的词”,实体消歧解决的是“它具体指向哪个对象”。
文本中的实体提及,通常要被映射到知识图谱或实体数据库中的具体节点。对于伯克希尔·哈撒韦,这个节点可能包含公司名称、股票代码、所属行业、交易市场、历史名称以及关联高管等信息。对于安妮·海瑟薇,节点则应属于人物类别,并包含影视作品、职业身份和公开活动等属性。
这种映射不是简单的查字典。因为同一个名称可能对应多个候选实体,而不同名称也可能指向同一个实体。系统需要根据上下文、实体类型、时间、来源和事件关系进行综合判断。
上下文是消歧的第一依据
如果文本中同时出现“主演”“导演”“电影”“颁奖礼”等词,那么“Hathaway”更可能指向演员。若文本中出现“股东”“财报”“董事会”“股票代码”等金融词汇,则更可能指向伯克希尔·哈撒韦。
可以把这种判断拆成几个维度:
- 类型一致性:人物词是否与人物实体匹配,公司词是否与机构实体匹配。
- 主题一致性:新闻主题属于影视、体育、金融还是政治。
- 句法关系:实体在句子中是主体、客体,还是被顺带提及。
- 时间一致性:事件发生时间是否与实体的公开活动相符。
- 来源一致性:财经媒体、娱乐媒体和社交平台的语境不同。
- 共现关系:实体附近是否出现具有区分度的词语。
- 事件一致性:实体是否参与了文本描述的事件。
例如,“安妮·海瑟薇与制片方签署新片合约”中,人物实体与电影事件高度一致;“伯克希尔·哈撒韦公布年度经营数据”中,公司实体与财务事件高度一致。若一篇文章只在开头提到某公司,后文完全讨论演员本人,那么系统就不应因为整篇文章共享一个词而把全文归入公司舆情。
同一篇长文里,实体可能不断切换
实体消歧的困难并不只发生在单句中。长篇报道经常同时讨论多个实体,文章前半部分讲某家公司,后半部分转向行业竞争者,最后又引用一位分析师的观点。如果系统只按照全文关键词计数,实体之间就会相互污染。
更稳妥的处理方式,是将文本拆成句子、段落或事件单元,再建立实体与局部上下文之间的关系。实体在每个局部单元中的角色不同,相关性也应分别计算。
共指消解也很重要。一篇报道可能先写“安妮·海瑟薇”,之后使用“这位演员”“她”或“主演者”来指代同一个人。如果系统无法识别这些表达之间的联系,就可能在后文重复计数,或者把代词错误连接到附近的公司实体。
在金融新闻中,共指问题还包括:
- “该公司”究竟指前一句中的母公司还是子公司;
- “这位高管”指董事长、首席执行官还是发言人;
- “该股”对应的是哪一家被提及的上市公司;
- “对手”指行业竞争者还是某个具体品牌;
- “集团”是否代表上市主体本身。
这些问题不会总是导致明显错误,却会改变事件归因和情绪聚合结果。
知识图谱不是永久正确的答案
知识图谱能够帮助系统获得实体的结构化背景,但它本身也会过期。公司可能改名、拆分、并购或退市,人物可能更换经纪公司,产品可能被重新命名,股票代码也可能因市场变化而改变。
因此,实体库至少需要维护以下信息:
- 当前名称与历史名称;
- 常用简称与别名;
- 股票代码和交易市场;
- 母公司、子公司与品牌关系;
- 关键人物与机构的关联;
- 实体生效时间;
- 数据来源和更新时间;
- 置信度与人工修订记录。
时间维度尤其容易被忽略。历史新闻中的公司名称,不能简单按照今天的实体关系回填;一位高管在任期内外的言论,也不应被同样归入公司的当前经营状态。对回测而言,使用未来才知道的实体关系,还可能引入隐性前视偏差。
消歧不是把一个词塞进数据库,而是确认它在当时、在这篇文章里、以什么身份参与了什么事件。
相关性评分机制:给低质量噪声设置阈值
即使实体识别和实体消歧都做对了,文本也不一定值得进入交易因子。
一条新闻可以准确提到某家上市公司,却只是旧闻转载、广告软文、无关背景介绍或投资者情绪的随手评论。实体出现说明“这家公司被提及”,相关性评分要判断的是“这条提及是否足以影响我们正在构建的指标”。
相关性评分可以采用连续分数,也可以采用分级标签。关键不在于分数必须使用某个固定范围,而在于评分逻辑是否透明、阈值是否经过样本检验。
相关性的组成信号
一个较完整的评分系统,通常会综合以下因素:
- 实体在文本中的中心程度:公司是标题和导语的核心,还是只在背景段落中被顺带提及。
- 事件与公司经营的距离:财报、订单、监管、融资等事件通常比泛泛的名人活动更接近公司基本面。
- 上下文关系强度:实体是否与收入、成本、产品、客户、供应链、管理层等关键词形成有效关系。
- 来源质量:公告、监管文件、主流财经媒体和普通社交帖子,可靠性与可验证性不同。
- 时间有效性:同一消息的首次发布、二次转载和长期留存不应被重复计算。
- 文本原创程度:大量复制粘贴的内容可能造成舆情热度虚高。
- 情绪与事件的匹配程度:积极词汇是否确实描述公司事件,而不是描述人物、影片或其他主体。
- 市场相关性:新闻是否涉及当前市场、交易品种和投资范围。
“来源质量”不应被理解为简单地给某类媒体永久加分。社交媒体可能最先暴露突发风险,传统媒体也可能转载未经核实的消息。更实际的做法是把来源作为一个特征,同时结合后续验证结果动态更新权重。
阈值不是越高越好
设置阈值的目的,是把明显无关的背景噪声挡在策略之外,而不是把所有不确定性都删除。
如果阈值过低,系统会放进大量只包含公司名称的文本;如果阈值过高,间接但有价值的行业信息也可能被过滤。例如,一家核心供应商发生重大事故,新闻没有直接讨论上市公司,却可能对其生产和交付造成影响。若系统只保留标题中明确出现公司全称的文章,就可能漏掉这类信息。
阈值的选择可以通过历史标注集和策略回测共同评估。需要观察的不是单一准确率,而是不同阈值下的变化:
| 评估维度 | 阈值偏低 | 阈值适中 | 阈值偏高 |
|---|---|---|---|
| 保留文本数量 | 较多,噪声也多 | 相对平衡 | 较少 |
| 召回间接事件 | 较好 | 取决于特征设计 | 容易遗漏 |
| 实体混淆风险 | 较高 | 可控 | 较低 |
| 人工复核压力 | 较大 | 中等 | 较小 |
| 因子稳定性 | 容易波动 | 通常更稳 | 可能过于迟钝 |
这张表不是为了给出一个固定答案,而是提醒我们:阈值本身也是策略参数,需要在不同市场、不同来源和不同时间段内检验。
不要把情感强度直接当成相关性
情感分析和相关性评分经常被放在同一条流水线上,但两者回答的是不同问题。
情感分析判断文本表达的是积极、消极还是中性态度;相关性评分判断文本是否与目标实体和目标事件有关。一篇娱乐报道可以具有非常强的正面情绪,却与某家金融机构完全无关。一则监管处罚公告可能语言极其平淡,但对公司而言具有很高的相关性。
因此,建议至少把两个维度分开保存:
- 实体相关性;
- 事件相关性;
- 情感方向;
- 情感强度;
- 来源可信度;
- 时间衰减;
- 是否原创;
- 是否重复出现。
只有在这些变量经过组合后,才适合生成舆情因子。否则,“正面情绪强度高”很容易被误写成“对股票的正面影响强”。
建立人工复核样本
自动评分系统不应只在上线前测试一次。对于低置信度文本,可以建立人工复核队列,定期抽取样本检查:
- 是否把人物识别成机构;
- 是否把品牌识别成上市主体;
- 是否把引用内容当成作者观点;
- 是否把历史背景当成当前事件;
- 是否重复计算同一条新闻;
- 是否因谐音、缩写和别名产生错误匹配。
人工复核结果可以反过来更新词典、规则和训练集。尤其是在突发事件期间,新闻语言会快速变化,原本表现稳定的实体识别系统可能突然出现大量新词和新别名。真正可维护的系统,不是上线后固定不动的模型,而是一套能够持续吸收错误案例的反馈机制。
舆情数据预处理的标准化流程:从清洗到特征提取
把实体识别、实体消歧和相关性评分串起来,才能形成一条可审计的舆情数据处理流程。一个适用于股票、期货及相关市场研究的基础流程,大致包括以下环节。
1. 原始数据接入
数据来源可以包括新闻、上市公司公告、监管文件、研究报告、论坛和社交媒体。接入时要记录原始发布时间、抓取时间、来源、作者、标题、正文、链接标识以及数据版本。
原始字段一旦丢失,后面就很难判断一条文本究竟是首次发布还是重复转载,也无法在策略出现异常时追溯问题来源。
2. 文本粗清洗
粗清洗主要处理格式问题,而不是急着删除所有看起来“不重要”的词。常见操作包括:
- 去除网页标签和脚本;
- 删除广告、导航栏和版权声明;
- 统一空格、换行和标点;
- 处理乱码与异常字符;
- 识别并保留必要的股票代码;
- 拆分标题、导语和正文;
- 标记引用、转发和转载内容;
- 记录删除前后的文本长度。
表情符号、话题标签和特殊符号是否删除,需要根据数据源决定。对于社交媒体,表情可能携带情绪信息;对于公告和财报,特殊符号更多是格式噪声。统一删除并不一定是最优方案。
3. 去重与相似文本合并
同一条新闻可能被多家媒体转载,也可能在社交平台上被大量复制。若不做去重,舆情热度就会被传播次数代替,策略看到的不是“有多少独立信息”,而是“同一段文字被转发了多少次”。
去重可以结合标题相似度、正文指纹、发布时间、来源和段落重合率。完全相同的内容可以直接合并,轻度改写的内容则应保留传播信息,但不能按照完全独立的新闻重复计数。
4. 分词、归一化与词形处理
中文文本需要处理分词和词语归一化,英文或其他语言文本则需要采用相应的词形还原方式。公司名称、股票代码、行业缩写和产品名称通常不宜被随意拆开。
停用词也不能机械删除。普通情感分析可能会删除部分功能词,但金融事件判断依赖否定词、程度词和时间词。例如“未出现重大风险”“并非暂停交易”“可能导致成本上升”,如果删除“未”“并非”“可能”,模型就会把原意反过来。
5. 命名实体识别
在这一阶段,系统识别人名、机构、公司、产品、地点、时间和金融品种,并为每个实体保留字符位置和置信度。
保留位置很重要。后面做事件抽取时,需要知道谁是事件主体、谁是事件对象、谁只是引用来源。只保存“文本中出现了哪些实体”,会丢失大量结构信息。
6. 实体消歧与实体链接
将识别出的实体与标准化实体库匹配,并保留候选结果和匹配置信度。对于无法确定的实体,不要强行映射到最相似的节点。
低置信度可以采用三种处理方式:
- 暂时不进入交易因子;
- 进入人工复核队列;
- 作为低权重背景信息保留。
在回测中,必须确保当时使用的是当时可获得的实体库状态,不能用事后补全的知识替代历史信息。
7. 事件抽取
实体消歧之后,还要判断文本描述了什么事件。可以关注:
- 财报发布;
- 盈利预警;
- 订单或合同;
- 产品发布;
- 监管处罚;
- 高管变动;
- 并购重组;
- 融资与债务;
- 供应链中断;
- 诉讼与事故;
- 行业政策变化。
事件抽取能帮助系统区分“公司发生了什么”和“公司被谁提到了”。后者只是提及,前者才可能形成具有金融意义的信号。
8. 相关性与情感分别评分
在实体和事件确定后,再计算相关性、情感方向和情感强度。这里最好避免把所有分数压缩成一个不可解释的总分。
例如,一条文本可以是:
- 公司相关性高,情绪中性;
- 公司相关性低,情绪极强;
- 行业相关性高,公司直接相关性中等;
- 实体匹配不确定,情绪为正;
- 来源可信度高,但事件已经过时。
这些情况对策略的处理方式不同。保留分项特征,才能在回测和实盘中定位信号来源。
9. 时间聚合与特征生成
文本信号最终需要聚合到日、小时或更短的时间窗口。聚合时要注意:
- 同一事件的多篇报道不能无限叠加;
- 新闻首次出现与后续跟进应区分权重;
- 情绪持续时间不等于新闻持续时间;
- 不同来源之间可能存在时间延迟;
- 盘前、盘中和盘后信息的作用机制不同;
- 期货市场与股票市场的交易时段可能不同。
特征可以包括情绪均值、情绪变化速度、相关文本数量、独立来源数量、事件类别、来源分散度和高置信度实体占比。比起单纯统计正面文章数量,变化率和异常程度往往更有解释力。
10. 质量监控与回溯
上线后需要持续监控数据处理链路,而不是只看最终收益。可以观察:
- 每日实体识别数量是否异常;
- 某个实体的新闻量是否突然暴增;
- 低置信度文本比例是否变化;
- 去重率是否异常;
- 某类来源是否停止更新;
- 情感分布是否突然偏向一侧;
- 某个股票代码是否被大量错误匹配;
- 因子异常值是否集中出现在特定媒体或语言环境。
如果某天舆情因子突然跳升,第一反应不应是寻找市场解释,也应先检查数据链路。错误可能来自网页结构变化、接口字段错位、公司简称更新、同名实体热点或重复抓取。
反事实测试:判断模型是否真的理解了文本
对这类语义陷阱,普通准确率测试还不够。一个实用办法是设计反事实样本,主动替换文本中的关键实体或上下文,观察模型输出是否按照预期变化。
例如,可以构造几组对照:
- 将“安妮·海瑟薇”替换为其他演员,观察公司相关性是否仍然异常;
- 将“伯克希尔·哈撒韦”替换为明确的公司全称和股票代码;
- 删除“电影”“主演”“颁奖礼”等娱乐语境词,观察实体置信度变化;
- 保留“Hathaway”但改变附近的金融词汇,测试模型是否真正使用上下文;
- 将正面情绪词换成负面词,确认情绪变化不会被错误实体关系放大;
- 把公司名称放在引用、否定和历史背景中,检查事件归因是否稳定。
如果模型无论上下文如何变化,都因为看到了“Hathaway”而给出类似金融信号,那么它依然是关键词系统,只是外面套了一层更复杂的模型。
反事实测试还有一个好处:它能把难以解释的错误变成可复现的样本。对于量化团队来说,可复现往往比“模型偶尔犯错”更重要。只有知道错误在什么条件下发生,才有可能修正词典、规则、训练数据或阈值。
回测中的数据泄漏:清洗也会制造虚假优势
舆情策略的数据清洗还涉及一个容易被忽略的问题:清洗过程本身可能引入未来信息。
例如,研究者使用今天维护完成的实体数据库,回头处理几年前的文本;或者根据后续行情表现,筛选出“最有影响力”的新闻来源,再用这套来源权重进行历史回测。这样得到的结果可能非常漂亮,但它并不代表当时真实可执行。
需要特别留意:
- 实体别名是否在当时已经存在;
- 新闻发布时间与抓取时间是否被混淆;
- 文章修改时间是否晚于首次发布;
- 事件标签是否使用了事后确认结果;
- 来源可信度是否由未来表现反推;
- 去重规则是否依赖后来出现的转载版本;
- 情感词典是否加入了事后才流行的表达。
数据清洗不是回测前可以随意进行的“准备工作”,它同样属于策略逻辑的一部分。清洗规则变化,等于信号定义变化;实体库变化,等于可用信息集合变化。只有把这些版本保存下来,回测结果才有可解释性。
收尾:数据清洗的另一面,是与不确定性相处
安妮·海瑟薇效应真正值得保留的,不是某个关于股价的传奇故事,也不是把娱乐新闻和金融行情强行编成因果关系,而是它对数据链路提出了一个朴素的问题:
当系统说“这条新闻与某家公司有关”时,它究竟凭什么这样判断?
如果答案只是某个字符串出现过,系统就还没有理解文本。如果答案是实体识别、上下文关系、事件类型、来源质量和时间信息共同支持的概率判断,那么它才开始接近可用的舆情量化。
这件事也提醒交易者,不要把模型输出误认为事实。实体识别会错,知识图谱会过期,相关性阈值需要调节,情感分析也可能被否定词、反讽和引用内容带偏。对不确定性最成熟的处理,不是强行给每条文本贴上确定标签,而是在无法确认时降低权重、延迟决策,或者干脆让它暂时不进入因子。
真正的数据清洗,清理的不只是字符和标签,也是模型面对不确定性时的过度自信。
舆情量化的核心竞争力,从来不只是抓取更多文本、训练更大的模型或增加更快的算力。更重要的是,系统能否知道哪些信息值得继续处理,哪些信息需要停在门外,哪些信号必须经过人工复核。
在交易系统里,噪声不会消失。新的同名实体会出现,新的简称会流行,新的谐音会进入社交媒体,旧的知识图谱也会慢慢失效。我们能做的不是建立一套永远不会犯错的规则,而是让错误尽量停留在靠前的环节,不要一路穿过实体识别、情感分析和策略执行,最后才以亏损的形式提醒我们。
对“how to check 舆情量化策略的数据清洗 从 安妮 海瑟薇效应 看文本噪声识别”这类问题,最有价值的答案也不在于找到一个固定阈值,而在于建立一套能被检查、能被回溯、能解释错误来源的流程。先确认文本在说谁,再判断它发生了什么,最后才讨论它是否可能影响市场。
这条顺序看起来慢,却比让关键词直接替我们下结论可靠得多。
Related reading: 量化策略回测指标的虚与实:如何看穿超高收益率背后的陷阱 and 线性模型与深度学习在量化交易中的博弈:简单与复杂的策略抉择.
