在一次典型的故障复盘中，研究人员发现：某个合约的单笔行情数据明显偏离相邻报价，随后价格很快回到原有区间。由于这条数据进入了收益率计算和信号生成流程，均值回归策略把它理解为一次极端偏离，并据此产生了交易信号。最终，策略表现出来的不是一个可以被市场逻辑解释的亏损，而是数据输入错误沿着系统链路传导后的结果。
这里不使用未经核实的具体时间、价格或损益数字，因为这类细节如果没有原始报文、成交记录和完整日志支持，就不属于可靠的事故事实。更稳妥的做法，是把它看成一个具有代表性的假设场景：某笔 Tick 数据突然偏离局部价格区间，统计检测器将其识别为极端值，但在检测结果生效前，数据已经被策略使用。
这就是数据尖峰。它不是市场情绪，不是交易者意图，也不一定是一个值得模型学习的极端样本。它可能只是数据管道中的硬故障。对量化系统而言，硬故障有时比一次黑天鹅更危险：后者至少可能真实发生，而前者连被预测和被解释的资格都没有。
数据尖峰的破坏力：从策略崩盘看异常值的隐蔽性
量化策略崩盘的归因通常分为两类：模型失效与执行失效。前者对应过拟合、均值回归假设破灭、因子衰减等风险；后者对应滑点、撤单、撮合延迟、流动性枯竭等微观结构问题。数据尖峰处于两者之间——它既不是模型预测错误，也不是执行失败，而是输入侧的污染。
这种污染最危险的地方在于，策略通常会按照设计好的逻辑正常运行。模型接收到价格，计算收益率；信号模块判断价格明显偏离均值；组合模块给出仓位；执行模块向市场发送订单。每个模块都可能没有报错，日志也可能显示流程完整。最终损失却来自第一步输入本身。
从数据形态上，金融时间序列的异常值可以分为三类。
1. 单点异常：某一个 Tick、某一根分钟线或某一个成交记录明显偏离相邻观测值，随后价格迅速恢复。
2. 局部异常：数据点在全局样本中并不极端，但放在当前时间窗口、当前品种或当前市场状态下明显不合群。
3. 连续序列异常：一段连续数据出现时间戳错位、价格冻结、成交量重复、行情方向反转等问题，单看其中某一个点未必足够异常。
假设某个单点报价远离前后行情，且成交、盘口、关联合约和其他数据源都没有同步反应，那么它就属于典型的单点异常。单一 Tick 可以偏离局部统计分布很远，却对全局数据集的均值与方差几乎没有影响。如果清洗逻辑只使用全局统计量，这类尖峰甚至可能被漏检。
更麻烦的是，原始错误在数据聚合后可能被隐藏。Tick 数据被汇总成分钟线时，错误价格可能只改变最高价或最低价，也可能因为重采样规则、缺失值填补和时间对齐方式而被部分掩盖。最终得到的开盘价、最高价、最低价和收盘价，在格式上没有问题，但这根 K 线内部已经发生了不应存在的价格路径。
异常值的隐蔽性主要来自几个机制。
第一，标准差会被极端值反向干扰。单点极端值进入窗口后，会拉高均值和标准差。若异常点持续留在窗口中，后续同方向的异常甚至可能被认为没有那么异常。也就是说，越是简单地把异常值纳入统计量，统计防线越容易被异常值本身削弱。
第二，市场数据通常是多频率、多来源的。交易所成交、盘口快照、指数行情、供应商重采样数据之间存在时间粒度差异。一个来源中的错误价格，可能在另一个来源中没有对应成交；如果系统只检查单一序列的连续性，就无法判断这笔价格是否真的被市场接受。
第三，回测引擎往往不会区分数据错误与市场极端。只要价格字段存在、时间戳可以排序、缺失值已经填补，数据就能进入策略逻辑。最大回撤、夏普比率、卡玛比率和换手率会因此发生偏移，但代码本身不会报错。错误不是以异常终止的形式出现，而是以一份看似完整的绩效报告出现。
异常值不是普通噪声。它是输入端的硬故障，最危险的地方在于会让正确运行的代码得出错误结果。
数据尖峰还会产生累积效应。回测阶段，一个错误价格可能制造出极高的收益、异常低的相关性，或者让策略看起来拥有更好的入场机会。实盘阶段，同样的错误价格则可能造成错误开仓、错误止损和错误的保证金占用。单次损失未必足以摧毁账户，但它可能触发连锁反应：仓位发生变化，后续信号被重新计算，风险限额被占用，其他品种的交易也受到影响。
因此，异常检测不能只问这一个点是否异常，还要问它会改变哪些下游状态。一个被隔离的坏 Tick，影响范围可能很小；一个已经写入分钟线、收益率序列、波动率估计和交易信号的数据尖峰，影响范围则会迅速扩大。
统计学防线：滑动窗口与 3σ 法则在行情清洗中的应用
应对单点异常的第一道防线通常是滑动窗口 3σ 法则。该方法以滚动窗口计算局部均值 μ 与标准差 σ，对当前数据点计算：
Z 分数 = (x − μ) / σ
当绝对值超过设定阈值时，将当前点标记为可疑点。最简单的实现，是使用一段历史价格计算滚动均值和滚动标准差，再判断最新价格是否超出阈值。
但在实际行情清洗中，关键不在于会不会计算 Z 分数，而在于窗口到底应该如何构造。
如果窗口包含当前点，异常值会参与均值和标准差计算，检测结果会被污染。更稳妥的做法是使用滞后窗口，即只使用当前点之前已经确认过的数据。这样做会牺牲一点对状态变化的适应速度，却能避免检测器被正在检测的点反向影响。
窗口长度也不能脱离数据频率讨论。按交易日构造的窗口适合描述日频或较慢变化的统计状态，但不一定适合 Tick 级数据。对于高频序列，更常见的做法是按时间长度或观测数量建立局部窗口，同时将交易时段、品种和市场状态分开处理。夜盘和日盘的流动性结构不同，开盘阶段与连续交易阶段的波动也不同。把它们混在同一个窗口里，统计量本身就失去了明确含义。
3σ 法则的有效性依赖两个前提：局部平稳性与近似正态分布。金融市场收益率具有肥尾和波动聚集特性，正态分布在尾部区域往往低估极端事件发生概率。这意味着 3σ 法则存在系统性盲区：在真实波动剧烈的时段，阈值过紧会把大量合法行情标记为异常；阈值过松，又可能放过真正的错价。
价格本身也不是最适合直接进行统计检测的变量。价格带有趋势和单位根特征，连续价格的偏离不一定代表异常；收益率、对数收益率、价差和相对盘口中间价的偏移，通常更适合用于检测。
对于期货，还要额外考虑换月、主力合约切换和合约乘数变化。若合约切换产生了价格跳变，却被错误地当成单点异常，清洗过程会把真实的合约结构变化抹掉。相反，如果切换关系没有被记录，系统也可能把结构变化错误地传播到收益率和波动率序列中。
实践中常见的改良路径主要有三类。
用四分位距降低尖峰对统计量的影响
四分位距方法使用窗口内的第一四分位数 Q1 和第三四分位数 Q3，定义：
IQR = Q3 − Q1
超出 [Q1 − k·IQR，Q3 + k·IQR] 的点被标记为异常。参数取值较小时，检测相对敏感；取值较大时，则更偏向识别极端异常。
四分位距的优势在于它基于分位数，而不是均值和标准差。单个极端点对分位数的影响通常小于对标准差的影响，因此适合处理尖峰污染。它的不足也很明确：在样本量较小、价格分布发生快速迁移，或者窗口内本身存在大量异常点时，四分位数同样可能失去代表性。
四分位距还需要和数据频率匹配。对于成交稀疏的合约，窗口内有效观测过少，分位数本身就可能不稳定。此时，与其机械地套用阈值，不如把结果降级为观察信号，等待更多来源或更多相邻数据确认。
用汉佩尔滤波保护局部中位数
汉佩尔滤波在滑动窗口内计算中位数与中位数绝对偏差。与均值相比，中位数不容易被单个极端值拖动；与标准差相比，中位数绝对偏差对重尾分布更稳健。
当观测值偏离窗口中位数超过某个中位数绝对偏差倍数时，可以将其标记为可疑点。对于数据清洗，标记和替换应该分开。直接把异常点替换成中位数，可能会制造一条人为平滑的价格路径；更安全的做法是先隔离原始点，再根据业务需要使用前值、后值、盘口中间价或供应商修订值进行修复。
汉佩尔滤波对单点尖峰尤其有效，但它并不理解交易规则。如果涨跌停板发生变化、合约临近到期、市场出现真实跳空，中位数过滤器仍可能把合法变化视为异常。因此，它适合做快速拦截，不适合单独承担最终裁决。
让阈值随波动状态变化
固定阈值在低波动和高波动市场中表现不同。低波动阶段，一个小幅跳变就可能具有很高的统计显著性；高波动阶段，固定阈值又容易频繁报警。可以使用滚动波动率，或者使用条件方差模型，对检测阈值进行调整。
波动率自适应并不等于在市场剧烈波动时关闭检测。真正合理的做法，是把异常等级分开：较小的偏离进入观察状态，极端偏离触发拦截；同时要求跨品种、成交量和报价来源提供额外确认。放宽阈值的目的是减少误报，不是给数据错误开放通行证。
三类方案的共同局限是：它们主要识别统计分布层面的异常，无法充分捕捉局部相关结构中的异常。比如价格、成交量和订单流各自都没有越过阈值，但三者组合起来却不可能同时出现。此时，密度方法才有价值。
基于密度的识别：局部异常因子如何捕捉高维异常数据
局部异常因子是一种基于密度的无监督学习算法。它不要求整个样本服从某个统一分布，而是比较一个数据点与其邻域之间的局部密度。如果某个点周围很稀疏，而邻居所在区域相对密集，该点就可能是局部异常。
这类方法适合处理金融数据中的一个常见问题：异常并不一定表现为某个字段单独极端，而可能表现为多个字段组合关系失真。
例如，一笔 Tick 的价格变化幅度并不算大，成交量也在历史范围内，但订单流不平衡度突然反转，相关品种价格没有同步变化，盘口中间价与成交价之间还出现不合理偏移。仅用单变量 Z 分数，可能无法识别；将这些变量组成特征向量后，样本可能落在一个稀疏区域。
局部异常因子的计算过程可以拆解为四步：
1. 确定每个点的第 k 近邻距离。
2. 根据邻居距离和实际距离，计算可达距离。
3. 根据邻域内的可达距离，计算局部可达密度。
4. 将邻居的局部密度与当前点的局部密度进行比较，得到局部异常因子得分。
得分接近 1，通常表示当前点与邻居处于相近密度；数值明显高于 1，表示当前点所在区域比邻居稀疏，更值得检查。这个分数不是价格错误的证明，而是一个风险排序工具。它适合把最可疑的数据点推送给后续规则和人工复核。
在多维金融数据中，输入通常不是单一价格序列，而是特征工程后的向量。常见特征包括：
- 短周期收益率与对数收益率；
- 成交量变化和成交笔数变化；
- 滚动波动率；
- 买卖盘不平衡度；
- 成交价相对盘口中间价的偏离；
- 跨品种价差和跨期价差；
- 行情更新时间间隔；
- 同一时间窗口内不同数据源的报价差异。
特征选择比算法名称更重要。如果把价格、成交量、收益率等具有不同量纲的字段直接输入距离计算，价格尺度可能压倒其他特征。标准化、稳健缩放和按品种分别处理，都是必要步骤。对于明显相关的特征，还要警惕重复计权，否则算法可能把同一类信息当成多个独立证据。
局部异常因子在实盘数据管道中的难点，集中在三个参数：邻域大小、距离度量和异常阈值。
邻域过小，算法会对局部噪声非常敏感；邻域过大，局部结构会被全局结构覆盖。距离度量也会改变结果。标准化欧氏距离适合结构相对规整的数据，马氏距离可以考虑特征协方差，但需要稳定估计协方差矩阵。对于带有时间形状的片段，动态时间规整可能有帮助，不过它的计算成本更高，也不适合直接用于所有 Tick。
异常阈值同样不应被当成固定常数。局部异常因子得分受样本规模、特征维度、市场状态和邻域构造影响。某个阈值在分钟级数据上表现稳定，换到 Tick 级数据后可能产生大量误报；同一阈值在流动性充足的主力合约上有效，换到成交稀疏的远月合约上则可能失效。
局部异常因子的另一个限制是计算成本。朴素实现的复杂度通常接近样本量的平方，对分钟级或 Tick 级高频数据并不友好。实践中可以采用滑动窗口、降采样、近似近邻搜索或分层触发机制。先用快速规则筛掉明显正常的数据，再对可疑片段运行局部异常因子，比对全部数据逐点计算更符合实时系统的约束。
更重要的是，局部异常因子不应直接成为唯一的清洗开关。它可以提供异常分数，但最终动作应由风险等级决定：
| 异常等级 | 典型表现 | 推荐动作 |
|---|---|---|
| 观察 | 轻微偏离，跨源数据基本一致 | 保留原始数据，增加监控标记 |
| 可疑 | 局部密度明显异常，或与盘口、成交量不一致 | 暂缓进入策略信号，等待确认 |
| 高风险 | 极端价格跳变、跨源不一致、时间戳异常 | 隔离数据，触发数据源告警 |
| 已确认错误 | 数据被修订、成交记录无效或违反业务规则 | 不进入训练与交易链路，保留原始归档 |
这种分级比简单地设定一个“超过阈值就删除”的规则更安全。量化系统最怕的不是发现异常，而是把未经确认的判断直接写入不可逆的数据表。
清洗策略的边界：如何区分行情噪声与真实的黑天鹅波动
数据清洗的最大误区，是把所有偏离统计分布的数据点都视为噪声并剔除。这种做法在脏数据场景下有效，但在真实极端市场波动中可能具有毁灭性。
黑天鹅事件的特征是，事后统计分布会被它改写。历史上的重大股灾、金融危机和商品市场极端事件，在发生时都属于统计意义上的异常值；但从历史建模角度看，它们又是真实样本。若清洗管线在数据入库阶段将这些时期的剧烈波动全部标记为异常并剔除，长期波动率模型、尾部风险模型和压力测试都会失去重要信息。
因此，清洗动作必须与删除动作分离。一个点被标记为异常，不代表它应该从历史数据库中消失。至少应保留三种状态：
- 原始状态：数据源最初提供的内容；
- 处理状态：系统是否对它进行隔离、修订或替换；
- 业务状态：该点最终被判断为数据错误、真实行情或暂时无法判断。
这样，研究人员可以用清洗后数据进行策略回测，也可以用原始数据进行压力测试。两套结果的差异本身就是风险信息。若策略只有在清洗数据上表现良好，而在原始数据上出现完全不同的回撤路径，问题就不只是数据质量，还包括策略对异常状态的脆弱性。
区分噪声与黑天鹅，可以从三层校验开始。
第一层：来源标记
任何上游数据源都应尽可能提供来源标识、时间戳精度、修订标记和数据状态。修订标记尤其关键：合法修订与错价修订不应在数据流中使用同一种状态。
如果一个成交记录在供应商后续修订中被撤回，系统应当能将它与真实成交保留在不同的轨道里。没有来源标记，后续的统计判断只能依赖价格本身，而价格本身恰恰是最容易被污染的字段。
多数据源交叉验证也属于这一层。两家供应商同时出现完全相同的价格跳变，并不自动说明它是真实行情，因为它们可能共享同一个上游源；但只有一家出现跳变，而交易所成交、盘口和关联品种都没有同步反应时，错价的可能性明显上升。
第二层：业务校验
统计规则回答的是“这个点是否罕见”，业务规则回答的是“这个点是否可能发生”。
校验逻辑可以包括：
- 价格是否违反合约的涨跌停或交易状态约束；
- 成交量是否与实际成交笔数、盘口变化相匹配；
- 时间戳是否倒退、重复或出现异常间隔；
- 价格变化是否在相邻报价和成交记录中得到确认；
- 关联品种是否出现同步变化；
- 当前时段是否处于开盘、收盘、换月或临时停牌等特殊状态。
单一品种出现极端价格，而全市场、相关指数和关联合约都平静时，更像数据噪声。多个品种、多个数据源、多个市场层级同时出现变化时，则必须谨慎对待，不能因为统计上“太异常”就直接删除。
业务校验也不能被理解为绝对规则。真实市场中可能出现跨品种不同步、盘口短暂失衡和成交量集中爆发。规则的作用是提高证据门槛，而不是代替判断。
第三层：历史归档
每一次清洗操作都应保留原始数据、处理后数据、清洗原因、时间戳、规则版本和服务标识。被隔离的数据不参与默认模型训练，但必须可以恢复和重放。
归档的价值不只在于事后审计。它还可以帮助回答几个更实际的问题：某个数据源是否反复出现同类尖峰？某条规则是否在某个时段误报过多？模型回测中的收益是否依赖少数被清洗的点？升级数据管道后，策略表现变化来自数据质量改善，还是来自信号逻辑变化？
一个常被忽视的风险，是清洗规则过度严格的回测版本被直接用于实盘。回测时，所有“看起来不合理”的极端波动都被剔除，策略表现自然更加平滑；实盘时，相同幅度的波动再次出现，但这次是真实市场变化，策略从未学习过如何应对。训练集与测试集之间的分布偏移，就这样被放大成实际损失。
清洗策略的目标不是消灭异常，而是保留可解释的异常，并让不可解释的异常不会直接驱动交易。
真实黑天鹅与数据错误之间，有时只能在事后区分。系统能做的不是提前知道答案，而是把判断过程、证据和不确定性保存下来。对于无法即时确认的点，暂时隔离通常比擅自修复更安全；对于已经确认的真实极端行情，保留原始数据通常比强行平滑更有价值。
构建鲁棒性数据管道：从回测到实盘的异常值防御体系
完整的异常值防御体系至少应覆盖采集、清洗、校验、监控和回灌五个环节。它们不是五个互相独立的模块，而是一条需要闭环的数据链路。
采集层：先解决单一来源依赖
数据源应尽可能冗余部署。单一数据源的单点故障，是数据尖峰进入策略系统的主要路径之一。常见方案是接入两家或更多数据源，对相同时间窗口内的价格、成交量和时间戳进行交叉验证。
交叉验证不能只比较价格是否相等。不同供应商可能有不同的时间戳精度、撮合延迟和数据聚合方式，因此更适合比较以下内容：
- 报价是否处于允许的价差范围；
- 时间戳是否能在容忍窗口内对齐；
- 成交量和成交笔数是否存在明显冲突；
- 价格变化能否在盘口或关联合约中得到确认；
- 数据源是否出现延迟、断流或批量补发。
多源并不意味着绝对可靠。若多个供应商共享同一上游行情源，错误仍可能同时传播。因此，系统还应记录来源链路，而不是只记录最终供应商名称。
采集层的另一个职责是保留原始报文或原始事件。经过格式转换、重采样和字段映射后的数据，已经不再是完整证据。没有原始层，很多看似简单的错价问题无法定位到具体环节。
清洗层：使用分层规则，而不是单一开关
清洗层不应依赖一条规则。更合理的方式是分层处理。
第一层是基于规则的快速拦截，例如时间戳倒退、价格字段为空、价格跳变明显超过局部范围、成交量出现不可能的负值等。这一层追求低延迟和高确定性。
第二层是统计和密度识别，包括滚动 3σ、四分位距、汉佩尔滤波、局部异常因子或其他无监督模型。这一层处理的是“可疑但未必错误”的数据，因此输出应该包含分数、规则命中情况和置信等级，而不是只有一个删除标记。
第三层是业务语义校验，包括订单流关系、跨品种价差、合约状态和交易规则。这一层可以接受更高延迟，因为它承担的是最终确认，而不是第一时间拦截。
分层之间的数据流应尽量单向传递，避免上游污染进入后续统计量。对实时交易而言，最关键的不是把所有异常都修复，而是在不阻塞正常行情的前提下，阻止高风险数据直接进入信号流。
校验层：让清洗决定与策略信号解耦
校验模块不应完全由清洗模块自身完成。若同一个模块负责提出异常、确认异常并修改数据，系统很难发现自身的误判。
独立校验模块可以维护历史清洗决策、数据源健康度和规则命中记录。比如，同一数据源在短时间内连续出现相同类型的时间戳异常，就不应被视为多个孤立事件，而应提升为数据源级别的告警。
校验结果还应该能够反向影响交易权限。数据源健康度下降时，可以降低相关策略的最大仓位，暂停依赖高频报价的信号，或切换到经过确认的备用数据。这样，异常检测就不再只是数据团队的报表，而会真正进入风险控制。
监控层：关注异常率，也关注异常后的结果
监控层可以输出异常率、误报率和漏报率，但这三个指标必须有清晰的分母和复核机制。
异常率是被标记的异常点占总点数的比例。它适合发现某一数据源突然恶化，但不能单独证明规则有效。误报率是人工或后验复核后被判定为正常的数据点占已标记异常点的比例。漏报率则更难统计，因为系统通常无法直接知道哪些异常从未被识别，需要通过成交回放、跨源比对或事后修订记录进行估计。
指标应至少按品种、交易时段、数据源和规则版本拆分。把所有品种混在一起计算，可能掩盖某个远月合约或某个夜盘时段的异常。
此外，还要监控异常点对策略的实际影响：
- 是否触发了信号变化；
- 是否改变了仓位方向；
- 是否造成非预期订单；
- 是否进入了收益率和波动率计算；
- 是否影响了后续窗口中的统计量；
- 是否在回测与实盘之间造成结果差异。
监控的输出应进入运维面板和审计系统，而不是直接进入策略信号流。监控指标本身也需要版本管理，否则规则升级前后的异常率无法比较。
回灌层：让线上故障成为训练数据
回灌层负责把实盘识别出的异常点、最终复核结果和处理路径写回训练数据集。它的价值不只是让模型见过更多异常，还在于让数据团队知道哪些规则在实际市场中反复失败。
回灌必须区分几种标签：确定的数据错误、真实极端行情、尚无法确认的样本，以及因格式或时序原因导致的技术异常。把所有异常统一标成一个类别，会让模型学到错误的边界。
版本管理同样不可缺少。每一次模型迭代都应该能够追溯到具体的训练数据版本、清洗规则版本和特征版本。否则，线上线下性能变化无法归因：策略变差可能来自模型，也可能来自数据清洗规则变化；回测变好可能来自真正的改进，也可能只是更多极端样本被过滤掉。
整个体系的核心原则是：清洗必须可逆。任何被清洗的数据点都不应被物理删除，而应被隔离到独立存储，并在必要时恢复。原始值、修复值和最终使用值应当可以并列查看。只有这样，系统行为才具备可追溯性。
从一次尖峰回放到完整故障复盘
异常检测体系是否可靠，不能只看算法离线指标。真正有价值的是进行端到端回放：把原始行情、策略计算、订单生成和风险控制按真实时间顺序重新执行。
一次完整复盘至少应回答以下问题：
1. 异常数据最早在哪一层出现，首次被哪个模块看到？
2. 系统是否在进入策略前识别出异常？
3. 如果识别到了，为什么仍然产生了交易信号？
4. 异常点是否被写入分钟线、收益率或波动率序列？
5. 风险控制是否有独立于策略的数据合理性检查？
6. 备用数据源是否可用，切换耗时多久？
7. 清洗后数据与原始数据之间的差异是否被记录？
8. 交易团队能否在事后重建当时的决策路径？
复盘时不能只关注亏损金额。单次损失当然重要，但更重要的是识别系统是否会重复犯同一种错误。如果一次错价只造成一笔止损，系统可能只是缺少一个快速拦截规则；如果错价进入了多个派生数据集，影响多个策略和多个时间窗口，问题就已经从数据质量升级成架构问题。
回放还应覆盖“异常被误判为真实行情”的反向案例。只测试系统能否拦截明显错价，会让规则越来越激进，最终把真实黑天鹅也挡在历史数据之外。一个成熟的防御体系，需要同时测试两类错误：漏掉数据故障，以及误杀真实市场波动。
故障复盘还应检查时间顺序。许多系统在离线分析中能够识别异常，但实盘链路中的问题在于：检测结果出现得太晚，或者结果虽然生成，却没有阻断策略使用已经污染的数据。于是，问题并非算法没有识别能力，而是识别、决策和执行之间没有形成有效的闭环。
这也是为什么数据异常的复盘不能只由数据团队完成。研究、交易、风控、基础设施和供应商管理环节都可能拥有一部分证据。只有把原始报文、清洗日志、策略输入、订单日志和风险状态放在同一条时间线上，才能判断到底是哪一层没有发挥作用。
结尾：参数、局限与无法消除的尾部风险
滚动 3σ、四分位距、汉佩尔滤波和局部异常因子，在不同数据频率、不同标的特性、不同市场状态下具有各自的适用范围。没有任何一组参数能够适用于所有场景。参数调整的目标，也不应只是最大化异常识别分数，而应同时考虑误报、漏报、交易延迟、策略表现和数据可解释性。
如果只追求识别率，系统很容易把真实市场波动全部标记为异常；如果只追求低误报，系统又会放过真正的错价。更合理的评价方式，是把检测结果放进完整回测和故障回放中，观察它是否减少了不可解释的交易、是否降低了数据污染对策略的影响，以及是否保留了足够的真实极端样本。
算法的局限性集中在三点。
第一，所有方法都默认异常在统计或几何层面可以被区分。面对刻意构造的隐蔽污染，或者与真实市场状态高度相似的错误数据，识别率会明显下降。
第二，局部异常因子等密度方法对高维数据的维度灾难敏感。特征数量越多，不代表信息越丰富。无关特征、重复特征和不稳定特征都可能改变邻域结构。特征工程的质量，往往比模型名称更能决定检测效果。
第三，也是最根本的局限：任何清洗策略都无法在数据刚发生时准确区分“未来会被证明是噪声的数据点”和“未来会被证明是黑天鹅的数据点”。这一区分通常只能依靠更多来源、更多上下文和事后证据完成。
因此，数据清洗不应被设计成一个不可逆的删除按钮。它更像一套分层的风险决策系统：先记录，再比较；先隔离，再确认；在无法确认时保留不确定性，而不是用一个过于自信的标签替代事实。
防御体系的目标不是消除崩盘，而是把崩盘频率控制在业务可接受的范围内，并将每一次崩盘归因到具体模块、规则和数据版本。
对量化系统而言，数据尖峰与黑天鹅在输入层面可能是同一种东西：它们都表现为偏离统计分布的极端值。清洗策略有机会拦截前者，却只能在更多证据出现后识别后者。系统设计者真正能控制的，不是下一次尖峰何时到来，而是尖峰到来时会不会直接穿透所有防线。
一个健壮的系统应该允许异常被发现、被隔离、被复核，也允许真实极端行情继续进入风险模型。它不追求一份永远平滑的历史数据，而是追求一条能够解释数据变化、回放交易决策并在错误发生后迅速收敛的管道。
这最终是工程问题，不是预测问题。
相关阅读: 交易员决策疲劳应对策略：减少日内无效交易的系统化方案 、 全职交易员的社交孤立：享受孤独还是走向心理失衡？.