在策略部署上线并开始进行决策后,需要持续对线上运行的策略进行监控,若发现策略决策结果与预期出现较大的偏差,要尽快分析原因并基于分析结果决定是否进行策略调优。策略监控主要从微观和宏观两个层面进行。
(1)从微观层面进行监控
在从微观层面对已上线策略进行监控的时候,重点关注的是具体规则的运行情况,监控指标需要细化到单条规则上。在对具体规则进行监控时,通常会监控规则的决策结果是否异常,是否符合预期等,若有异常或与预期相悖,则要及时查找原因并决定是否要对相关规则进行调优。
(2)从宏观层面进行监控
在从宏观层面对已上线策略进行监控的时候,重点关注的是项目层面的风险表现情况,监控指标通常是某个或多个风控场景策略汇总后的决策结果。在策略上线决策后,策略整体的决策结果直接影响项目相关的风控指标,项目相关风控指标反过来可以说明策略效能情况。在监控项目相关风控指标的时候,若指标异常或项目风险表现达不到预期,则很大的可能是某些风控场景的策略存在异常,需要从整体到局部逐一排查,若发现异常,则要及时对策略进行调优。
在实际生产中,策略监控情况相对复杂,在设计策略、项目层面监控指标,以及确定指标异常值范围的时候,要结合业务情况,具体问题具体分析。