雨杰棋牌
列位看官，你道此文从何而来？说起根由虽近荒唐，细谙则深有趣味，且听笔者细细道来。
作者 | 爱奇艺技术团队
责编 | 唐小引
出品 | CSDN（ID：CSDNnews）
第一回 风起云涌
怒来无发亦冲冠，剑气能令六月寒
有人的地方，就有江湖；有江湖的地方，就有黑白善恶，也就有了黑白和善恶无尽的斗争。
在互联网的江湖中，有这么一群邪恶的组织，散落在世界各个阴暗角落，为了谋取利益（据传该利益市场有千亿之巨），为非作歹，对江湖各名门大派以及无名小派，进行盗号、薅羊毛、散播病毒、广发垃圾帖、刷单刷量等破坏行为，严重威胁到江湖稳定，甚至有些门派因此被迫退出江湖。
我们称他们为，黑产。
作为互联网视频江湖的重要一脉，爱奇艺自然是黑产重点关注的对象。在黑产的各种破坏行为中，对千千万万享受爱奇艺视频内容服务的老百姓中，产生直接影响的，就是广发垃圾帖，通常都是广告、色情信息内容。
为了社区内容的繁荣稳定，对抗黑产发帖派，钟馗就此诞生。
钟馗（kui），钟馗的钟，钟馗的馗，与中国古代神话人物钟馗重名（如有雷同，纯属故意）。
籍贯，爱奇艺技术团队。
职业，反垃圾。
虽然钟馗出生于互联网时代，但早在几百年前，就有人称赞过钟馗的厉害。有诗为证：“怒来无发亦冲冠，剑气能令六月寒”。从出生起，钟馗就在诸位名师的指点下，苦练本领，希望能成为各业务、各社区的守护神。
除了与黑产发帖派进行对抗，社区里也有很多骂人的、灌水的、发无语义内容的普通用户，这部分内容，通常也是不允许存在的。有时候，钟馗像个警察，除了广告贴、色情贴这种涉黑的刑事案件，各种灌水、骂人扰民的民事纠纷也要管理。
第二回 系统架构
寻龙分金看缠山，一重缠是一重关
当前钟馗采用 QAE 方式部署，便于横向纵向扩展，也支持例行任务批量调用。如下图所示，当前文本反垃圾系统架构分为三层，分别为服务层、算法策略层、模型管理层、监控层。
其中，服务层负责为各业务方提供服务接口，各业务方通过 HTTP 请求形式调用反垃圾服务，传入相应参数即可得到返回结果；
算法策略层为垃圾检测的核心环节，又分为预处理模块、规则模块、关键词模块、风控模块、模型模块等几个部分，每个模块又细分为数个到数十个的子模块。策略组支持按业务需要配置，可针对不同的业务定制不同的算法策略组合，以满足不同业务针对文本特点、响应时长的需求，有很高的配置灵活性。除此之外，策略组还支持短路操作，即有某一策略判定该条文本为垃圾文本，则不再进行后续判断，可以加快响应速度，缩短响应时间；
在算法策略层之下则是一些辅助与交互模块，主要有人工审核数据分析系统、预料标注系统、ML 模型离线训练系统、日志检索引擎与监控报警系统，该部分一方面可进行语料数据集的扩充、标注以及利用其进行相关机器学习、深度学习模型的训练工作，另一方面可以针对反垃圾服务的各项指标如 QPS、调用量等的监控及报警，保证服务稳定性。