第1章
绪论

本章主要介绍流量反欺诈的相关基础知识，包括互联网流量的发展历程、大数据时代的流量欺诈问题、流量反欺诈挑战和系统架构4个方面，为后面章节阐述流量反欺诈的详细对抗方案作铺垫。

1.1 互联网流量的发展历程

互联网诞生于20世纪60年代，其雏形是由美国国防部构建的一个小型网络——阿帕网（Advanced Research Projects Agency Network，ARPANET），刚开始网络中的节点比较少，主要包含加利福尼亚大学洛杉矶分校、斯坦福研究院、犹他大学等节点，通过网络中节点之间的数据交换和共享，实现军方、科研机构等之间的信息互通。

由于最初的互联网是小型网络，用户量很有限，因此流量很小。但随着互联网技术的不断革新，互联网逐渐发展成为拥有巨大规模的“万物互联”的全球性共享网络，连接的终端已经不局限于PC、平板电脑和手机，甚至智能手表、智能眼镜等智能穿戴设备也可以连接上网。全球海量用户共同加入互联网，并互动和共享信息，导致互联网流量呈现爆发式增长。互联网流量爆发不是一蹴而就的，而是经历了漫长的发展历程，这里主要从中国互联网流量发展的角度进行具体阐述。根据中国互联网流量规模的不断扩大，可以将中国互联网流量的发展历程分为PC互联网时代、移动互联网时代、云计算和大数据时代3个阶段，中国互联网流量的发展历程如图1.1所示。

中国互联网流量发展的3个阶段具有不同的特点。

● PC互联网时代：流量的载体以网站、PC客户端软件为主，交互模式主要是用户搜索和浏览，整体数据量相对较小。PC互联网时代的流量欺诈问题主要集中在传统的基础安全上，如恶意软件、漏洞挖掘和钓鱼木马等。

● 移动互联网时代：流量的载体以网站、App为主，交互模式更多是用户参与互动，所以数据量呈现爆发式增长。移动互联网时代的业务形态多种多样，业务场景也非常丰富，所以流量欺诈问题层出不穷，如推广结算欺诈、“薅羊毛”欺诈、电信诈骗等。

● 云计算和大数据时代：出现了公众号和小程序等新型流量载体，更有短视频等应用的快速发展，给用户更多参与互动和创作的入口和更低的门槛，致使数据量持续快速增长。同时在流量欺诈中，也出现了更便利的云端黑产工具，如云挂机、云控等。

下文将详细阐述中国互联网流量发展历程中3个重要阶段的流量特点和流量安全问题。

1.1.1 PC互联网时代

互联网流量发展的第一个重要阶段是PC互联网时代。该阶段的主要流量载体是各类门户网站，如腾讯、百度、搜狐和网易等。用户主要通过搜索和浏览获取信息、进行单向互动，PC互联网时代的交互模式如图1.2所示，这种交互模式降低了信息的获取门槛，提升了信息传播的效率。但该阶段用户的互动程度还不高，用户很少能深度参与到互联网内容的创作中，产生的数据形态主要以文本数据为主，也有少量的图像数据。另外，这个阶段中国互联网的普及度不高，因此流量的整体规模也比较小。该阶段的流量欺诈问题，主要是恶意软件、漏洞挖掘等基础安全问题。

从高用户渗透率的变化来看，PC互联网时代的互联网产品演变主要经历了3个关键节点，如图1.3所示。搜索引擎是PC互联网时代的基础设施，连接了人与信息，所以率先达到高用户渗透率的产品是百度等搜索引擎门户网站，这类产品成为互联网流量的第一入口；然后在基础设施比较完善后，开始进入连接人与人的关键节点，微博、QQ等社交娱乐产品进入了高用户渗透率产品的行列；最后是连接人与商品的关键节点，以淘宝和京东等为代表的电子商务门户网站，开始进入高用户渗透率产品的行列。

1.1.2 移动互联网时代

随着3G（第三代移动通信技术）网络和智能手机的普及，数据高速传输有了更好的支撑，互联网流量发展迎来了第二个重要阶段——移动互联网时代。该阶段出现的重要产品，有些是从PC端迁移到了移动端，如QQ、淘宝、京东、百度等。随着时代的进步，一些具有代表性的新产品应运而生，如微信、美团、拼多多和抖音等。流量载体相比第一阶段新增了移动端App，用户不再是与平台进行单向互动，用户可以根据个人喜好，随时随地分享自己的生活和工作，与平台形成了双向互动。移动互联网时代的交互模式如图1.4所示，用户在互动中产生大量的用户生成内容（user generated content，UGC）和专业生产内容（professionally generated content，PGC），互联网流量呈现爆炸式增长。该阶段的用户产生的数据形态主要以图文数据为主，还有少量的语音和视频数据。该阶段的流量欺诈问题主要是推广结算欺诈、“薅羊毛”欺诈、电信诈骗和支付欺诈等业务欺诈问题。

从高用户渗透率的变化来看，移动互联网时代的互联网产品演变主要经历了3个关键节点，如图1.5所示。区别于PC互联网时代，该阶段率先达到高用户渗透率的产品是社交、长视频、音乐和游戏等社交娱乐产品，其中社交产品取代了搜索引擎，成为移动互联网时代流量的第一入口；然后，电子商务从PC端迁移到移动端，也得到了进一步发展，进入了高用户渗透率产品的行列，其中具有代表性的是淘宝、京东、拼多多等产品；最后是在社交娱乐和电子商务这两大板块之外的其他细分领域，如外卖、导航和旅行等细分领域产品，也进入了高用户渗透率产品的行列。

1.1.3 云计算和大数据时代

随着云计算等相关技术的发展，互联网业务海量数据的存储、计算和应用成为可能，互联网流量发展迎来了第三个重要阶段——云计算和大数据时代。云计算和大数据时代的互联网产品演变主要经历了3个关键节点，如图1.6所示。该阶段各关键节点主要出现了直播、短视频、线上会议、在线教育等领域的产品，流量载体相比前两个阶段新增了小程序和公众号。该阶段的用户不只是简单的互动，而是根据个人爱好或者出于盈利目的，用户通过自主创作内容，深度参与到互联网的互动中，从而产生海量数据，数据规模持续增长。该阶段产生的数据形态除了图文数据，还有语音和视频数据，而语音和视频数据规模也达到了前所未有的高度，真正迎来了互联网的大数据时代。该阶段的流量欺诈问题除了有推广结算欺诈、“薅羊毛”欺诈和电信诈骗等移动互联网时代已有的业务欺诈问题，伴随着云业务的发展，还出现了云挂机和云控等新型欺诈问题，下文详细介绍大数据时代的流量欺诈问题。