垃圾短信治理技术应用
垃圾短信治理技术应用
马润民，李盈
（中国移动通信集团青海有限公司，西宁 810008）
摘　要　垃圾短信目前依然是困扰用户和运营商的一大问题。本文根据运营商治理垃圾短信的现状，采用了基于用户
行为特征的垃圾短信治理策略管理的技术和开启行业应用短信网关前转消息主叫号段鉴权的方法，有效提高垃圾短信的拦截效率，降低误拦率，取得了良好的社会效益。
关键词　垃圾短信；用户行为特征；主叫号段鉴权
中图分类号  TN918      文献标识码  A      文章编号  1008-5599（2016）12-0047-04
收稿日期：2016-11-24
对于垃圾短信治理各行各业提出了许多治理垃圾短信的方法，如基于特征词的垃圾短信分类模型，5MAP 手机广告平台等，但截至目前依然是困扰用户和运营商的一大难题。近年来，运营商以业务安全
管控为基础，技术反制为手段，通过全面分析垃圾短信投诉样本，及时获取垃圾短信的热点内容，并随之动态优化调整关键字策略，加强策略监控拦截力度，有效降低了每万用户垃圾短信量及客户投诉量。但是靠人为识别垃圾短信关键字并进行策略优化远不能企及垃圾短信爆发的速度，再加上策略集优化工作量大，垃圾短信的治理过程中不免存在策略简单粗放，短信误拦等现象，使得已取得的成效无法巩固。因此，中国移动在现有垃圾短信治理经验上，引进先进技术，采用科学管理，进一步推动垃圾短信的治理效果。
1  白名单+科学封堵
为改变策略简单粗放的现象，运营商在深入研究垃
圾短信行为特征的基础上采用了基于客户综合特征分析的垃圾短信治理策略，建立起白名单和科学封堵模型相结合的垃圾短信治理模式，从科学封堵运营数据的统计分析、效果评估方面入手，及时更新策略，努力提高策略分层管理有效性，深化策略科学封堵管理常态化，形成一整套基于客户特征分析的垃圾短信治理长效机制，实现精细化、行为级、高效性的垃圾短信治理。 1.1 实现原理及过程
首先通过经营分析系统，构建用户短信发送行为的识别模型，接着根据模型运行的结果得到相应的白名单及危险名单，进一步分解为一级白名单、二级白名单、低危用户名单和高危用户名单数据，然后根据名单制定策略并部署到垃圾短信监控系统中，最后根据现网中的应用效果及相关的反馈数据实现
模型优化提升，并对市场源头治理形成相关建议。
1.1.1 白名单分层分级
模型构建后，主要是根据用户行为建立各级白名单和危险用户名单组，通过经分系统对用户属性、通信行
为等数据进行分析，综合发送垃圾短信的风险程度、信誉等级等因素来细分客户体，得到分类后的白名单、危险用户名单，同时结合人工参与再对名单进行分析，并从白名单中抽取一级白名单和二级白名单、从危险用户名单中抽取高危用户名单和低危用户名单，最后对各类名单进行增删调整形成最终输出。
1.1.2 号段/号码组安全系数配置
建立白名单分层分级的目的是对于不同级别的白名单采用不同安全系数实现不同级别的管控，垃圾短信拦截平台采用同一套策略，对于不同分组设置有针对性的监控和拦截规则。一个用户只能属于一个带安全系数的用户组，安全系数越高，说明该用户发送垃圾短信的可能性越小，监控策略配置越宽松。
各用户组上线后，对应安全系统按照如表2进行配置。
1.1.3 各级白名单导入
运营商垃圾短信系统中导入经分的用户组数据共计341 846个，其中一级和二级白名单数据按照一定的百
分比输出数据，低危和高危用户为
固定的40000和10000，普通号码
黑衬衣组（如86134,86189等）以号段
的方式加入。完成各号段/号码
组建立和相应安全系统配置以后，
上文建立的各级白名单即可导入到
对应的号段/号码组中去，同时
将号码导入已经建立好的具有安全
系数的号码组中。
1.1.4 优化策略结构
结合每一级别客户的行为特点，在垃圾短信监控系统中制定有针对性的精细化组合策略，将各级白名单导入对应的号段/号码组以后，如低危风险用户导入“低风险”号码组，将高风险用户导入“高风险”号码组等，还要启用特殊的流量、关键字规则以达到“严打”和“降低误拦”的区分对待的目的。低风险用户除了启用较普通用户严格两倍的纯流量监控策略，还启用了目的号码离散策略；高风险用户同样启用了较普通用户严格两倍的纯流量监控策略，还启用了较普通用户严格两倍的省外号段命中率策略。在关键字方面，对于低危用户设置了更为严格的房产和金融类关键字策略，同时根据垃圾短信平台中的审核情况、用户投诉等数据进行动态调整，验证调整客户模型，评估优化定制策略的有效性，实现策略运营的闭环管理，即可形成一套基于客户特征分析的垃圾短信治理组合策略集。
1.2 效果分析
运营商启用白名单+科学封堵模型后，通过五级号码区分流量和关键字策略，在拦截高风险用户方面各项指标较以往均有明显提升。同时在降低人工审核量、降低误拦截量、降低投诉量、提升垃圾短信命中率和保护高价值客户等方面起到积极的改善效果。
（1）人工审核量降低：一级白名单加入系统以后，放松安全系数，大大降低审核量。
（2）误拦率降低：规避因误拦截引发的高端客户投诉风险，一/二级白名单中违规用户占比降低。
名单组组别特征
白名单利用经营分析系统现有的数据及分析能力，对用户的基础属性、业务行为等进行深入挖掘、分析、获取的发送垃圾信息概率低的用户名单
一级白名单白名单中发送垃圾信息概率极低的用户名单
二级白名单白名单中除一级白名单外，发送垃圾信息概率相对较低的部分用户名单
高危用户名单危险用户名单中发送垃圾信息概率极高的用户名单。在本文档中又称为高风险用户名单
低危用户名单危险用户名单中除高危用户名单外，发送垃圾信息概率相对较高的部分用户名单。在本文档中又称为低风险用户名单
普通用户现网全量用户中，除一级白名单、二级白名单、高危用户名单、低危用户名单中用户外的其他用户
表1  用户组别特征表
用户组安全系数（非政治类）安全系数（政治类）关键字流量关键字流量
一级白名单10010011二级白名单5511普通用户1111低危用户10.811高危用户10.511
表2  用户组安全系数配置表
（3）命中率提高：收紧高风险用户的安全系数，垃圾短信拦截命中率提升7倍。
（4）每万用户垃圾短信量降低：2016年8月运营商每万用户垃圾短信量较2015下降62.57%。
（5）投诉量降低：2016年9月运营商垃圾短信被举报量同比下降83.72%。
（6）高价值客户保护：白名单号码多为高星级用户及党政机军高端客户，白名单使用体现客户品牌价值，提高了客户满意度。
2  行业网关全网账号主叫鉴权技术
随着即时通讯工具（如QQ、等）的发展，点对点的短信量（即用户之间）今年来呈逐年降低趋势；但是因为政企用户对于短信批量通知、信息及时传递、业务营销等需求越来越旺盛，行业类短信反呈逐年递增趋势。
2016年8月短信业务量较去年同期下降了27.69%，较前年同期下降了34.03%，2016年9月短信业务量较去年同期下降了26.64%，较前年同期下降了29.03%。
行业短信的需求增长极为迅猛，2016年8月行业网关下行短信业务量较去年同期增长了40.16%，较前年同期增长了123.77%，2016年9月行业网关下行短信业务量较去年同期增长了68.82%，较前年同期增长了99.97%。
在点对点短信业务日趋下降的同时，行业类短信成了短信业务量的新的增长点，而行业类短信的大量飞速增长，也带来了大量的商业性垃圾短信。商家的营销推送、日常业务推送都会给用户带来困扰。鉴于这种情况，相关部门也出台了相应的规范对行业类短信进行管控，例如企业签名前置，避免企业逃避企业签名；用户可以使用0000进行自主查询退订行业类业务。
2.1 消息签名问题
现有规范要求：EC/SI在提交MT消息时，需自己对短信进行拆分，假设拆分后的短信共N（N≥1）条，即Pk_total＝N，前N-1条短信不会被加签名，第N 条（即最后一条， Pk_number＝N）短信会被加上签名。
因此当EC故意不发送最后一条消息，可逃避企业签名。
或者EC/SI提交短信时，故意将Msg_Fmt字段选择为非CMPP协议明确规定的5种信息格式时，导致非CMPP协议规定的信息格式的短信在终端上能正确显示，且未加签名, 从而达到逃避行业应用网关签名的目的等。
2.2 0000/0000无法有效退订问题
行业应用网关的黑白名单由BOSS 同步而来，当个人用户上行“0000/00000”退订集团业务后，行业网关对用户主动退订业务进行特殊标记，同时反向同步至BOSS，避免集团客户再次将该手机号码从BOSS侧加入白名单/退出黑名单。
ps怎么抠图以上两种方法都可以有效规范企业的行为，可一定程度上避免EC滥用短信通道导致用户大量接收的现象。同时，还有一种通过行网关跨省发送垃圾的现象也有可能造成严重的后果。
2016年元旦，运营商EC端口被黑客攻击，获取了账号、密码权限，伪装成正常的EC登录行业短信网关，又伪装成全网EC，给外省用户发送了超过百万级数量的垃圾短信，其中A省因为垃圾短信平台未能及时拦截，导致大量用户接收到垃圾短信，造成了非常负面的影响。鉴于此次安全事件，在深入研究全网短信下发的基础上，与相关部门商定后开启了行业网关主叫号段鉴权功能，避免省端用户遭受到同样原因导致的垃圾短信事件。
3  全网行业短信下发原理
全网EC/SP首先接入本地所在行业短信网关（一般为省级行业网关），将需要下发的短信内容，接收号码等按照CMPP协议提交到行业短信网关，行业网关根据接收号码进行分拣，如果是本省用户就直接提交短信中心下发，如果是外省用户，就通过本省行业网关与大学生个人鉴定
外省行业网关之间的链路将短信转发，外省行业网关收到后再提交到该省的短信中心进行下发。
因为行业网关对于前转短消息（其他省转到本省的消息）是基于被叫号码转发的，如果被叫是本省用户则直接透传到短信中心，而短信中心为了节省号段资源，多为大号段匹配，所以本省某EC 并不是全网业务，也能给全网用户下发短信，如果此时垃圾短信平台拦截不力，就会造成大量用户投诉。具体流程如图1所示。
4  主叫鉴权实现原理
对于此次案例中，如果A 省能及时识别某EC 并非全网业务，就能将垃圾短信屏蔽于网关之外。本着这种思路，行业网关开启了对前转消息的主叫鉴权功能。
Application of technology in spam short messages controlling
MA Run-min , LI Ying
初一数学教学工作总结(China Mobile Group Qinghai Co., Ltd., Xi'ning  810008, China)
Abstract        The problem of spam short messages is still bothering mobile use rs and communication operators .
According to the effect of controlling spam messages, this paper presented two methods of spam messages filtering, which based on characteristics of users and calling code authentication in IAGW forwarding messages, improved the effi ciency of spam messages controlling, reduced the rate of false alarm and made a good demonstration to social.
经费管理办法Keywords      spam short messages; characteristics of users; calling code authentication
参考文献
[1] 张永军, 刘金岭. 基于特征词的垃圾短信分类器模型[J]. 计
算机应用, 2013,33(5):1334-1337.
[2] 秦晓飞, 张敏. 用市场化手段治理垃圾短信顽疾[J]. 业务与
支撑系统, 2013(18):89-92.
[3] 孙大鹏. 云计算技术在垃圾短信过滤中的应用与实现[J]. 信
息网络安全, 2015(7):13-19.
图1  行业网关业务流程图
路考内容开启主叫鉴权功能以后，同时将各省对应的全网EC 录入的号段鉴权表中，当外省某EC 给本省用户时，就会在号段鉴权表进行匹配，拒绝未申报的EC 的消息进入，进而拒绝该EC 给本省用户下发垃圾短信。同时在制作全网局数据时对主叫鉴权号段进行更新，保证正常EC 全网业务的顺利下发。
5  结束语
垃圾短信的治理是一项长期而又艰巨的任务，本文从白名单+科学封堵和行业网关前转消息主叫鉴权分析了运营商可以采取的垃圾短信治理手段，并取得了良好的效果。但是随着技术的不断发展，大数据时代和云计算时代的来临，云计算结束在治理垃圾短信问题上突显出相当大的优势。同时，市场侧的管理和用户侧反垃圾短信的意识提高，也是协同治理好垃圾短信的重要因素。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。