用户案例
快手:百亿级图数据在快手安全情报的应用与挑战
本文整理自 快手 移动安全部 在 2021年 NUC(NebulaGraph 用户大会)上的分享
公司简介
快手是一家全球领先的短视频社交平台,通过帮助用户在移动设备上制作、上传、观看短视频和直播内容快速积累了大量主播和粉丝资源。2020年上半年快手日活跃用户达到3.02亿,并于次年2月在香港联交所挂牌上市。
传统的关系型数据库,在处理复杂数据关系运算上表现不足——随着数据量和深度的增加,关系型数据库无法在有效的时间内计算出结果。所以,为了更好的体现数据间的连接,企业需要一种将关系信息存储为实体、灵活拓展数据模型的数据库技术,这项技术就是图数据库(Graph Database)。
业务挑战
- 平台图数据已达到千亿规模
随着直播和电商业务的高速发展,平台数据量近几年出现爆发式增长
- 移动安全面临多重挑战
网络攻击手段层出不穷,快手旗下十余个产品都面临着账号破解、批量注册、撞库、刷人气等风险
解决方案
以 NebulaGraph 为底座构建情报知识图谱平台
基于安全数据的图结构数据建模,可以将原来的平面识别层次变成立体网状识别层次,能帮助企业更清晰准确的识别攻击与风险。
场景1:群控识别
异常的访问常常隐藏在多数的正常访问数据中,但这些关系呈现在图(Graph)上就非常明显,如果有大量设备通过同一个IP访问,基本就可以判断为是群控设备。
场景2:恶意流量识别
快手App上的视频在播放量、点赞量达到一定数量后就可以登上热门页,官方的推荐也会被更多人看到。有些人会针对这个规则作弊,而这种行为的特征也很明显——同一个设备切换IP、机型、账号给同一个视频点赞刷量,只需导入情报平台后就能一眼识别出来。
场景3:攻击发现与溯源
互联网公司不可避免地会面临一些网络攻击,而只需将攻击者的 IP 输入情报平台就能看到对应的设备和 UID、手机号,帮助技术人员快速定位攻击源头。
场景4:全方位风险识别
账号、设备、网络、行为风险都是单维度的识别,图(Graph)能将这些风险行为和其他数据(如地理位置、经纬度信息)串联成网状结构,看起来就非常清晰。
使用收益
- 大数据使防守方第一次处于优势地位
在安全领域,攻击方和防守方从来都不是对等的,攻击方往往掌握更多的信息和时间。而大数据技术让防守方可以进行离线或实时分析,借助机器学习或者深度学习工具进行风险预警,第一次掌握了风控的优先权。
- 用图的方式能更有效组织情报数据
自然存在的事物本身就是充满联系的,图技术天然拥抱联系,能对客观事物进行最为准确的抽象表达。相比于传统关系型数据库,图数据库性能更高、更灵活、更符合敏捷开发的需要。