中国联通智慧足迹开发的SSNG多源数据处理平台,是完全自研的新一代面向行为集成的位置数据处理系统。平台沉淀海量信令处理过程中的长期经验,着力解决影响数据输出质量的核心堵点,可兼容类似信令的多种LBS数据源接入并实现自动化、标准化输出数据结果。
技术说明
SSNG多源数据处理平台技术创新部分包括:
行为矩阵:将离散的驻留信息,转化为用户的时空矩阵,通过机器学习模式识别,提取出用户的LBS行为特征。
行为集成:将用户的行为矩阵,结合搜集沉淀的土地利用&地物POI数据,为用户的驻留、出行信息赋予具体的目的,便于后续的场景化分析。
人车匹配:结合车联网LBS数据,将轨迹重合度高的“人-车”用户对,通过轨迹伴随算法识别出来,可用于判断用户的车辆保有情况。
路径拟合:解决信令数据定位不连续和受限基站布设密度等问题,引入路网拓扑数据,将用户出行链还原至真实道路上,并确定流向及关键转折点,以便于判断出行方式。
出行洞察:利用信令数据、基站数据,匹配地铁网络、高铁网络,通过机器学习算法,判定用户出行时使用的出行方式。
基于SSNG多源数据处理平台,可实现的技术突破包括:
1)全国长时序人口流动监测技术
针对运营商信令数据以及spark分布式计算平台的特点,独创了处理运营商信令数据的双层计算框架,填补了分布式机器学习方法处理运营商信令数据的空白,实现了大规模高效治理运营商大数据的愿景;研发了人口流动与现代大数据技术相结合的宏观监测仿真模型。
基于以上技术构建了就业、交通、疫情、春运等一系列场景模型,并开发了响应决策平台,实现了对我国人口就业、流动及疫情影响的全域实时监测。
2)全国长时序人口流动预测技术
即人口流动的大尺度OD预测技术,研发了人口跨区域流动OD预测模型,解决了信令大数据在量化模拟大尺度人口流动中的技术难题,形成了对全国人口流动在日、周、月不同时间段和社区、乡镇、县市不同地理尺度进行预测的先进技术,实现了2020年新冠疫情后全国返城返岗和2021年全国春节期间人口流动的高精度预测。
3)实时人口监测
实时人口监测是通过对用户手机信令进行实时处理、计算和分析,得出指定区域的实时人口数量、特征和迁徙情况。包括区域人口密度、人口数量、人口结构、人口来源、人口画像、人口迁徙、职住分析、人口预测等信息。
4)超强数据处理及AI能力
引入Bitmap大数据处理算法及Pilosa数据库集群,采用实时流式计算,集成Kafka、redis、RabbitMQ等分布式大数据处理组件,搭建自有信令大数据处理平台,使用百亿计算go-kite架构,实现毫秒级响应,实时批量处理数据达500000条 /秒,每天可处理1000亿条数据。集成AI分析能力(A/B轨),有效避免了运营商数据采集及传输过程中的时延及中断情况,大幅提高数据结果的实时性。
已获专利情况:
专利名称 专利号
出行统计方法、装置、计算机设备和可读存储介质 ZL 2020 1 0908424.3
信令数据匹配方法、装置及电子设备 ZL 2019 1 1298869.8
轨道交通用户识别方法和装置 ZL 2019 1 0755903.3
公共聚集事件识别方法、装置、计算机设备及存储介质 ZL 2020 1 1191917.6
广域高铁基站识别方法、装置、服务器及存储介质 ZL 2020 1 1325543.2
相关荣誉:
2021地理信息科技进步奖一等奖、中国测绘学会科技进步奖特等奖、2021数博会领先科技成果奖、兼容系统创新应用大赛大数据专项赛优秀奖。
开发团队
·带队负责人:陶周天
公司CTO,北京大学理学学士。长期任职于微软等世界500强企业,曾任上市公司优炫软件VP,具备丰富的IT架构、数据安全、数据分析建模、机器学习、项目管理经验。牵头组织突破多个技术难题(人地匹配、人车匹配、室内基站优化、行为集成AI等),研发一系列技术专利。
·团队其他重要成员:刘祖军
高级算法工程师,美国爱荷华大学计算机科学本硕,曾任职于美国俄亥俄州立大学研究院。
·隶属机构:智慧足迹
智慧足迹数据科技有限公司是中国联通控股,京东科技参股的专业大数据及智能科技公司。公司依托中国联通卓越的数据资源和5G能力,京东科技强大的人工智能、物联网等技术和“产业X科技”能力,聚焦“人口 ”大数据,连接人-物-企,成为全域数据智能科技领先服务商。
公司以P·A·Dt为核心能力,面向数字政府、智慧城市、企业数字化转型广大市场主体,专注经济治理、社会治理和企业数字化服务,构建“人口 ”七大多源数据主题库,提供“人口 ” 就业、经济、消费、民生、城市、企业等大数据产品平台,服务支撑国家治理现代化和国家战略,推动经济社会发展。
目前,公司已服务国家二十多个部委及众多省市政府、300 城市规划、知名企业和高校等智库、国有及股份制银行等数百家头部客户,已建成全球最强大的手机信令处理平台,是中国就业、城规、统计等领域大数据领先服务商。
相关评价
新一代SSNG多源大数据处理平台,提升了手机信令数据在空间数据计算的精度,信令处理结果对室内场景更具敏锐性,在区域范围的职住人群空间分布更加接近实际情况。
——某央企大数据部技术负责人
新一代SSNG多源大数据处理平台,可处理实时及历史信令数据,应对不同客户应用场景。并且根据长时间序列历史数据实现人口预测,为提高数据精度可对接室内基站数据,从而提供更加准确的人员定位。
——某企业政府事业部总监
,