新闻
快稳准!Qcubic在联通智网实时数据加工平台的创新实践
01
联通智网承载联通网络线“创新”使命,面临日益增长的实时数据加工需求
中国联通智网创新中心隶属于中国联通集团,承担着网络能力创新及智能网络中心运营等职责,打造了一系列面向网络运营的数字化运营产品和面向客户的网络创新产品,为网络运营数字化转型赋能增效。实时数据加工和服务平台是智网创新中心打造的实时和流式数据加工分析平台,其从网元设备收集特定的数据,按照制定的规范解析数据并进行实时数据加工处理,满足实时应用关键场景需求。
实时数据加工平台肩负实现一张全国全量的用户实时关键信息库,其数据来源于全国31省各地网元设备,数据量庞大,底层需要高并发、高可用、多条件查询、支持SQL组合查询等条件的数据库来满足实时关键信息库的能力要求。
02
Qcubic性能优势突出重围,成功上线实时数据加工平台
由于严苛的性能需求,最终锁定可以支持SQL条件组合的内存数据库进行支撑,Qcubic经多轮测试验证成功进驻实时数据加工平台的核心能力底座,主要体现在:
写入读取支持:写入支持可达350万/秒、读取支持主键查询100万/秒,非主键查询10万/每秒,满足数据实时的各种条件查询能力;
查询时延要求:主键查询时延不高于30ms,非主键查询时延不高于50ms
可靠可用性支持:具备高可靠、高可用保障机制,出现故障能尽快实现故障恢复,保障数据不丢失;
数据变更日志:支持数据库变更日志输出到其他外部应用
经过测试环境上多轮联调和产品性能优化,Qcubic现已成功上线实时数据加工平台,主要支撑实时数据核心处理及实时信息高并发检索功能模块
03
联合首创利用支持复杂SQL的内存数据库实现组合查询
联通智网实时数据加工平台,现已实现全网主要核心网信令的实时加工处理以及DPI主要信令的流式资产加工,日处理信令约1.5万亿条,每分钟处理信令超10亿条,实现高吞吐、低时延的海量多源数据实时加工处理整体流程。基于Qcubic实时数据高效处理能力,记录用户当前关键信息状态,并将关键信息变动消息实时输出,灵活快速支撑各类上层应用产品需求。 Qcubic在实时数据加工平台的应用也是中国联通开创探索利用支持复杂SQL的内存数据库实现组合查询的首次技术创新尝试,以极简高效的方式提供统一的全量实时数据能力服务。