多家银行落地实时计算平台(DataStream)让业务“冲”起来

Posted on Category:亚博APP手机登录网页版|在线登录app

接连在多家银行落地,作为天阳科技自主研发的用户级产品,该平台支持企业级实时计算能力和实时数据仓库的构建,可提供有效的交易级业务实时应用场景数据支撑。

随着金融行业数字化转型进程的不断深入,金融机构在批处理计算能力方面的差距日益缩小,传统的T+1离线大数据模式也难以覆盖风险防控和新兴业务的复杂场景需求。实时计算更接近实际业务场景,能以实时或近乎实时的方式挖掘和输出有价值的信息,正成为银行竞争的新制高点,逐步影响着金融行业的数据架构演进。

天阳科技实时计算平台(DataStream)是在探道(TanData)数据中台的基础上,自主研发的基于Flink流式计算引擎的实时开发平台,底层支持包括CDH、HDP和星环TDH在内的多种大数据集群,提供Flink SQL、Jar和可视化配置等多种开发模式,包括开发管理、监控部署、平台管理三大模块,实现从实时任务在线开发、测试、上线到运维全流程的管理和监控。

实时化、高时效性的大数据业务,是深入挖掘数据价值的必经之路,数字化带来的众多业务场景激发了对实时分析的需求,根据客户行为调整策略或通过智能算法自动决策的行为变得越来越常见。实时计算平台(DataStream)从实时分析、实时风控、实时营销、实时推荐四大实时场景出发,为业务提供决策支持。

根据实时报表的统计分析,实现实时指标的展现和自助分析,为业务人员提供高时效性的统计分析结果,支持业务决策。

在风控场景上,通过与规则引擎的结合,进行实时智能决策,达到风险可控前提下实现秒批秒贷,提高用户在信用卡申请、贷款过程中的客户体验和放款效率。同时,可以实时监控用户的异常交易,进行反洗钱身份识别,并将监控结果进行实时告警。

通过对用户行为日志、搜索与交易等行为数据的采集分析,快速识别客户的需求与偏好,采用实时数据对客户进行实时触达,实时客户权益提醒、进度推送,促进客户完成交易,提升客户价值与黏性。

通过实时标签计算以及机器学习和人工智能领域中的实时特征计算,对用户进行实时商品推荐。

在此基础上,天阳科技实时计算平台还支持多种任务提交方式和多种Flink版本,并提供包括代码调试、SQL校验、血缘分析、状态保存、定时启停、任务合并、任务克隆多种丰富实用的功能。

随着该行新一代信贷系统的落地,业务系统的数据访问压力日增,数据存储和查询逐渐暴露出性能瓶颈,亟需借助大数据技术分担业务系统的压力。天阳科技通过自主研发的Cminer采集平台实现pg数据库的实时数据采集,通过流式处理技术实现数据的高速同步,借助列式存储、搜索引擎等技术实现海量数据的快速查询,并通过微服务提供数据查询接口,满足高并发的场景。

根据该行信创要求以及总体应用架构规划,需要通过分布式技术平台和国产分布式数据库建设,持续完善业务服务层和基础资源层组成的业务中台,完善数据平台的近线库建设,为渠道提供业务功能服务,为管理决策提供基础服务。在项目中,通过构建分布式核心的实时数据同步和具备大数据计算能力的数据平台近线库,实现核心系统的实时同步库建设,分担核心库访问压力并对外提供服务;同时,作为分布式核心的“数据湖”,支持核心及核心周边配套系统对核心数据的访问和应用,全面支持核心业务的开展。

该行国产化核心与分布式数据库数据采集过程中,系统对接效率低,数据安全性不足,同时实时链路仅作为数据管道,无法实现沉淀数据资产,稳定性和容错性也难以支持业务大规模开展。天阳科技基于canal、kafka技术架构,打造全行级数据交换平台,以 “订阅式”数据交换模式,实现数据“定制式交换”向“配置式交换”拓展,优化数据采集性能和高可用性,满足7*24的数据交换服务能力。同时通过可配置化的管理平台,快速定义数据交换链路,极大提升系统开发运维能力。

自成功进入万亿元资产规模银行行列以来,该行对数据时效性的要求越来越高,传统的批量计算已不能完全满足愈加丰富的业务场景。天阳科技实时计算平台上线后,实现了实时任务开发的平台化、规范化、流程化,解决了数据T+1产出的时效性问题,并通过实时分析指标查看和实时营销等场景,帮助行领导了解最新业务动态,并对用户行为数据进行分析,提高客户价值和黏性。

该行信用卡中心基于Hadoop的大数据平台,由于缺乏对流数据的权限管理、流量监控及作业监控的能力,流作业开发难度较大,在业务使用时风险较高。天阳科技实时计算平台落地后,对实时流模块进行了优化,完善了流数据权限管理、流作业的界面开发和监控等功能,使之成为该行卡中心的实时流数据的处理中心和管理中心,支持业务实时数据需求。

Write a Reply or Comment

您的电子邮箱地址不会被公开。 必填项已用*标注