爱分析数据科学与机器学习平台实践报告案例精选：九章云极DataCanvas APS机器学习平台加速某银行智能化转型

近日，国内领先的产业数字化研究与咨询机构爱分析发布《自主AI能力加速企业智能化转型：2022-2023爱分析･数据科学与机器学习平台应用实践报告》。

随着数据体量的快速增长、算法迭代优化以及CPU、GPU、DPU等多种算力技术的发展，以大数据建模为核心的机器学习技术正被企业广泛应用到营销、广告、风控、生产等场景中。

数据科学与机器学习平台为企业提供了一个高效的解决方案。数据科学与机器学习平台整合数据接入、数据准备、特征工程、模型训练、模型部署、模型管理及模型运营等模型开发全流程，集成丰富的模型开发工具，不仅能有效提升模型开发效率，还能基于AutoML实现低门槛建模，满足业务人员的建模需求。数据科学与机器学习平台正成为企业数智化转型的必要基础设施。

金融行业数据科学与机器学习平台实践

在领先的数字化转型进程、海量数据积累、充分的科技人才储备以及丰富的业务场景应用需求等驱动因素下，金融行业对数据科学与机器学习平台应用的渗透率明显高于其他传统行业。尤其在银行业，数据科学与机器学习平台的建设呈现出从全国性大型银行向地域性城商行覆盖的趋势。数据科学与机器学习平台作为人工智能基础设施正被纳入更多金融机构的数字化转型规划中。

九章云极DataCanvas APS机器学习平台加速某银行智能化转型

山西银行是经中国银保监会批准，于2021年4月28日挂牌开业，以原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行为基础，通过新设合并方式设立的省级法人城市商业银行，现有员工7000余名，拥有分行级机构12家，各类营业网点387个，遍布全省10个地市、23个区、36个县。

山西银行成立之初，在对原大同银行、长治银行、晋城银行、晋中银行、阳泉市商业银行科技系统整合的基础上，为建立一套全行的可持续“让数据用起来”的数据体系，于2021年启动数据中台项目群，推动包括数据开发平台、数据管控平台、数据服务平台和客户集市等功能实现。

建模方式不完善，亟待建模能力和建模系统全面升级

其中，为实现数据赋能业务需求，山西银行拟围绕以人工智能、大数据、云计算为代表的科技能力为基础搭建自动化联合建模平台，为建模人员提供样本导入、数据匹配、特征加工、模型训练及模型评估等一站式联合建模服务，并将联合建模平台作为数据开发平台的重要组成部分。山西银行对联合建模平台的需求主要体现在以下方面：

实现联合建模。山西银行中业务人员普遍不具备建模能力，而具备专业建模能力的科技人员对业务了解也不透彻，这导致科技人员在建模过程中需要与业务人员就具体需求、数据范围、数据质量、模型设计等方面进行反复沟通，耗费大量时间。山西银行亟需为业务人员实现自动建模功能，为科技人员提供一站式建模平台支撑，实现业务人员和科技人员联合建模，提升模型开发效率。

提升算力。AI的算力强弱直接影响到AI模型训练的精度与推理结果。一方面，由于山西银行数据由5家银行数据合并而来，数据体量远超之前单个银行数据体量；另一方面，每个项目组都会各自申请计算资源，导致科技人员在进行模型训练过程中经常面临算力资源不足的问题，频繁出现内存溢出、开发工具重启等现象。此外，不同的业务场景需要的资源类型也不同，如机器学习模型常用CPU计算，深度学习模型倾向用GPU进行计算，因此如何提升建模的算力支持，且为科技人员屏蔽复杂的算力管理细节，专注于建模本身，是联合建模平台需要解决的主要问题之一。

实现数据、代码等模型数据资产共享及沉淀。山西银行技术人员在面向精准营销、智能风控、产品设计等不同业务需求时，优秀的数据集、代码、模型版本等成果不能及时共享，需要联合建模平台支持建模过程成果沉淀。

基于以上需求，山西银行将联合建模平台项目进行招投标，综合考量技术先进性、对业务场景的适应性、系统运行稳定性、系统安全性、系统可拓展性以及信创环境支持等因素，最终选择与九章云极DataCanvas合作。

北京九章云极科技有限公司（简称：九章云极DataCanvas）成立于2013年，是中国数据智能基础软件领军者。公司专注数据智能基础软件的持续开发与建设，通过自主研发的一系列企业级AI应用所需的平台软件产品及解决方案，助力用户实现数智化升级。目前，九章云极DataCanvas机器学习平台业务涉及政府、金融、通信、制造、能源、交通、航空等十余个行业，客户覆盖多个行业头部和世界五百强企业。

基于DataCanvas APS机器学习平台，建设AI中心

在九章云极DataCanvas协助下，山西银行正式建设联合建模平台，基于九章云极成熟的DataCanvas APS机器学习平台建立“模型实验室”。该项目从2021年11月开始推进实施，历经近9个月的时间，于2022年8月初完成平台建设并进行线上试运行，之后于2023年1月正式在全行推广，针对全行范围的数据、模型需求正式开展工作。山西银行模型实验室面向科技人员和业务人员实现一站式模型开发，主要功能包括以下方面：

图1：模型实验室功能架构图/示意图

1.异构多引擎融合架构

l  灵活计算环境支持：平台功能基于Docker实现容器化封装，底层计算资源支持Kubernetes集群、Hadoop集群和GPU集群等多种模式，提供弹性可伸缩的CPU和GPU资源，支持大数据量的分析和训练，实现计算资源合理利用。

l  工作流混合编排：在异构多引擎融合架构下，平台算子封装支持多语言模式，允许在同一个工作流中调用不同开发语言算子，可以快速融合机器学习和深度学习的多引擎的训练和推理，支持工作流程嵌套，如在平台中支持编码、可视化、AutoML三种建模方式，三种建模方式之间可相互调用，最大程度上提高建模流程的灵活性和模型资产的复用性。

2.简化数据准备，实现多源异构大数据分析

模型实验室支持多种数据连接器，山西银行可便捷获取包括本地数据、关系型数据库、Hadoop大数据平台等在内的各类数据源，并且模型实验室支持支持异构多源数据的加工和混合处理，即在一个工作流中可以将多个异构数据源中的数据作为输入并调用平台上的多种数据分析算子进行处理。

3.开放性算法支持

l  集成了主流的开源机器学习算法库和深度学习框架，如TensorFlow、Caffee、H2O 等，不同框架间可开展协同工作。

l  提供丰富的开箱即用“白盒”算法库，内置100多种算法模型，包括企业常用的统计分析、机器学习、深度学习算法，面向数据分析应用提供基础算法支持。“白盒”模式下，算子代码完全开放，支持客户对代码进行修改或开发，满足建模人员算子自定义、算子迭代需求。

l  建模人员可在集成Web IDE环境中，对算子进行开发。并基于容器技术对算子进行灵活封装、集成，形成算子模块并发布到算法库中。发布后的算子模块可被反复调用，提升新模型的开发效率。

4.提供三种编码方式，适应不同建模水平人员

l  代码建模：支持科技人员在Web IDE环境中通过R、Python、Scala等编程语言进行算法开发

l  可视化建模：模型实验室提供的算子模块覆盖模型生产全流程，包括数据准备、特征工程、模型训练、模型评估、模型对比、模型发布等，支持了解建模流程的科技人员通过图形化、拖拽式建模。

l  AutoML建模：针对不具备建模知识的业务人员，模型实验室提供低门槛AutoML技术，平台可自动完成包括算法选择、超参数优化、模型评估、模型选择及模型发布等系列过程，并生成面向生产系统的REST API调用服务。业务人员通过配置目标即可实现自动化建模。

5.模型全生命周期管理

对数据接入、数据转换、特征工程、建模可视化、模型仓库、模型生产化等建模全过程的数据、环境、代码、模型版本进行管理，实现数据、特征、模型的复用和迭代，沉淀数据资产。

6.支持高性能的分布式训练

融合主流分布式计算框架如Spark、TensorFlow、PyTorch、Dask等，并预置丰富的分布式训练场景；深度学习分布式支持单机单卡、单机多卡、多机多卡训练，用户可以在复杂场景下快速高效完成模型训练。

以上是模型实验室的重要功能。

山西银行在搭建模型实验室的基础上，也在考虑如何改善模型开发流程让模型实验室发挥最大价值。由于模型开发流程包含业务需求分析、搜集数据、数据清洗、特征工程、模型训练、模型部署、模型运维等环节，涉及业务部门、IT部门、算法开发人员等多个部门，为保证模型开发流程高效运转，在建设模型实验室基础上，山西银行制定了一套完善的模型开发协作机制，如下图所示。其中，业务部门提出业务需求并对模型最终效果进行确认。数金业务部承担与业务部门沟通的职责，包括业务需求确认、模型设计沟通、模型初训练的效果确认等。数金科技负责数据预处理、模型训练工作。

图2：山西银行跨部门模型开发协作流程示意图

模型实验室大幅提升建模效率、有效降低建模成本

模型实验室作为山西银行的AI中心，利用先进的异构多引擎融合架构，适应业务人员和科技人员的不同建模需求，为智能应用建设生命周期提供完善的工具和支持，实现端到端一站式建模，有效解决算力瓶颈问题，大幅提升建模效率。

1.解决算力瓶颈问题

模型实验室基于异构多引擎融合架构，具有优秀的可扩展性，利用Spark 分布式内存计算提供强大的计算能力，支持海量数据计算分析。此外，模型实验室能在模型开发的数据处理、模型训练等环节提供资源自动推荐，用户也可对资源类型和配额进行调整，实现算力的高效利用。同时，模型实验室对使用者屏蔽了大数据技术组件的复杂性，使业务人员和科学人员能轻松获得大数据处理能力。

2.提升建模能力，提高建模效率

模型实验室提供端到端一站式建模全流程支持，能大幅提升山西银行在数据探索、预处理、特征工程、分析挖掘以及模型服务等环节的能力。另一方面，模型实验室为业务人员提供的AutoML建模和图形化建模方式，使业务人员能根据需求自主建模，基于模型效果再与科技人员沟通进行模型优化或调整，改进建模流程，大幅缩短建模时间，实现对业务需求的敏捷响应。

3.模型资产和建模方法论沉淀

建模过程中，包括数据集、数据清洗、特征工程、模型训练、模型上线等过程的代码、数据，以及建模的流程都能保留并提供下载，科技人员可以通过权限定义分享对象，从而实现人员协同、成果复用，沉淀模型资产、解决问题的方法论和流程。

4.有效实现成本控制：经统计，基于模型实验室，单个机器学习模型的建模成本缩减60%，运维成本降低30%。