当代金融家·监管科技｜上海证券交易所王波：用数据平台赋能智慧监管

王 泊 上海证券交易所数字化专业委员会副主任、上交所技术有限责任公司总经理兼CTO

本文回顾分析了上交所在大数据平台建设和数据迁移方面的实践经验，同时分享了推进数字化转型过程中针对数据治理和大数据应用的探索与思考。

来源 | 《当代金融家》杂志2021年第7期

原题 | 《上交所：以数据平台赋能智慧监管》

证券行业是数据密集型行业，大数据分析能力是业务创新发展和智慧监管的基础保障，行业相关机构的数据仓库、数据分析平台建设往往具有起步早、起点高的特点。随着市场规模持续扩大，创新业务模式不断推出，对于数据的实时分析性能、需求敏捷响应能力等均提出了更高的要求。与此同时，如何在安全可控的前提下将大数据技术应用到证券市场为科技监管赋能是需要同步考虑的问题。

数字化时代，数据应用技术面临新挑战

一是依赖外部技术，自主掌控能力不够。2002年，上交所建设完成集中、统一的数据中心，采用了专用的数据仓库架构，整合了建所以来全部历史交易数据，成为上交所重要的数据基础设施，这也是当时亚洲最大的数据仓库。由于采用封闭式系统，无法切实保障技术的持续性安全，系统的风险隐患逐步凸显。

二是支持线性扩展，但扩展能力受限。经过30年快速成长，上海证券交易所已发展成为拥有股票、债券、基金、衍生品四大类证券交易品种的、市场结构完整的证券交易所。据统计，从2005年到2014年，上交所数据仓库数据量翻了近10倍。随着业务发展和资本市场规模不断扩大，数据量增长将更加迅猛。上交所采用的传统数据仓库一体机的解决方案，虽然支持节点线性扩展，但在实际扩展工作中存在诸多限制，存在扩容代价较大、扩容需停机等问题。

三是以结构化数据为主，缺少实时和非结构化数据处理能力。随着新的市场监管和服务要求，迫切需要上交所将更多的外部数据源纳入数据平台的范围。然而，传统的数据仓库技术主要支持结构化数据，对实时数据处理以及非结构化数据的支持方面较为薄弱。它在数据量级别、数据类型等方面的支持都比较有限。

利用大数据更好实现金融科技监管

首先，搭建自主可控的大数据平台，并构建轻型、安全、适用的大数据生态体系，为数据资产提供良好的全生命周期管理场所。

一是掌握技术主导权，打造轻型化数据平台架构。在物理架构上，大数据平台摒弃以往数据库一体机的方案，选择了性价比更高的软硬件分离方案，在保证高效的计算能力的同时，降低了对特定厂商的依赖。在软件层面，也实现了关键核心技术自主掌控。此外，采用分布式技术、依托私有云建设部署，实现了资源按需弹性扩容，保证了平台的可扩展性和经济性。同时，平台采用双活架构，无须进行复杂的数据同步恢复操作。根据业务特点，由主备站点分别承担不同的业务负载，有效提高了系统的可用性和资源利用率。

二是实现数据仓库业务迁移整合，保障业务连续性和系统适配性。为承载原数据仓库的数据及服务功能，上交所进行了大量的适配性改造和一致性验证工作。迁移工作主要涉及异构数据库之间的数据转换、批量处理作业、应用报表、实时行情回放、自助查询等业务的迁移和全量数据的自动化比对。为快速准确地完成数据仓库向大数据平台的迁移，上交所通过自研异构数据库转换、批量作业代码转换、高效自动化全量数据比对等一系列工具，高效完成了一万多张业务模型表、3000个数据处理任务、近2000多个接口文件和数百个专题应用的快速迁移和验证工作。

三是盘活全量数据，让数据在各系统间安全高效运转。针对目前行业机构普遍存在的数据“存不下、流不动、用不好”问题，上交所大数据基础平台采用分布式平台架构，组合多种结构化、非结构化数据库及实时、准实时计算组件，集成微服务框架搭建应用服务系统，通过统一的数据访问服务接口和文件服务接口为上交所各业务系统提供多样化的数据服务，让金融数据存得下、流得通、用得好。此外，同步构建的大数据平台安全体系设计了网络和主机、基础平台、数据、开发、运维全链路的安全防护措施并配套有相关安全规范制度流程，实现数据不可见、数据不丢失、操作可审计、数据强保密以及安全合规性等目标。

其次，让数据资产成为业务价值创造的驱动力，实现数据与业务相辅相成，构筑坚实核心壁垒并持续发展。

一是提供深层次市场洞察，有力赋能金融科技监管。通过构建投资者标签体系，从交易风格、持仓特征、投资偏好、历史监管信息等维度，设计了数百个机器学习的特征指标，为交易监管提供亿级投资者的画像服务，协助交易实时监控人员准确锁定频繁参与题材股炒作、以拉抬打压等手法误导其他中小投资者的异常交易账户，探索提供更为差异化、精准化的服务。通过采集上市公司关键信息及监管记录，建设大数据平台标签体系，为公司画像系统提供了相关的数据、计算等基础服务，为监管人员提供全景式公司信息汇总与可视化数据分析。同时，通过各类预警指标的合理设置和自动扫描，做到各类风险早发现、早处置，监管主动性和全面性得到较大提升，推动监管模式的变革。

二是结合不同业务场景，快速实现低成本业务创新。大数据平台完成了统一化的核心基础建设、多元化的数据采集、多种类的创新业务指标库、批处理与实时处理相结合的数据处理模式等四个方面的建设。将数据应用服务于投资者、上市公司和金融机构，利用创新技术组件提供的海量数据接入和计算汇总服务，直接促成了公司雷达站、投资者画像、舆情分析、新一代监察系统等一系列创新应用的上线，为业务创新与监管提供了有力支撑。

最后，实现更加高效、经济的数据运用模式。

数字化经济浪潮下，各金融企业更需要充分利用好“数据”这把宝剑，驱动业务和经济发展。

一是加强对企业数据的规范化整合，减轻系统数据的冗余程度，进而提升企业对各系统数据的处理能力，有效减少计算资源和人力资源的浪费，提升企业效能。

二是有效利用数据资产，结合智能化算法，满足多种业务创新需求，助力数据价值转变为业务价值，从而实现企业经济增值。

多维度服务推进金融企业数字化发展

一是构建自主可控的数据基础设施。统筹面向内部数据的大数据平台与面向行业公共数据的数据中台建设，探索“稳”“敏”相结合的数据融通创新与协同处理分析。同时，引入分布式实时流计算及存储技术，完善基于自主可控技术的数据存储、交换、分析综合平台，打造全方位、立体化、高效能的数据平台底座，为交易所数字化发展打好坚实基础。

二是持续优化完善数据治理能力。一方面，推进数据资源统一管理，构建完善的数据治理决策机制,积极按需拓展外部数据资源，为发展数据应用提供良好基础。另一方面，推进数据标准化、资产化、高质量和高安全，在确保安全风险可控的前提下将数据资源转化为可用、好用的数据资产。同时，打造先进的数据实验室，以专业数据分析师队伍为核心，辅以高效的技术团队和先进的技术工具，强化对交易所数字化发展能力的建设。

三是探索多维度数据应用服务。推进打造多层次、多形式、全方位数据服务与产品，全面提升数据价值。依托大数据与人工智能探索异常监测、关联分析、企业画像、科技评价、财务分析等应用服务，并通过业务流程的数据打通，将业务过程和监管工作进行有效融合，使业务开展与监管审核工作更加精准、自动、智能和高效。

| 作者为上海证券交易所数字化专业委员会副主任、上交所技术有限责任公司总经理兼CTO

资本市场监管科技寻踪（上）

数据 业务 平台 监管 技术 服务