数据分析能力对商业银行的重要性 (2)

数据分析能力对商业银行的重要性

数据分析能力对商业银行的重要性

时间:2013-03-07 16:37

在信息化高速发展的时代背景下，各银行积累的客户数据、交易记录、管理数据等呈爆炸性增长，海量数据席卷而来，这样海量的 大数据 ，给银行业带来了压力的同时，也同样带来了机遇。而信息未必一定通过数据来展现，但数 在信息化高速发展的时代背景下，各银行积累的客户数据、交易记录、管理数据等呈爆炸性增长，海量数据席卷而来，这样海量的大数据，给银行业带来了压力的同时，也同样带来了机遇。而信息未必一定通过数据来展现，但数据一定是信息的基础，海量数据意味着海量机遇和风险，可以通过多种方式为银行提供变革性的价值创造潜力。如何利用数据这一商业银行重要的资产来开展有效的数据分析和挖掘，从而促进管理并提升企业价值，是目前大多数商业银行所面临的重要挑战之一。

用数据帮助决策。目前国内银行业的战略发展和经营管理决策多数依赖于决策者的经验。面对激烈的市场竞争，管理层迫切需要数据的决策支持，提高经营和决策的科学性。银行各项产品能带来怎样的利润？如何判断客户是否有发展潜力？在哪里开设新的分行？将数据充分应用到经营管理决策的各个层面，这些原本看似很难回答的问题会变得清晰起来，管理者的决策过程实现由“依赖经验”逐步过渡至“有数可依”，在深入了解和把握银行自身乃至市场状况的基础上，更加科学地评价经营业绩、评估业务风险、配置全行资源。

用数据提升管理精细度。随着银行业务转型及精细化管理的推进和深化，涉及资产、负债、客户、交易对手及业务过程中产生的各种数据资产，在风险控制、成本核算、资本

管理、绩效考核等方面发挥着重要的作用。如银行贵宾卡服务，会考虑设置相应的资金要求和贵宾待遇，银行可以在分析本行客户数据的基础上确定最合适的目标客户群及期望达到的卡均余额和交易量。数据资产直接关系业务管理的精细化水平，也是银行开展业务多元化、多方面分析的基础。“数据—信息—商业智能”将逐步成为商业银行定量化、精细化管理的发展路线，为有效提升服务能力提供强大支持。

用数据促创新，赢先机。我国商业银行提供的服务和产品存在较大的同质性，但比较竞争优势要求银行突破同质性，实施差异化战略。银行可以利用其掌握的数据资源，在客户挖掘、交叉营销、产品创新等方面大有作为，在零散的、无序的、历史的、当前的各种数据背后发现独特的业务规律，锁定特定客户群，根据不同市场需求和不同客户群制定相应的市场战略与产品服务方案，根据客户需求变化及时主动开展业务产品创新，在激烈的同业竞争中，通过充分利用数据取得先发优势，打造不可复制的核心竞争力。

用数据实现真正的全面风险管理。国际上，新巴塞尔协议对银行数据的广度、深度以及数据的完整性、准确性等方面提出了明确具体的要求，并将数据质量纳入操作风险的计量范围之内。在国内，各大监管机构也对银行提出了信息披露的要求，如资产负债表、利润表、统计报表、经营管理资料等。数据资产不仅是满足外部日趋严格的监管要求的客观需要，更是银行有效防范金融风险的必然要求，只有掌握全面的、权威的、合规的风险基础数据，才能准确地计算加权风险资产、构建风险模型、及时了解业务非正常变动、跟踪影响因子情况，从而更有效地防范金融风险。

在国内银行业加快转型发展的今天，如何评估最大化数据战略性资产的价值，已成为各家银行能否抢占先机、赢得优势地位的重要因素。

数据管理是实现数据资产价值的基石

目前国内银行普遍面临数据质量不高和数据支持决策的能力不强等问题，导致数据远未发挥其应有的价值。因此，数据问题已经成为银行提高竞争力的巨大障碍，主要表现在五个方面：数据管理职责不清、数据需求难以满足、数据标准不统一、数据质量不高、数据安全性不强。

为了有效解决数据问题，满足监管机构的要求，银行需要大力加强数据管理体系建设，建立健全“目标方向、管理机制、执行规范”三层数据管理体系（见图1），着力解决业务、数据、技术三方面的分工与协作体系，为管理决策、业务经营、信息披露提供准确、快捷、全方位的信息服务，从而促进数据资产价值最大化，推动银行核心竞争力的持续提升。数据管理体系的实施过程应重点关注以下五大任务。

建立统一的数据规划目标。数据规划是数据管理体系的“指南针”。它是根据业务对数据产生的需求，对满足业务应用的数据进行统一规划和协调管理，对现有数据和未来计划需求的数据进行前瞻性的管理工作，使数据能够适时地满足外部监管和信息披露以及内部经营管理、分析和发展目标的需求。数据规划的核心工作是针对数据生命周期的各个环节，提出相应的管理策略和原则，用以指导数据需求管理成果的落实。数据生命周期规划既需要针对数据应用制定方向性的策略，也需要为每个数据项指明对应的处理方法。

建立科学的数据管理工作机制。数据管理工作机制是数据管理体系的“奠基石”。数据管理工作机制的建设依赖于银行高层管理人员的重视和不断推动，同时也需要建立相应的数据管理机制的决策和控制机制。有效的数据管理需要明确专门的部门或组织承担整个银行的数据管理和应用职责。该组织负责从战略的角度进行统筹和规划，确定数据管理的范围，明确数据资产的归属、使用和管理等流程，明确数据管理的组织、功能、角色和职责，以及确定数据管理的工具、技术和平台等内容，切实有效促进数据共享、提高数据价值。

建立统一的数据标准规范。数据标准规范是数据管理体系的“粘合剂”。它是改进、保障和提高数据质量的依据，也是数据管理工作成败的关键。数据标准化旨在促成数据标准的形成和使用而进行的与之相关的一整套数据标准规范，即制订和实施数据标准、提高数据管理水平的过程。数据标准的制订需要参考行业监管和标准机构已制定的数据标准，同时也应参考各个部门内部使用的特定数据的定义，制订出数据标准体系框架，可以分为基础类数据标准、业务类数据标准和应用类数据标准等，并在此标准基础上进行细分。在数据标准体系框架下，通过对数据标准的梳理工作，以在业务属性和技术属性层面实现全行的数据标准化。

建立持续的数据质量管理规范。数据质量管理是数据管理体系的“助推器”。它是对支持业务需求的数据进行全面的质量管理，保障各项数据管理工作能够得到有效落实，达到数据准确、完整的目标，并能够提供有效的增值服务的重要基础。数据质量管理包括数据质量管理团队建设、数据质量管理制度建设、数据质量管理流程建设以及数据质量管理监控平台建设等，其中，数据质量管理监控平台建设至关重要。在数据统一管理的框架下，银行需要依据数据在数据生命周期的各个阶段的特性，建立数据质量管理监控平台，及时发现数据质量问题，不断改善数据的使用质量，降低数据质量导致的业务风险，实现数据更大的应用价值，满足业务分析和管理决策的需要。在2012年下半年伴随上海银监局发起的“夯实统计信息基础，提升银行业数据质量”饿竞赛活动，诸多银行从制度到流程启动数据质量的全面梳理核查。

建立完善的数据安全防范规范。数据安全防范是数据管理体系的“防护罩”。近年来，银行业有关数据泄露的事件时有发生，如何保障数据不被泄露和非法访问，已经成为数据安全管理非常迫切的问题。数据安全管理问题的解决，可以从以下5个角度着手：（1）制度及流程规范。通过建立数据安全和数据保密的相关管理制度和流程，合理划分数据安全级别，规范数据在数据生命周期中的安全。（2）数据安全意识。加强对数据拥有者、数据

管理者和数据使用者的安全意识培养，提高数据对于银行业务的重要性认识。（3）数据保密性。系统中的个人身份信息、银行账户信息等是否要进行加密，以避免数据被非法访问。（4）应用系统的访问控制。通过对应用系统的访问权限统一管理及单点登录，达到防止非法访问的目的。（5）数据安全审计。建立数据安全审计机制，检查数据中的安全风险，防患于未然。

数据分析是实现数据资产增值的重要手段

数据分析是指一整套技术、流程与应用工具，通过建立分析模型对数据进行核对、检查、复算、判断等操作，将样本数据的现实状态与理想状态进行比较，从而发现潜在的风险线索并搜集证据的过程。在实际应用中，数据分析可帮助银行做出判断，以便采取适当行动。因此，数据分析的过程就是组织有目的地收集数据、分析数据，最终使数据实现资产增值。

数据分析的目的是通过透视海量表面看似杂乱无章的数据，进行数据统计、定量分析、解释与模型预测，并通过基于事实的管理，找出隐藏在数据背后的内在规律和风险意义，最终推动整体抉择。目前，数据分析在通讯业、零售业和制造业等行业中已经得到广泛运用，而不少银行也已经于近几年开始着手建立用于业务经营分析的数据集市和数据仓库。

数据，作为银行重要战略资产，在实现完善管理后，实施有效的数据分析是使数据资产增值的最佳方式，也是唯一方式。

数据分析工作流程

一个基于风险导向的银行数据分析工作可以分为五个步骤进行，包括确定分析目标、

基础数据收集、数据挖掘与分析、风险点跟踪、数据指标固化。其中，数据挖掘与分析是整个工作流程中的核心关节。

确定分析目标。明确的分析目标是确保数据分析过程有效性的首要条件。执行分析的负责人需要明确具体的业务领域和相应的分析目标，并据此制订整体分析项目的进度计划、资源配置和结果评审等事项。

基础数据收集。有目的的收集数据，是确保数据分析过程有效的基础。分析负责人需要对收集数据的内容、渠道、方法进行策划，根据分析目标确定需要获取的具体数据字段和数据结构，将识别的需求转化为具体的要求。

数据挖掘与分析。完成基础数据收集工作后，便可以展开相应的分析工作。目前主要可以应用的数据分析方式有：数据质量复核；异常特征分析；探索性挖掘分析等。

风险点跟踪。在通过分析得出结果后，需要对结果所揭示的问题进行进一步跟踪调查。这同样也是将数据分析结果与客观事实情况进行结合的过程，通过将空洞的数字指标落实为实际的业务问题行为来进一步拓展数据的价值。

数据指标固化。最后对已经确认存在风险的数据特征进行系统固化，通过在数据集市或数据仓库中设置监控阀值，由信息系统对业务数据进行持续的指标性监控，以确保在第一时间发现新增类似风险事件，或者更进一步，将数据分析的结果作为持续审计或非现场审计平台的审计指标。

主要数据分析方法

目前银行业数据分析比较典型的数据分析方法主要为：数据质量复核；异常特征分析；探索性数据挖掘。这三种数据分析方法对数据量和分析复杂度的要求也存在层级递进的关系。

数据质量复核。复核分析即以通过重计算和核对的方法对银行数据进行二次校验，以确保数据的完整性和准确性。主要包括：

存贷款利息重计算；

摊余成本计算复核；

票据贴现转贴现核算；

存贷款分户账与总账核对；

利息或息税调整时计息结息核算

……

此类数据分析一般存在固定的分析计算方式；数据分析范围也以抽取样本的方式确定；对于分析工具的要求也可以根据需要计算的样本量选择电子表格或者小型数据库。从测试的本质上来说，此类数据分析更加接近计算机辅助审计技术（CAATs）的概念，是银行数据分析的基础类型。

异常特征分析。即根据数据中特定字段的相应特征，分析和筛选存在异常和风险的内容，并对结果进行进一步的跟进。分析对象主要包括：

违规处理的长期冻结账户；

异常计结息；

异常大额交易；

违规投资交易；

存贷款账户异常波动；

……

此类数据分析主要建立在确认存在风险的特定数据字段的基础上。数据分析范围一般根据测试期间的要求，选择一季度或一整年的全量业务数据；而数据分析工具则需要随着数据量增长的需要引入大型数据库来容载分析数据。

该类分析可以有效识别出银行业务流程中的潜在风险，而不仅仅局限于数据本身的准确性，是银行业数据分析的主要分析手段，同时也是非现场审计等自动化审计平台的核心审计模块。

探索性数据挖掘。探索性数据挖掘分析侧重于在数据之中发现新的特征，作为特征型数据分析的延伸，帮助分析者从看似无关的数据中挖掘出有意义的风险指标。

在这种分析中，除了数据本身，还需要引入成熟有效的数据分析模型，结合分析者自身的统计分析知识，综合运用，从而达到“发现数据背后的业务规律”这一目的。笔者在这里简要的列示一些常用的数据分析模型，并给出模型适用的具体测试应用项目（见表1）。

此类数据分析主要依靠数学模型对数据本身进行规则归纳，并根据获得的规则进行风险判断。数据分析的范围除了测试期间的全量业务数据以外，还需要进一步获取前几个期间的数据作为数据建模元数据；而执行此类分析，所需要的工具除了数据库之外，还需要引入专业的统计分析工具进行数学建模。

通常的数据挖掘分析步骤为：获取历史违约数据并混合正常样本作为训练集；选择合适的数学模型进行数据挖掘，并生成预测规则；使用预测规则对目标测试数据进行分析；更新训练集对预测规则进行完善。

数据分析案例

笔者在此就以不良贷款预测分析和分支行业务健康度分析为例，简要阐述一下探索性数据分析的具体方法：

不良贷款预测分析

不良贷款率向来是银行的重要指标，如何降低不良贷款率，减少可能的贷款违约风险一直是银行管理层所关注的重点。通过有效的探索性数据挖掘，可以在对银行的历史违约贷款的数据特征进行归纳分析的基础上，得到有效的潜在违约贷款风险特征，从而对高违约风险贷款的发放采取更加严格的审批和复核。换言之，利用昨日的“失”，获取明天的“得”。具体的分析方式为：

1. 将历史违约贷款数据与正常贷款数据混合作为训练集，根据业务风险判断初步确定实还本息比率、贷款期限、贷款人信用评级、抵押物价值比率、担保方式等关键数据字段。

2. 选择合适的数学模型，比如决策树模型对训练集进行建模和规则归纳，根据信用审核职业判断以及模型置信度等指标，确定适合的数学模型和相应的特征阀值。

3. 使用模型对新增贷款项目进行验证，判别高违约风险贷款。

4. 最终形成树状判断结构，其中每一个节点都代表由于某个属性（例如贷款企业的资产回报率小于某个特定值）对该企业贷款违约可能性的影响和相应概率。

分支行业务健康度分析

对于规模庞大，分支行众多的商业银行来说，如何有效监控和管理各个分支行是总行和高级管理层所主要关注的重点。而通过数据分析中的聚类分析方法，就可以有效的对各个分支行进行较为全面的横向对比，从而了解各分支行的差异情况，并根据结果量身定制发展方针。聚类分析的具体步骤如下：

1. 通过数据汇总和运算，获取测试期间内各个支行相应的指标数据，包括：存贷比，贷款损失率，综合收益率，综合存贷利率差。

2. 选择合适的聚类算法进行聚类分析，并生成聚类图表，通过分析每个类群中代表性支行的特征，来推断相应类群的特征。

3. 对存在高风险的类群以及异常离群的分支行进行着重调查，并通过数据分析统计结果，明确对其聚类结果产生决定性影响的指标。

4. 最终形成有聚合倾向的点状分析结果（见图2）：图中每一个小方格均代表一个分支行实体，并显着的聚合形成三个类，同时还存在若干无法明确的归于某一类的分行个例。

数据挖掘分析是银行业数据分析中的高级分析手段，也是成熟完善的数据分析体系的标志。即通过数据本身来分析数据，形成企业数据增值的良性循环。

需要强调的是：数据分析的方式并非相互孤立，也并非线性的渐进演化，而是应根据实际业务需求，选择合适且有效的数据分析方法，或结合和统一应用多种分析手段来达成目标。

随着对数据的管理从仅局限在信息系统层面，扩展到整个银行的运营流程；对数据的认识，从单纯信息转变为银行的重要资产；数据的作用，从支持业务运营的大后台，走向确定管理决策的最前台。笔者相信：数据，通过对其有效的管理与分析，将会成为银行完善自身、实现增值的重要助推器。