数据脱敏项目 系统安装及配置手册
文档编号： 版本： 项目编号： 项目经理/项目负责人： 保密级别：
文档修订记录
说明：
版本栏中填入版本编号或者更改记录编号。
状态分为三种状态：A——增加；M——修改；D——删除。 在简要说明栏中填写变更的内容和变更的范围。 表中所有日期格式为：YYYYMMDD
目 录
第一章 引言 ................................................................................................................................................................. 5
1.1 文档目的............................................................................................................................................. 5 1.2 读者对象............................................................................................................................................. 5 1.3 术语定义............................................................................................................................................. 5 1.4 参考资料............................................................................................................................................. 5 第二章 总体配置情况 ...................................................................................................................................... 6
2.1 总体配置情况 ..................................................................................................................................... 6 第三章 安装数据联邦 ...................................................................................................................................... 8
3.1 安装 .................................................................................................................................................... 8 3.2 创建本地联邦数据库 ........................................................................................................................ 14 3.3 连接数据库 ....................................................................................................................................... 20
3.3.1 创建节点 ................................................................................................................................ 20 3.3.2 编目数据库 ............................................................................................................................ 21 3.3.3 验证 ....................................................................................................................................... 21 3.4 数据联邦的移植 ............................................................................................................................... 22 3.5 针对新数据库的快速配置 ................................................................................................................ 29 第四章 建立表映射 ........................................................................................................................................ 30
4.1 创建包装器 ....................................................................................................................................... 30 4.2 创建服务器定义 ............................................................................................................................... 30 4.3 创建用户映射 ................................................................................................................................... 31 4.4 创建表映射 ....................................................................................................................................... 32 4.5 修改表映射 ....................................................................................................................................... 34 第五章 Optim安装配置 ................................................................................................................................ 36
5.1 安装 .................................................................................................................................................. 36 5.2 安装补丁........................................................................................................................................... 41 5.3 配置 .................................................................................................................................................. 41 5.4 创建Optim Directory ..................................................................................................................... 93 5.5 创建DB Alias ................................................................................................................................ 101 5.6 系统迁移......................................................................................................................................... 117
5.6.1 Optim任务的迁移方法 ....................................................................................................... 117 5.6.2 脱敏函数的迁移方法 ........................................................................................................... 122
第一章 引言
1.1 文档目的
本文当的编写，是为明确数据脱敏系统建设时，系统的安装及配置步骤、方法。本手册针对XXXX的具体情况编写，并在XXXX的环境中得到确认。
1.2 读者对象
本文当的读者对象包括以下几类人员：
《数据脱敏》项目组行方负责数据脱敏系统运维人员； 《数据脱敏》项目组公司方实施人员；
1.3 术语定义
本文当中涉及到如下术语或概念： 数据脱敏：
数据脱敏就是通过变形屏蔽数据中的敏感信息，便于数据在非生产环境中使用，减少数据使用中的限制。变形后的数据主要用于：测试，开发，培训，外包，数据挖掘/研究等。不同于数据加密，数据脱敏是不可逆的过程，并且需要要保持数据的完整性。
数据漂白
数据漂白（data Masking）说的也是数据脱敏，数据脱敏一般是指对敏感信息的保护，数据漂白的范围不限于敏感信息，可能包括数据的分布也会予以改变。
数据变形
数据变形说的是数据脱敏或数据漂白的具体方法。例如：将“张三”变成“李四”，即通过数据变形，实现了数据脱敏。
1.4 参考资料
第二章 总体配置情况
2.1 总体配置情况
系统架构如下：
针对DB2 400数据库，需要建立数据联邦（Federation）通过数据联邦映射，实现对DB2 400数据库的操作，即上图中通过数据联邦（Federation）的方式。 建立好数据联邦后，需要在数据联邦中，建立表映射（nickname）。
Optim端要针对联邦数据库，建立一个Optim Directory数据库，字符集采用GBK，Optim连接方式采用ASCII单字节方式。并在此 Optim Directory建立与联邦数据库的连接DB Alias。 Optim只访问数据联邦的映射表（nickname），通过对映射表（nickname）的操作，实现对DB2 400的脱敏。
对于开放数据库，Optim可以通过数据客户端直连数据库，并实现数据脱敏。单由于字符集的关系，需要建立另一个Optim Directory数据库，字符集采用GBK，Optim连接方式采用GBK多字节方式。
并在此Optim Directory上建立针对开放数据库的连接DB Alias。 更详细的数据库连接方式如下图，
上图中连接一般数据库，均需要在Optim服务器上部署好相应数据库的客户端，当客户端联通数据库后，再建立Optim的数据库连接DB Alias，Optim的DB Alias是通过本地的数据库客户端实现对数据库的访问。
DB2 400数据库是通过数据联邦映射的方式访问，因而只需要在本地安装数据联邦的客户端就可以了。
第三章 安装数据联邦
3.1 安装
安装数据联邦和所有有关数据库的配置操作，都要进入到DB2ADMIN用户。
直接安装数据联邦（IBM Federation） V9.7。实际上就是一个DB2数据库再加上关系数据库包装器（Wrapper）。
安装过程中，DB2会要求建立一个用户：db2admin。此用户的权限与操作系统的管理员的权限相同。
安装过程如下：
进入安装包目录中的ESE目录，点击setup.exe
直接关闭这个窗口。 DB2至此安装完成。
安装包装器，只需要安装“DB2、DRDA、Informix”就可以了，因为Db2 400也是DB2数据库，而其它数据库不需要安装联邦，Optim可以直连。
DB2中就有DRDA只是默认状态没有打开
可以通过DB2命令行工具将其打开。 步骤如下：
进入DB2命令窗口
用“db2 get dbm cfg”查询一下参数“FEDERATED”
参数“FEDERATED”此时为“NO”，没有打开。 用如下命令打开此参数，并重启数据库 db2 update dbm cfg using FEDERATED YES db2stop force db2start
再次用“db2 get dbm cfg”查询一下参数“FEDERATED”
参数“FEDERATED”此时为“YES”，已经打开。
3.2 创建本地联邦数据库
安装完成后需要在本地创建一个联邦数据库。可以命名“FEDGBK”，字符集采用GBK。 可以通过DB2控制中心建立，也可以通过命令行创建。 【此处需要用db2admin”登录操作系统。】 用控制中心创建
从开始菜单，或者从任务栏右键图标，都可以进入“DB2控制中心”
进入后，去掉这个钩，否则每次进入都要确定一次。
右键“所有数据库”、“创建新数据库”、“标准”，进入数据库创建画面。
为新的数据库起个名字，并且可以指定所在的位置。
直接下一步
选择数据库的字符集和地域代码
点击“完成”
就开始创建数据库了。
通过命令行创建，进入DB2命令窗口：
“DB2 CREATE DATABASE FEDGBK USING CODESET GBK TERRITOYRY CN”
也可以创建在D盘。
“DB2 CREATE DATABASE FEDGBK ON D: USING CODESET GBK TERRITORY CN”
完成了本地联邦数据库的创建。
后面的工作是将DB2 400的表映射到联邦数据库；Optim针对联邦数据库进行操作。
3.3 连接数据库
就是编目。
3.3.1 创建节点
安装数据联邦和所有有关数据库的配置操作，都要进入到DB2ADMIN用户。
进入DB2命令窗口
db2 catalog tcpip node [节点名称] remote [IP地址] server [端口号]
3.3.2 编目数据库
db2 catalog db [远程数据库名] at node [节点名称] --对于开放平台DB2编目
db2 catalog database E00D99BR as vmdb at node vmnode authentication dcs db2 catalog dcs database vmdb as E00D99BR 对于AS400数据库编目
3.3.3 验证
可以连接到已经编目的数据库，查看一下确认连接正确。 进入db2命令窗口
针对开放平台操作
进入db2命令窗口
{连接成功后}
select * from customer_info fetch first 10 rows only
。。。。。。
验证正确，说明数据库配置正常。 terminate，结束本次会话。
3.4 数据联邦的移植
直接用db2look命令将定义昵称（nickname）的DDL导出到文本文件。一旦系统故障，或者需要移植，就可以将导出的DDL文本执行一下就好了。
具体方法如下： 导出DDL：
“db2look -d [联邦数据库名] -z [用户名] -e -o [文件名]” 例如：
“db2look -d FEDGBK -z DB2ADMIN -e -o nicknames_ddl.txt” 如果导出的用户是“db2admin”，装载时操作系统必须用“db2admin”登录！！！】
装载之前需要删除库内的nickname。 进入DB2控制中心
修改导出文件nicknames_ddl.txt，删除蓝色字体部分 。。。。。。。。。。。。。。。。。。。。。。。。。
-- --------------------------- -- WRAPPER 的 DDL 语句 -- ---------------------------
-- --------------------------- -- SERVER 的 DDL 语句 -- ---------------------------
-- -------------------------------- -- USER MAPPING 的 DDL 语句 -- --------------------------------
-- -------------------------------- -- NICKNAME 的 DDL 语句 -- -------------------------------- 。。。。。。。。。。。。。。。。。。。。。。。。。 装载执行可以通过：
“db2 -tvf [文件名]” 即
“db2 -tvf nicknames_ddl.txt” 具体操作如下
进入DB2命令窗口：
切换到导出文件“nicknames_ddl.txt”所在的目录下， 执行
“db2 -tvf nicknames_ddl.txt”
【此处要检查一下导出的用户，与导入时的用户，如果用“db2admin”导出，则需要用“db2admin”登录操作系统】
也可以进入DB2控制中心执行该DDL文本。 如下：
进入DB2控制中心，点击命令窗口
命令窗口
点击“所选项”、“打开”
选择“本地系统”
继续选择文件“nicknames_ddl.txt” 并点击“确定”
文件打开后，点击执行。
3.5 针对新数据库的快速配置
当DB2 400这边出现一个新的数据库需要进行脱敏，例如：从m环境到i环境，也可以采用上述方法，删除旧的映射，快速配置新的映射。
由于映射过来的nickname是相同的，Optim这边的配置不需要改动，就可以对新库实施脱敏。
第四章 建立表映射
4.1 创建包装器
安装数据联邦和所有有关数据库的配置操作，都要进入到DB2ADMIN用户。
可通过DB2控制中心，选择“所有数据库”、“FEDGBK”、“联合数据库对象”，点击“创建新的包装器”，并选择“DB2”，创建。 也可通过SQL语句创建：
“CREATE WARPPER DRDA2 LIBRARY 'db2drda.dll'”
4.2 创建服务器定义
可以通过DB2控制中心，在新创建的包装器下面，可以点击“创建新的服务器定义”进行创建。
进入创建界面后，点击“发现”，可以列出目前已经在本地编目的数据库列表。接下来要选择数据库的“类型”和“版本”，并点击“添加”。 接下来输入新服务的“名称”、“类型”、“用户标识”、“密码”
[注：数据库类型要选择：DB2/ISERIES，版本是选择目前400数据库的版本] 这样服务就创建好了。
也可以通过命令行方式创建：
db2 “CREATE SERVER SERVER1 TYPE DB2/ISERIES VERSION '6.1' WRAPPER WRAPPER1 AUTHID cbs01 PASSWORD cbs01 OPTIONS( ADD COLLATING_SEQUENCE 'Y', DBNAME 'vmdb')”
------创建服务器对象。TYPE DB2/ISERIES，指定联邦数据库类型；VERSION '6.1'，指定联邦数据库版本；WRAPPER WRAPPER1，指定包装器名称AUTHID cbs01 PASSWORD cbs01，指定AS400数据库的用户名和密码；DBNAME 'vmdb'，指定AS400数据库在本地编目的名称
4.3 创建用户映射
就是创建本地用户到远程数据库用户之间的映射，将权限映射过去。 在“服务器定义”下面，选择刚刚创建的那个服务，进入“用户映射”，点击“创建新的用户映射”，选择“本地用户名”，可选多个，再点击“设置”，填写远程数据库的“用户名”、“密码”就可以完成创建了。 也可以用SQL语句创建
db2 “CREATE USER MAPPING FOR db2admin SERVER SERVER1 OPTIONS ( ADD REMOTE_AUTHID 'cbs01', ADD REMOTE_PASSWORD 'cbs01')” ------用户映射对象。FOR db2admin，指定本地数据库用户为db2admin；SERVER SERVER1，指定服务器名；ADD REMOTE_AUTHID 'cbs01', ADD REMOTE_PASSWORD 'cbs01'，指定AS400数据库上用户的用户名和密码；
4.4 创建表映射
在“服务器定义”下面，选择刚刚创建的那个服务，进入“昵称”，点击“创建新的昵称”。
进入“创建昵称”界面后点击“发现”，钩选“远程模式”和“远程表名”。
并在“远程模式”中输入400的库名，例如“B4DTALIBI”，在“远程表名”中输入400的表名，例如：“CSIFMBBIF”。确定。 一次可以找出多个表。
在“创建昵称”的列表框中出现发现的表时，点击“确定”，就创建了昵称。 也可以用SQL语句创建
db2 “CREATE NICKNAME cbs.dpfm03 FOR server1. cbs.dpfm03” ------创建表别名对象，server1. cbs.dpfm03实际上指的是141上数据库中名称为的cbs.dpfm03的数据表，通过别名的方式在本地数据库上存储为cbs.dpfm03，在操作本地数据库feddb1上的cbs.dpfm03表时，例如insert或update，实际操作的表为141上的AS400数据库上的cbs.dpfm03表
验证：
为了确认昵称创建的正确，可以通过DB2控制中心或命令行，连接本地数据库查看一下数据。
4.5 修改表映射
在DB2控制中心，进入“联合数据库对象”、“服务器定义”、“昵称”，在右侧昵称列表中“右键”刚刚创建的“昵称”，选择“改变”，进入“昵称改变”界面。 看到的是字段的列表，和每个字段的类型。
选择每一个“CHARACTER”型的字段，并点击右侧“更改”键，进入“更改列”界面，在数据类型下拉框中，选择“CHAR FOR BIT DATA”，然后确定。
[注：必须将每一个“CHARACTER”型的字段，全部修改成“CHAR FOR BIT DATA”型。否则，可能会无法装入400。]
第五章 Optim安装配置
5.1 安装
本章optim相关操作采用的操作系统用户为Administrator。 Optim安装前，要为其创建一个数据库，可以参照本文档“3.2 创建本地联邦数据”的方法，创建一个本地数据库，要求编码要选择“GBK”，与联邦数据库相同。 Optim有很好的安装向导，也有安装手册，直接按向导提示装就好了。 有几个注意的地方
安装过程中碰到“ODM”，可以选择“Only Copy ODM Files”，这样就不会进入“ODM”配置了，“ODM”是用来归档的数据接口，数据脱敏不需要。 安装完成后不必选择“Launch the configuration program”，直接点击“Done”就好了。 “Optim Configure”会带你创建一个新的“Optim Directory”，我们可以在之后选择经“移植”过来的“Optim Directory”，里面很多东西就不需要配置了。 安装过程：
进入Optim安装目录，点击“IBMOptim.exe”
“Next”
“接受”，“Next”
填写公司名称和代码，与license上面一致。
“Next”
选择安装路径
碰到“ODM”，可以选择“Only Copy ODM Files”，这样就不会进入“ODM”配置了，“ODM”是用来归档的数据接口，数据脱敏不需要。
默认就好了
“Install”
去掉“Lanch the configuration program for you Optim solution”。 “Done”就安装完了。
5.2 安装补丁
直接运行补丁文件“Optim-DPP-9.1.0.3_20130309-BUILD0519”，会将所有程序展开到一个文件夹中，进入这个文件夹的Doc目录。 在这个文件夹中有一个“removeODPP.bat”文件，用于去掉现有的ODPP程序，执行方法是：removeODPP.bat \"C:\\IBM Optim\\RT\\BIN\"， 即removeODPP.bat “【optim安装目录】\\RT\\BIN” 执行过程如下：
之后，将补丁目录下的所有文件，拷贝到“【optim安装目录】\\RT\\BIN”。 就完成的补丁安装。更详细的也可以参考readme.pdf。
5.3 配置
第一步，先为Optim Directory创建或选择一个数据库，例如：optim。 点击“Optim Configuration”，进入初始配置。
输入密码，在license文件中的，每一个企业不同。
进入到配置程序。
点击“Task”、“Configure the First Workstation”
输入license码
创建一个新的Optim Directory
为其配置数据库类型，和说明。
“Proceed”
配置数据库的连接参数
“Proceed”，创建Optim Directory的表
“Proceed”
数据库参数，“Proceed”
“Proceed”
不必此时创建“DB Alias”，“Proceed”
不必启用安全性，“Skip”
license确认。“Proceed”
“ODBC”，“Proceed”
再次输入密码，创建配置文件。“Proceed”
点击“Product Options”，进入“Product”的配置界面。
此处密码为“optim”
把这个参数改大些。
这几个参数也要改一下。
无需改动
无需改动
无需改动
无需改动
无需改动
无需改动
无需改动 点击“OK”，回到上一个界面。
“Proceed”
点击“Personal Option”，进入个性化配置。
数据的目录不需要与Optim程序在同一个目录，组要设置一下。
无需改动
无需改动
无需改动
配置目录
无需改动
无需改动
无需改动
无需改动
无需改动
无需改动
不做归档，此处也不必改动。
无需改动
report levels表示保存报告的个数，此处一定要改。 另外，保存报告的路径也要给出。
无需改动
此处与产品的配置保持一致。
无需改动
点击“OK”返回上一个界面。
“Proceed”
此时不需要导出，点击“Proceed”
点击“close”，完成配置。
退出配置程序，完成初始配置。
5.4 创建Optim Directory
可以通过Optim Configuration建立一个新的Optim Directory。 Optim可以根据需要配置多个Optim Directory。
进入Optim Configuration的task菜单，选择Create/Upadte Optim Directory。
为创建的Directory起一个名字。
可以在此输入一些注释。
勾选
勾选
optimdir是实现建立好的数据库名，以DB2为例，就是数据库名，一定要建立成GBK的字符集。
余下的步骤跟着向导操作就可以了。
5.5 创建DB Alias
DB Alias是Optim的数据库连接，创建方法如下： 进入Optim Configuration程序
点击“Task”、“Create/Update DB Alias”
选择一个Optim Directory
“Proceed”
为DB Alias起一个名字“FEDGBK”，“Proceed”
选择数据库参数
勾选
数据库连接参数，“Proceed”
“Proceed”
“Proceed”
“Proceed”
“Skip”，不需要为每张表创建一个key
是否装载一些样例表，不需要！“Skip”
是否创建隐私表，不需要！“Skip”
是否创建另一个DB Alias，不需要！“Proceed”
创建完成“Close”
5.1 创建各种DB Alias示例
配置各种数据源.rar
5.2 系统迁移
Optim的迁移主要涉及到Column Map、抽取任务、装载任务的迁移，以减少配置。工作量
5.2.1 Optim任务的迁移方法
Optim推荐的备份方法，可以作迁移用。可用Optim Configuration建立一个新的Optim Directory，数据库字符集采用GBK，Optim Diectory字符集选择ASCII。[具体操作详见本文档 5.3 创建Optim Directory。]
采用Optim的导入/导出功能实现迁移。 进入Optim Utilities菜单，选择Export
进入Export界面
先定义好导出的文件名及路径，再点击上面的图标，选择“所有”；最后点击“跑步的小人”运行。Optim的定义就导出到了文本文件中。
在导入到新的Optim之前，要打开文件，检查一下原来系统中ColumnMap中的用户，以及
抽取文件、控制文件的存储路径，与新系统是否一致。如果不一致可以在导出文件中通过查找和替换，确保与新系统一致的前提下，再导入。
建议Column Map、抽取任务、装载任务分别导出。这样的好处是好检查。
ColumnMap文件的检查和修改
例如：ColumnMap文件里面的内容是这样的 CREATE CM DKXT.CREFE32 VALRULES M DSTUSESSRC F
SRC FEDGBK.DB2ADMIN.CREFE32 DEST FEDGBK.DB2ADMIN.CREFE32 (ACCT = ACCT,
PBKTYP = PBKTYP, 'exit idn' = PBKNUM, 'exit name' = SNAM, CUSAMT = CUSAMT, JZDATE = JZDATE, JYRQ = JYRQ, 。。。。。。
其中的红色部分，需要与新系统的配置一致，如果联邦数据库的名称，或者数据库连接者的名字与老系统不同就需要修改。
抽取任务导出文件的检查和修改
系统有设置好的文件路径，如果按照默认路径存储，就不必修改路径。默认路径的设置是在系统安装后的配置过程中设置的。如下图，
如果设定了其它路径，导出的时候就会在导出文件中出现。
例如：在默认路径“D:\\OPTIM\\DATA”下又建了一个子目录“20130114” 即“D:\\OPTIM\\DATA\\20130114”，把抽取文件放在了这个目录下，则文件中就会出现 '20130114\\CKXT.DPSFMACST1.xf'
其完整路径是“D:\\OPTIM\\DATA\\20130114\\CKXT.DPSFMACST1.xf”，此时如果导入的环境不是这样的路径，导入任务就会找不到文件出错。因此要修改导入文件。 抽取文件里面是这样的
CREATE EXTR CKXT.DPSFMACST1
XF //'20130114\\CKXT.DPSFMACST1.xf'//
LOCALAD (
SRCQUAL FEDGBK.DB2ADMIN START
红色部分表示的是抽取文件的路径，需要与新环境保持一致。如果出现差异，应该进行修改后再导入。
装载任务导出文件的修改
装载任务的导出文件与抽取文件的导出文件类似。如果抽取文件的路径发生变化，也要进行修改。方法如下：
装载任务导出文件如下：
CREATE UPIN CKXT.DPSFMACST1 XF //'20130114\\CKXT.DPSFMACST1.xf'// CF //'20130114\\CONTROL_FILES\\CKXT.DPSFMACST1.CF'// TM CKXT.DPSFMACST
DISCARDLIMIT 0 COMMITFREQ 2000 FORCEEDITTM N LOCKTBLS N UPDINS I DELETEROWS N ALWAYSCALLCREATE N TRIGMODE N CONSMODE N SHOWCURRENCY N SHOWAGE N DELCF N PROCESS_FILEATTACH Y FUNCTION_AGING (
AGETYPE NONE MULTIPLE 1
需要修改抽取文件和控制文件的路径与新系统一致。
导入任务文件
导入的方法与此类似，进入Optim Utilities菜单，选择Import
进入Import界面
选择文件，钩选overwrite existing defintions，再全选，再运行，即可导入。
5.2.2 脱敏函数的迁移方法
将自定义的脱敏函数DLL文件拷贝到新系统 因篇幅问题不能全部显示，请点此查看更多更全内容