2022版DM数据库对比工具软件用户手册.docx

DM数据库对比工具软件用户手册V2.2目录第1章软件简介41.1 背景与目的41.2 术语简介41.3 系统结构51.4 使用约束61.4.1 数据类型61.4.2 对比分类6第2章运行环境72.1 硬件环境72.2 操作系统72.3 支持数据库平台72.4 操作系统需求7第3章配置说明83.1 AGENT的配置83.2 VERl的配置93.3 任务文件配置11第4章对比管理134.1 LinUX平台下代理数据库为ORACLE时134.1.1 安装UniXODBC134.1.2 环境变量的检查和配置144.1.3 监听的配置和检查144.1.4 配置UniXoDBC源144.2 LinUX平台下代理数据库为DM7时154.2.1 环境检查和配置154.2.2 配置DM7ODBC源154.2.3 注意事项154.3 Windows平台164.4 中文编码164.5 权限管理174.5.1 操作系统权限174.5.2 数据库权限174.6 代理数据库管理184.7 代价估算184.7.1 Linux文件句柄的个数184.7.2 磁盘空间184.7.3 内存估算19第5章部署和执行195.1 部署源端AGENT205.2 部署目的端AGENT205.3 VERl对比执行20第6章对比示例226.1 OraCIe到dm7的对比226.1.1 tnsnames.ora的配置226.1.2 UniXODBC配置226.1.3 VERI酉己置veri.xml236.1.4 源端AGENT配置agent.xml246.1.5 目的端AGENT配置agent.xml246.1.6 启动AGENT服务器246.1.7 动态对比256.2 OraCIe到omCle对比276.2.1 tnsnames.ora的配置276.2.2 UnixODBC配置276.2.3 veri.xml配置286.2.4 源agent_src.xml配置286.2.5 目的agent_dest.xml配置296.2.6 执行对比29附录技术支持30第1章软件简介1.1 背景与目的在进行实时同步的时候，需要了解同步的结果是否正确，因此需要有数据对比工具进行数据的对比，并生成详细的对比报告，提供用户参考。对比工具仅仅生成报告，对数据不一致的情况不做任何操作，仅仅提示用户发生了数据不i致情况，并且告诉用户那些数据不一致。目前对比工具支持的功能有：1 .支持Oracle-Oracle>OraCIe-dm、dm-dm之间单表对比、模式下所有表的数据对比。2 .支持row_partition（行分区）方式选取表中部分数据进行对比。3 .支持对象定义对比。4 .支持多种对比方式，具体参见1.4.2节对比分类。5 .支持Xml配置自动对比任务。1.2 术语简介1. AGENT对比工具代理服务，主要用作数据获取，并计算行数据的MD5,发送给对比模块。2.VERI对比校验进程，主要进行模式下对象对比，数据对比，并且生成对比报告。3.DMHS达梦异构同步工具。4.动态对比对比工具与DMHS协同工作，保证源表与目的表都是执行完相同事务后对查询结果集进行对比。5 .静态对比对比工具单独对比，没有DMHS的协同。6.键值对比按照主键或者唯一索引值排序进行对比。7.非键值对比按照行数据MD5值排序后进行对比。8 .二次确认对比在对比过程中，由于DMHS同步的时间差，第一次对比会存在不一致，因此需要针对第一次对比的结果，再次进行第二次确认对比，确定DMHS同步是否存在延迟或失败。9 .快速对比仅仅对表进行记录行数的对比。10 .锁表动态对比动态对比的一种，通过锁表控制源表与DMHS同步数据一致。11 .闪回查询动态对比动态对比的一种，通过闪回查询直接取得某SCN的结果集，仅仅适用OraCIe库中不包含LONG,LONGRAW类型的表。1.3 系统结构系统主要分为对比代理服务和对比校验进程。对比代理服务分源对比代理服务和目的对比代理服务。对比代理服务的作用是从数据服务器取得数据记录，并取得数据记录的MD5值发送到对比校验进程进行校验。对比校验进程对数据进行比对后，直接访问源数据库服务器和目的数据库服务器，生成详细的对比报告。系统结构图如图1.3.1所示。VERl进程agent, xmlagent, xml注：图中实线箭头为命令方向，虚线箭头为数据方向图131系统结构图1.4 使用约束1.4.1 数据类型DMHS对比工具支持的数据类型见表1.4.1.1所示。表141.1数据类型的约束支持的数据类型数值类型字符类型二进制数据类型时间日期类型大对象类型不支持的数据类型时区数据类型142对比分类DMHS对比工具对比方式的分类：按照对比模式分为：静态对比、动态对比、快速对比和二次对比；按照是否使用键值对比分为：键值对比和非键值对比；动态对比按照对比表之间是否存在关联分为：普通对比和组表对比，前者表示表之间的对比没有关联，相互独立；后者表示表之间存在关联，如外键引用，对比时关联表会在相同的SCN下比较。组表对比只支持源代理数据库为Oracle的情况,且不支持LONG和LONGRAW数据类型。动态对比按照执行方式不同分为：锁表动态对比和闪回查询动态对比。普通对比可以使用其中任意一种执行方式，组表对比只能使用闪回查询动态对比。在不支持闪回查询的数据库对比中，默认使用锁表动态对比。第2章运行环境2.1硬件环境i内存需求DMHS对比工具需要的内存总量取决于执行的分析线程以及执行线程的并发数，最少需要IGB内存。2.磁盘需求DMHS对比工具安装文件占用277MB,包括了管理工具以及管理界面占用的空间，另外需要一些额外的空间存储DMHS对比工具运行的日志文件和报告生成，以及非键值对比排序生成的中间文件。2.2 操作系统1. Windows系列操作系统Windows2003、WindowsXP、Windows7及以上。2.Linux系列操作系统各种主流的Linux操作系统（如Redhat>Kylin等）。2.3 支持数据库平台数据库支持0raclel0g>Oraclellg>DM7。2.4 操作系统需求1TCP/IP配置系统支持TCP/IP服务（对比工具安装的所在机器必须配置主机名或者IP地址），DMHS对比工具的校验进程（DMHS_VERl进程）需要使用未预留的TCP/IP端口，默认使用5347,可以配置。2操作系统权限在WindoWS安装时，安装和执行DMHSvERl和DMHSVERlAGENT的用户必须是管理员身份。在UNIX环境下安装，安装用户必须有权限读写DMHS对比工具安装目录，将涉及的数据库接口动态库添加到系统共享库环境变量中第3章配置说明运行DMHS对比工具之前，需要配置AGENT和VERL各配置项的详细说明请参见本章说明。任务文件配置为执行对比时的命令行参数，为可选参数，如果指定任务文件，则不需要在命令行中指定TABLE表信息。3.1AGENT的配置AGENT配置文件使用XML文件格式，默认文件为agent.xml,配置示例如下：<?xmlversion='11.0"encoding="utf-8,7><agent><port>5347<port><lang>ch<lang><max_session>50</max_session><mode>0<mode><lock-nowait>1</lock_nowait><pwd-encipher>O</pwd_encipher><database><server>ora92<server><uid>test<uid><psw>test</psw><type>ORACLE1lg<type><char_code>PG_GB18030<char-code><database><agent>各配置项的详细说明如表3.1.1所示。表3.1.1AGENT配置项说明名称缺省值是否为必选项说明port5347YAgent服务器的端口号http-portNAgent的hllp服务端口号IangenN报告和日志语言：s和ch,en是表示英文，Ch则表示中文，默认值为en。max.session10N最大连接数,范围为1,10000mode0N0：动态对比锁表模式：1：动态对比闪回查询模式。仅仅在Oracle中有效。lock_nowai(1N动态对比上锁模式中对表上锁是否使用nowait,1表示使用；（）表示不使用。pwd_encipher0N配置连接数据库口令是否加密：1表示密文：0：表示明文。密文通过dhsconscteIl具的命令PWd“xx"获得。groupnum0Nagent按rowid分组线程个数，如果没有设置或者为0,或者thr_num为0,则不打开分组功能，仅仅DM7和ORACLE有效。thr_num0Nagent的md5线程最大个数，仅仅oracle与dm7有效，如果设置为group_num则为每个分组的md5线程最大个数。为0则不开启这个功能。databaseYAgent连接的数据库配置注：Y表示必选项，N表示可选项。mode和lockWWait两个配置项只有在源AGENT服务器动态对比时才起作用。database配置项对应其代理数据库的连接属性，详细说明如表3.1.2所示。表3.1.2database节点配置名称缺省值是否为必选项说明serverY数据库连接名uidY用户名PSWY密码portY/N代理数据库为DM7时为必选项typeY数据库类型：OraclelOg>OraCIelIg和DM7。db-nameY/N代理数据库为DM6是为必须项char-codePG-GB18030Y/N代理数据库的字符集编码，常用为：PG-GB18030和PG_UTF8。代理数据库为DM7时，需要配置POm即对应的DM7服务器端口。3.2VERI的配置VERI配置文件使用Xml格式进行配置，默认文件为veri.xml,配置示例如下:<7xmlversion="1.0"encoding=',utf-8"7><veri><lang>ch<lang><!language:enorch-><max_thr>4(Xmax_thr><max_obj_thr>1</max_obj_thr><retrjf-times>O</retry_limes><gen_html>O</gen_html><max_out_sync>1(XXXX)</max_out_syno<pwd_encipher>()</pwd_encipher><dmhs><!-dmhs-serverfordestination><server_na