数据迁移工具

产品简介

Product introduction

数据迁移的基本步骤就是Extract，Transfer，Load（ETL）。本工具就是帮助用户直观快速定义ETL规则，支持脚本的编辑、运行及调试。支持同构，异构系统的ETL，开放平台到开放平台、开放平台到主机平台、主机平台到开放平台、主机平台到主机平台，支持码制转换（U码-E码)产品支持的平台有windows，linux，aix，mainfram等从源模型迁移到目标模型，从全量数据到增量数据，只需要通过配置和定义相应ETL规则，轻松实现数据的转换和迁移。

产品功能

Product Features

	1.参数配置模块高阳数据迁移工具支持高度灵活的参数配置。用户填写完成参数配置excel文件。程序读取该参数配置excle文件，生成数据抽取脚本，字段配置信息及表分区信息文件，供下游使用。 2.SQL生成工具模块 SQL生成工具读取参数配置文件当中的内容，根据配置好的参数自动计算生成数据导出模块所需要的数据抽取SQL文件和转码配置文件，并对生成过程中可能出现的异常进行处理。SQL生成工具支持在windows或linux环境下执行。 3.数据导出模块数据装载程序面向SQL语句进行数据库数据的导出，前端根据自动装配生成的sql和配置文件以后，人工可以检查和修改SQL，使其符合新系统数据入库的要求，有复杂的SQL的和SQL不好实现的业务，可以通过外挂程序实现自动生成SHELL脚本以后，启动生成数据文件，并生成数据文件完成标志。

4.FTP传输模块 FTP数据传输模块根据数据导出模块生成的数据准备完成标识，自动识别需要传输至主机的数据文件，自动调用传输进程对数据进行传输，并自动记录过程日志。由控制守护进程对数据存储路径进行定时轮询，自动寻找并识别等待传输的数据文件，为每一个数据文件启动一个独立的传输进程进行数据传输，并自动记录日志。每一个独立的传输进程生成其单独的日志文件，记录传输过程。使用配置文件管理传输进程上限，避免资源耗尽。配置文件主要对FTP传输过程中所需的各项参数进行配置和记录，配置内容包括数据文件存放路径、数据文件轮询时间间隔、FTP传输并发量上限、FTP传输进程数量统计时间间隔、FTP目标IP地址、FTP用户名、FTP密码、FTP目标路径。

	5.数据加载模块自动装载过程由vba脚本自动生成单任务脚本，由人工上传至服务器环境后，再由控制守护进程对单任务脚本进行调度，依托迁移接口的映射配置文档（excel文档），通过vba脚本收集接口结构，生成装载脚本（针对Aix/Unix/Linux的shell脚本，以及针对主机的JCL脚本）。脚本将在探测到数据导出模块生成的.ok标识文件之后自动调起传输相应的数据文件至目标主机。 6.迁移一致性检核模块数据完成装载后，需要对目标系统和源系统数据进行校验比对，以确保数据的正确性和抽取是否成功。高阳的数据迁移工具提供对表各字段取值的合法性，如：字段非空，字段非法字符，日期，时间字段格式，字段正常取值，字段长度等检查，还可以针对维度进行统计，金额统计等校验等。迁移一致性检核模块提供数据检核配置表EXCEL文档，用户根据所需配置项进行配置所需要检核的内容。