dataX3.0安装使用手册

Data*3. 0 使用手册目录一、data 概述 2ldata 作用 22Data*3.0 框架设计 23Data*3.0 插件体系 2二、data*安装 41 创立用户组及用户 42 环境变量配置 43 安装 python4三、data*使用 51 生成配置文件模板 52 配置定时任务 83 常见问题及处理 8四、data 插件开发及安装 81. Reader 插件开发 82. Writtefe 件开发 93. 插件部署 10data 概述1 data 作用Data*是一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）. HDFS、Hive ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。为了解决异构数据源同步问题，Data*将复杂的网状的同步链路变成了星型数据链路，Data*作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 Data*,便能跟已有的数据源做到无缝数据同步。2 Data*3.0 框架设计Data*本身作为离线数据同步框架，采纳 Framework + plug 架构构建。将数据源读取和写入抽象成为 Reader/Write 插件，纳入到整个同步框架中。Reader： Reader 为数据采集模块，负责采集数据源的数据，将数据发送给 Framework。Writer Writer^数据写入模块，负责不断向 Framework 取数据，并将数据写入到目的端。Framework： Framework 用于连接 reader 和 writer 作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。3 Data*3.0 插件体系类型数据源Reader 读）Writer 写）RDBMS 关系型数据库MySQLA//OracleA//SQL Server//PostgreSQL//达梦A//通用 RDBMS（支持所有关系型数据库）A//阿里云数仓数据存储Ma*Compute(原ODPS)//Analytic D 原(ADS)/OSS//云数据库 Memcache版原 OCS）//Hive/NoSQL 数据存储Table Stor^(OTS)//Hbase0.94//Hbase1.1//MongoDB//无构造化数据存储T*tFile//JsonFileA/FTPA//HDFS//二、data 安装1 创立用户组及用户2 环境变量配置3 安装 python三、data 使用1 生成配置文件模板命令：bin/python data*.py -r {YOUR_READER} -w {YOUR_WRITER}案例 1： mysqlreader-> mysqlwriter案例 2： jsonfilereader-> hbasewriter2 配置定时任务1.1 创立任务列表文件1.2 crontab 加载系统任务列表文件3 常见问题及处理1.1 /bin/sh: 1: java: not found原因：/home/data*/data*3/data*/bin/ da 未 a 取到 yJAVA_HOME 环境变量值四、data ...