datax测试 读mysql 写hdfs

安装配置ant：下载

解压后配置环境变量ANT_HOME 同时将ANT_HOME/bin添加到PATH

安装配置mysql\

yum install mysql-server，安装完成后执行mysqladmin -u root password 'root';

grant all privileges on *.* to peter@'localhost' identified by 'peter' with grant option;

create database xdata;

use xdata;

create table test_datax(user_id int,user_name varchar(30));

insert into test_datax values(111, 'peterlee');

insert into test_datax values(111, 'peterlee');

insert into test_datax values(111, 'peterlee');

安装配置hadoop 下载

配置core-site.xml hdfs-site.xml mapred-site.xml(最基本配置，网上一search一大把)

安装编译datax

从淘宝的开源svn上checkout一份代码

svn co http://code.taobao.org/svn/datax/trunkdatax

用当前系统hadoop中的hadoop-core-xxxx.jar 替换下面的jar包

在datax/rpm下面有spec文件，rpm打包的配置文件

rpmbuild --ba XXXXX.spec (例如,t_dp_datax_engine.spec)

按照datax官方编译文档安装

安装完成后

在datax/bin目录下执行 python datax.py -e true 生成一个job配置文件 XXXXXXXXXXXXXX.xml

ptyhon datax.py /home/peter/datax/jobs/XXXXXXXXXXX.xml