datax环境部署和管理教程

这篇文章主要介绍“datax环境部署和管理教程”，在日常操作中，相信很多人在datax环境部署和管理教程问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”datax环境部署和管理教程”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

datax环境部署和管理

前期环境准备

python环境搭建
jdk环境搭建

搭建python环境

• 下载python 选择版本为Python 2.7.12 》 Gzipped source tarball

https://www.python.org/downloads/source/

• 解压python包，并执行./configure进行编译

• make

• make install

• 上面操作命令执行完毕，Python 会安装在 /usr/local/bin 目录中

• 输入python验证是否安装成功

搭建jdk环境

省略

部署datax环境

• 下载datax

https://github.com/alibaba/DataX

• 解压

• 进入job目录下参照官网验证增加stream2stream.json文件 》 从stream读取数据并打印到控制台

• stream2stream.json内容如下

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

• 切换到datax 所在的bin目录，执行

[root@localhost bin]# python datax.py ../job/stream2stream.json

部署datax-web环境

• 可参照官网

• 下载地址

https://github.com/WeiYe-Jing/datax-web

https://pan.baidu.com/share/init?surl=3yoqhGpD00I82K4lOYtQhg  cpsk

• 上面文件解压之后

• 建议先手动创建datax-web数据库，并初始化datax-web-2.1.2/bin/db/datax_web.sql

• 进入datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties手动更改dbc相关信息

• 进入datax-web-2.1.2 执行 ./bin/install.sh，默认选择Y，执行mysql初始化步骤跳过

• 进入datax-web-2.1.2/modules/datax-executor/bin/env.properties主要调整datax.py目录

## PYTHON脚本执行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/usr/local/datax/bin/datax.py

• 上面成功之后， 进入datax-web-2.1.2 执行./bin/start-all.sh启动相关服务

• 访问地址为 http://{ip}}:9527/index.html

关于启动日志查看

1、datax-web-2.1.2/modules/datax-executor/bin/console.out
2、datax-web-2.1.2/modules/datax-admin/bin/console.out

到此，关于“datax环境部署和管理教程”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注本站网站，小编会继续努力为大家带来更多实用的文章！