使用dataX收获的教训

2023-05-11,,

首先是安装dataX,安装非常简单,只需下载对应的压缩包即可。

下载地址:https://github.com/alibaba/DataX

首先我出现的第一个错误:命令提示符界面出现出现乱码。

解决方法:

    可以在cmd中输入: CHCP 65001 ,然后进行后续操作。

然后我遇到的最大的一个错误:

经DataX智能分析,该任务最可能的错误原因是:

com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息,请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 请按照标准json格式提供配置信息.

然后我百思不得其解,问了几个同学也没有结果,最后发现错误,真是被自己搞笑了。原来是路径写错了,比如该路径  D:/datax/datax/job/data1.csv

而我硬写成了  D:\datax\datax\job\data1.csv

经过上面的教训我终于知道了一般 ‘\'后面加字母都是转义字符,下次肯定不会弄乱了。

读取本地文件写到mysql中代码:

 1 {
2 "job": {
3 "content": [
4 {
5 "reader": {
6 "name": "txtfilereader",
7 "parameter": {
8 "path": ["C:/Users/train_label.csv"],
9 "encoding":"GBK",
10 "column": [
11 {
12 "index":0,
13 "type":"string"
14 },
15 {
16 "index":1,
17 "type":"string"
18 }
19 ],
20 "fieldDelimiter":","
21 }
22 },
23 "writer": {
24 "name": "mysqlwriter",
25 "parameter": {
26 "column": [
27 "ID",
28 "Label"
29 ],
30 "connection": [
31 {
32 "jdbcUrl": "jdbc:mysql://localhost:3306/user",
33 "table": ["ccc"]
34 }
35 ],
36 "password": "password",
37 "username": "root",
38 "preSql":[""],
39 "session":["set session sql_mode='ANSI'"],
40 "writeMode":"insert"
41 }
42 }
43 }
44 ],
45 "setting": {
46 "speed": {
47 "channel": "1"
48 }
49 }
50 }
51 }

使用dataX收获的教训的相关教程结束。

《使用dataX收获的教训.doc》

下载本文的Word格式文档,以方便收藏与打印。