下载安装

一定要对应ES版本(5.x,6.x,7.x)
win下不用安装解压即用 , 解压目录不能带有空格和中文 , 否则会有奇奇怪怪的报错无法运行
win下要给logstash文件夹赋予管理员权限 , 否则执行的时候会读取不到文件

下载地址:https://github.com/elastic/logstash/releases

解压出来文件夹内容

---

编写脚本

在mysql2es文件夹中创建脚本 , 方便后续使用修改
在mysql2es文件夹中放一个MySQL的驱动jar包 , 后续会使用

input {

  jdbc {

	  # mysql 连接地址

	  jdbc_connection_string => "jdbc:mysql://10.0.5.167:3306/law?useUnicode=true&characterEncoding=utf-8&useSSL=false"

	  # 用户名 密码

	  jdbc_user => "1234"

	  jdbc_password => "4321"

	  # mysql 驱动jar包的绝对路径,不要有中文目录不要有空格

	  jdbc_driver_library => ".\mysql2es\mysql-connector-java-8.0.20.jar"

	  # mysql 驱动Class

	  jdbc_driver_class => "com.mysql.jdbc.Driver"

	  # 是否开启分页 true开启

	  jdbc_paging_enabled => "true"

	  # 分页大小 10000条一页

	  jdbc_page_size => "10000"

	  # sql语句的配置文件路径,如果sql语句比较长,那么写在文件里指定路径

	  #statement_filepath => ""

	  # sql语句 select * 字段就全部添加到ES里了,如果要指定指定字段 select id,name ...

	  statement => "SELECT * FROM A"

	  #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新（测试结果，不同的话请留言指出）

      schedule => "* * * * *"

  }

}

output {

  elasticsearch {

	  #ES IP地址与端口

	  hosts => "esIP地址:端口号"

	  #ES索引名称（自己定义的）

	  index => "xxx"

	  #自增ID编号 这里是固定语法 %{} 里面写mysql表那个字段就用那个字段作为ES _id 的值

	  document_id => "%{id}"

	  # ES 下的 type

	  document_type => "xxx"

  }

  # 控制台输出输入流和输出流

  stdout {

      #以JSON格式输出

      codec => json_lines

  }

}

从MySQL表中查询出字段 , 对应ES索引中的结构 , 导入数据

---

执行脚本

用管理员cmd窗口进入logstash下的bin目录
执行命令 logstash -f ../mysql2es/mysql.conf
等待执行完毕 , 关闭cmd窗口

logstash从MySQL导入数据到ES的相关教程结束。