ElasticSearch 入门（三）Logstash 实现 MySQL 数据同步至 ElasticSearch

关于 MySQL 数据同步至 ES，Github 上的中间件有：

• alibaba/cannal

• siddontang/go-mysql-elasticsearch

• Logstash（ES 官方）

Logstash 是动态数据收集管道，拥有可扩展的插件生态系统。Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

[](()配置准备

• jar 包依赖：mysql-connector-java

1. 下载 jar 包（或直接在本地的 Maven 仓库.m2 下找）：mysql-connector-java-8.0.19.jar；

2. 将 jar 包放到 logstash-7.5.2 目录下，稍后在配置中指向该路径；

• 配置 MySQL 与 ES 同步

在logstash-7.5.2/config下新建mysql.conf文件：

input{

jdbc{

jdbc_driver_library => "../mysql-connector-java-8.0.19.jar"

jdbc_driver_class => "com.mysql.cj.jdbc.Driver"

jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/zfjt-oa?serverTimezone=Asia/Shanghai"

jdbc_user => "root"

jdbc_password => "root"

schedule => "* * * * *"

clean_run => true

statement => "select * FROM demo_employee WHERE create_time > :sql_last_value AND create_time < NOW() ORDER BY create_time desc"

}

}

output {

elasticsearch{

hosts => ["127.0.0.1:9200"]

index => "hero"

document_id => "%{id}"

}

}

以上配置了连接本地数据库zfjt-oa，将表demo_employee同步至 E 《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 S 中的hero索引。

[](()开启同步

• 当然，首先启动 ES，同步前先看下 ES 中有哪些索引

可以看到仅有一个之前的 movie 索引。