Linux 安装 logstash 并同步 MySQL 数据库
#编程技术 2019-10-30 17:21:00 | 全文 1270 字，阅读约需 3 分钟 | 加载中... 次浏览👋 相关阅读
- Linux 下安装 Elasticsearch
- windows10 安装 ElasticSearch
- centos服务器安装rclone自动挂载无限容量谷歌相册Google photo为磁盘
- mysql 已有大数据量表进行分区踩坑
- mysql binlog日志自动清理及手动删除
前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch，有兴趣可以点击以下链接查看： 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
既然我们已经成功的在 Linux 服务器中搭建好了 Elasticsearch 环境，由于我们使用的是 MySQL 数据库，所以现在我们需要实现 Elasticsearch 和 MySQL 的同步，接下来就看一下 Linux 如何安装 logstash 并同步 MySQL 数据库
安装 Logstash
首先我们需要去 Logstash 官网 找到我们需要的版本，并下载解压
## 下载压缩包
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.1.tar.gz
## 解压
tar -xzpvf logstash-6.3.1.tar.gz
## 重命名
mv logstash-6.3.1 logstash
使用 bin/logstash-plugin 命令，安装 logstash-input-jdbc
## 进入 logstash 目录
cd logstash
## 安装插件 logstash-input-jdbc
bin/logstash-plugin install logstash-input-jdbc
出现如下问题： OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12) 是内存不足导致的问题：
如果出现错误，我们去修改内存
## 进入config目录
cd config/
## 修改 jvm.options 文件
vim jvm.options
## 修改如下数据，小编这里修改成400m
-Xms400m
-Xmx400m
## 保存退出，返回 logstash 的根目录，重新安装插件
bin/logstash-plugin install logstash-input-jdbc
这次，我们就能安装成功了
接下来，为了实现 MySQL 数据的同步，我们还需要下载 mysql-connector
## 下载 mysql-connector
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.18/mysql-connector-java-8.0.18.jar
下载后将文件放在 Logstash 安装目录下的 /logstash-core/lib/jars/ 中
现在我们来编辑一个配置文件 logstash-es-mysql.conf，用来同步MySQL数据：
input{
stdin {
}
jdbc {
## 驱动方式
jdbc_driver_library => ""
## 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
## mysql 数据库链接,blog为数据库名 &useSSL=false 这个是为了防止不支持ssl连接的问题
jdbc_connection_string => "jdbc:mysql://localhost:3306/blog?characterEncoding=utf8&useSSL=false"
## 连接数据库用户名
jdbc_user => "root"
## 连接数据库密码
jdbc_password => "root"
## 是否启用分页
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
## 设置监听间隔 各字段含义（由左至右）分、时、天、月、年，全部为*默认含>义为每分钟都更新
schedule => "* 1 * * * "
type => "jdbc"
## 执行sql文路径及名称
## statement_filepath => "/home/logstash/blog.sql"
## 直接写sql语句用这个
statement => "select `article_detail`.article_id,article_title as title,article_detail_content as content from `article` LEFT JOIN `article_detail` ON `article`.`article_id` = `article_detail`.article_id"
## use_column_value => true
## tracking_column => "updatetime"
## 保存上一次运行>的信息(tracking_column)
## last_run_metadata_path => "./logstash_jdbc_last_run"
}
}
filter{
json{
source => "message"
remove_field => ["message"]
}
}
#output插件配置
output{
elasticsearch {
#这里可以是数组，可以是多个节点的地址，会自动启用负载均衡
hosts => ["127.0.0.1:9200"]
#index名称
index => "kafei"
#document_type => "haoyebao" #文档类型
document_type =>"article"
#文档id，必须设置，且表达式的变量存在，否则只>能插入一条记录
document_id => "%{article_id}"
}
#控制台打印json
stdout {
codec => json_lines
}
}
接下来，我们就能实现MySQL的同步了：
./bin/logstash -f logstash-es-mysql.conf
后台运行命令：
nohup ./bin/logstash -f logstash-es-mysql.conf > out.log 2>&1 &
现在，我们执行一下 curl ’localhost:9200/kafei/article/_search?pretty=true’ 语句，查看数据是否同步：
curl 'localhost:9200/kafei/article/_search?pretty=true'
可以看到我们现在是有82条记录的（数据库有80条），证明我们已经同步成功了，接下来，我们执行查询，看看效果：
到这里，我们就已经配置好了 Elasticsearch+Logstash+MySQL 的同步了。
问题解决
1、遇到问题com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?
解决：原因是 jar 包位置不正确，应该将 jar 包放在 Logstash 安装目录下的 /logstash-core/lib/jars/ 下 该问题参考链接：https://github.com/logstash-plugins/logstash-input-jdbc/issues/331
总结
- 首先需要先配置好：Elasticsearch+analysis-ik，配置教程可以参照： 全文搜索 Elasticsearch+analysis-ik；
- 其次需要安装 Logstash 和 logstash-input-jdbc 插件；
- 然后需要下载 mysql-connector；
- 最后配置MySQL同步的 logstash-es-mysql.conf 配置文件，启动，就可以成功同步MySQL的数据了。
via:https://zhuanlan.zhihu.com/p/40177683