「视频小课堂」ELK和Kafka是怎么就玩在一起成了日志采集解决方案文字版

视频地址:ELK和Kafka是怎么就玩在一起成了日志采集解决方案

视频文字版

今天呢我就带来了一期视频,主要就是讲ELK和Kafka之间的通讯关系通过对一张通讯图,和一些操作命令,让我们能更深入的去理解ELK在日志采集过程当中以及Kafka在消息队列分发过程当中,它们是如何进行配置使用的,以及它们之间的通讯机制希望对您的学习有所帮助,谢谢!
我们的目标是一台主机主机上的服务会产生日志,例如/var/log目录下面会不断产生各种日志记录我们把这个采集范围称为日志采集源这时候我们把ELK的文件采集器filebeat部署到这台主机上,让它实时监测并增量采集最新的日志记录Filebeat可以给ELK家族的Elasticsearch搜索引擎直接推送采集日志也可以给ELK另外一个日志管道工具Logstash直接推送采集日志最关键的一步是filebeat可以将日志作为消息直接推送给Kafka集群。

我们就通过命令操作演示,更具体的看看它到底是怎么配置的 首先通过pwd命令,查看一下filebeat所在的目录,我的安装目录在/opt/filebeat目录下然后我们再用ls命令查看一下目录下面的文件,找到filebeat的配置文件filebeat.yml。

接着我们用vi命令编辑并查看filebeat.yml文件我们用output关键字,搜索filebeat采集输出的配置,通过n键匹配,我们找到了第一个配置点:Elastisearch输出好,我们可以看到已经被#注掉的Elastisearch,证明filebeat采集到数据不会输出给Elasticsearch。同时可以看到Elasticsearch接收地址是node1,端口是9200。 好!接着继续按n键搜索下一个输出,这时候我们找到了第二个配置点:Logstash输出我们同样可以看到已经被#注掉的Logstash,证明filebeat采集到数据不会推给logstash,同时可以看到Logstash的接收地址:node1,端口5044Ok,我们接着继续按n键搜索最后一个数据,这时候我们找到了最后一个输出点:Kafka输出这次Kafka的输出没有被注释掉,证明filebeat采集到的数据一定会输出给Kafka同时我们看到接收数据的Kafka集群是由三台机器组成node2、node3、node4,端口都是9092推送给Kafka的topic是testT3

通过命令演示中的配置,让我们寻求一种最合理的日志管道传输解决方案,首先filebeat将数据推送给Kafka集群,这样可以形成一个大吞吐承载力的数据缓冲区,而且由Kafka可以接收更多的filebeat采集点接着Logstash作为Kafka的消费者客户端订阅testT3 Topic,Logstash具备了各种过滤器,编解码器,进行数据清洗,可以为下一阶段的输出提供更高质量的日志数据最后Logstash将日志数据写入elasticsearch集群的索引当中,完成日志的最终落地。

前往读字节的知乎——了解更多关于大数据的知识

公众号 “读字节” 大数据(技术、架构、应用)的深度,专业解读

给TA买糖
共{{data.count}}人
人已赞赏
经验教程

springboot源码解析-管中窥豹系列之BeanFactoryPostProcessor(十一)

2021-3-9 16:58:00

经验教程

完全使用 VSCode 开发的心得和体会

2021-3-9 18:41:00

⚠️
免责声明:根据《计算机软件保护条例》第十七条规定“为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。”您需知晓本站所有内容资源均来源于网络,仅供用户交流学习与研究使用,版权归属原版权方所有,版权争议与本站无关,用户本人下载后不能用作商业或非法用途,需在24个小时之内从您的电脑中彻底删除上述内容,否则后果均由用户承担责任;如果您访问和下载此文件,表示您同意只将此文件用于参考、学习而非其他用途,否则一切后果请您自行承担,如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。 本站为个人博客非盈利性站点,所有软件信息均来自网络,所有资源仅供学习参考研究目的,并不贩卖软件,不存在任何商业目的及用途,网站会员捐赠是您喜欢本站而产生的赞助支持行为,仅为维持服务器的开支与维护,全凭自愿无任何强求。本站部份代码及教程来源于互联网,仅供网友学习交流,若您喜欢本文可附上原文链接随意转载。
无意侵害您的权益,请发送邮件至 momeis6@qq.com 或点击右侧 私信:momeis 反馈,我们将尽快处理。
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索