大数据分析elt与etl大数据ELK二十一

导读#头条创作挑战赛#Logstash简介和安装一、简介Logstash是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集，并按照指定的数据格式进行....

#头条创作挑战赛#

Logstash 简介和安装一、简介

Logstash 是一个开源的数据采集引擎。它可以动态地将不同来源的数据统一采集，并按照指定的数据格式进行处理后，将数据加载到其他的目的地。最开始，Logstash 主要是针对日志采集，但后来 Logstash 开发了大量丰富的插件，所以，它可以做更多的海量数据的采集。

它可以处理各种类型的日志数据，例如：Apache 的 web log、Java 的 log4j 日志数据，或者是系统、网络、防火墙的日志等等。它也可以很容易的和 Elastic Stack 的 Beats 组件整合，也可以很方便的和关系型数据库、NoSQL 数据库、kafka、RabbitMQ 等整合。

1、经典架构

2、对比 Flume

• Apache Flume 是一个通用型的数据采集平台，它通过配置 source、channel、sink 来实现数据的采集，支持的平台也非常多。而 Logstash 结合 Elastic Stack 的其他组件配合使用，开发、应用都会简单很多
• Logstash 比较关注数据的预处理，而 Flume 跟偏重数据的传输，几乎没有太多的数据解析预处理，仅仅是数据的产生，封装成 Event 然后传输。

3、对比 FileBeat

• logstash 是 jvm 跑的，资源消耗比较大
• 而 FileBeat 是基于 golang 编写的，功能较少但资源消耗也比较小，更轻量级
• logstash 和 filebeat 都具有日志收集功能，Filebeat 更轻量，占用资源更少
• logstash 具有 filter 功能，能过滤分析日志
• 一般结构都是 filebeat 采集日志，然后发送到消息队列，redis，kafka 中然后 logstash 去获取，利用 filter 功能过滤分析，然后存储到 elasticsearch 中

二、安装 Logstash1、切换到 lanson 用户2、下载 Logstash

Logstash 7.6.1 | Elastic

3、解压 Logstash 到指定目录4、运行测试

cd /export/server/es/logstash-7.6.1/bin/logstash -e input { stdin { } } output { stdout {} }

等待一会，让 Logstash 启动完毕

然后，随便在控制台中输入内容，等待 Logstash 的输出

{"host" => "node1","message" => "hello world","@version" => "1","@timestamp" => 2021-12-05T08:32:31.007Z}

ps：

-e 选项表示，直接把配置放在命令中，这样可以有效快速进行测试