大数据爬虫最新的数据大数据ELK二十二

导读#头条创作挑战赛#采集ApacheWeb服务器日志一、需求Apache的WebServer会产生大量日志，当我们想要对这些日志检索分析。就需要先把这些日志导....

#头条创作挑战赛#

采集Apache Web服务器日志一、需求

Apache的Web Server会产生大量日志，当我们想要对这些日志检索分析。就需要先把这些日志导入到Elasticsearch中。此处，我们就可以使用Logstash来实现日志的采集

打开这个文件，如下图所示。我们发现，是一个纯文本格式的日志。如下图所示：

这个日志其实由一个个的字段拼接而成，参考以下表格