通过filebeat、logstash、rsyslog采集nginx日志的几种方式 由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。通过logstash可以方便的配置日志输出存储的方式。 一般来说nginx默认安装后,日志文件在 /usr/local/nginx/logs 目录下。分别有 access.log和error.log 访问日志和错误日志。这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24,172.28.65.30 是kibana的地址,172.28.65.32是数据采集服务器,上面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash,而nginx、 filebeat应该是装在采集目标上。 一、直接通过filebeat采集日志到ES 在filebeat的安装目录找到filebeat.yml 配置获取...
Apache Superset最近发布了1.0.1版本,这也是1.0版本后的有一个重大的版本,Superset也会在以后有更多的改进。那么让我们来看一下最新的新功能吧。 Apache Superset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。 由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具。 Superset官网地址:http://superset.apache.org/ 用户体验 通过更简单,更直观的UI将Superset用户体验提升到了新的水平。 现在可以使用缩略图网格的方式来显示图表和仪表板列表。这对于查找图表和仪表板更加容易了,尤其是有很多图表和仪表板的情况下。 可视化控件已经更新。界面进行了优化,同时重构了包括标签、排序等控件。 从SQL Lab跳转到Explore时,用户还可以创建和命名新数据集或更新现有数据集。返回到SQL Lab时,将显示该数据集的基础查询,使用户可以在SQL...
ELK中的logstash、kafka与filebeat的部署。 实战搭建环境与各主机角色说明。 机器选择:睿江云平台节点选择:广东G(VPC网络更安全、SSD磁盘性能高)云主机配置:4核16G(4核8G也支持,但会有延时感)网络选择:VPC虚拟私有云(VPC网络更安全、高效)带宽:5M系统版本:Centos7.6云主机数量:5软件版本:ELK 7.4.0、kafka 2.12-2.6.0首先,下面为部署logstash的步骤。a.步骤1登陆logstash节点。ssh 到 192.168.0.6b.步骤2cd /opt/wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gzc.步骤3tar -zxvf logstash-7.4.0.tar.gzmkdir -p /opt/els/logs/logsd.步骤4vi /opt/logstash-7.4.0/config/logstash.ymlpath.logs: /opt/els/logs/logs path.config: /opt/logstash-7.4.0/conf.d/*.conf xpack.monitoring.enabled: true xpack.monitoring.elasticsearch.username: "elastic" xpack.monitoring.elasticsearch.password: "123456" xpack.monitoring.elasticsearch.hosts: ["http://ES-node1:9200","http://ES-node2:9201","http://ES-node3:9202"] e.步骤5新建配置文件,...
Elasticsearch:使用 Nginx 来保护 Elastic Stack 在我之前的文章 “反向代理及负载均衡在 Elasticsearch 中的应用” 中,我已经详述了如何使用 Nginx 来作为一个反向代理来访问 Elastic Stack。在今天的文章中,我将详述如何使用 Nginx 来保护 Elastic Stack。基于 Elastic Stack Basic 许可以上,我们都可以使用 Elastic Stack 所提供的安全方案来对 Elastic Stack 进行保护。针对 OSS 的用户来说,我们可以使用 Nginx 所提供的安全措施来对我们的 Elastic Stack 进行保护。 在本文中,我想解释一下如何实现保护 Elastic Stack 的一种更常见,更简单的方法-在 Elasticsearch 和 Kibana 的前面部署 nginx 作为反向代理。   在今天的实验中,我将使用一个 Ubuntu 20.04 的机器来做演示。   安装 Elastic Stack 针对我们的实验,我们需要安装 Elasticsearch 已经 Kibana。请参阅我之前的文章 “Elastic:菜鸟上手指南” 进行安装。我都使用默认的配置。等 Elasticsearch 以及 Kibana 都起来之后,我们可以看到如下的画面: Elasticsearch 运用于 localhost:9200 上,而 Kibana 运行于 localhost:5601 上。 Ngi...
 
0
Spark和Hadoop的区别和比较:1.原理比较:Hadoop和Spark都是并行计算,两者都是用MR模型进行计算Hadoop一个作业称为一个Job,Job里面分为Map Task和Reduce Task阶段,每个Task都在自己的进程中运行,当Task结束时,进程也会随之结束;Spark用户提交的任务称为application,一个application对应一个SparkContext,app中存在多个job,每触发一次action操作就会产生一个job。这些job可以并行或串行执行,每个job中有多个stage,stage是shuffle过程中DAGScheduler通过RDD之间的依赖关系划分job而来的,每个stage里面有多个task,组成taskset,由TaskScheduler分发到各个executor中执行;executor的生命周期是和app一样的,即使没有job运行也是存在的,所以task可以快速启动读取内存进行计算。2.数据的存储和处理:hadoop:Hadoop实质上更多是一个分布式系统基础架构: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,同时还会索引和跟踪这些数据,大幅度提升大数据处理和分析效率。Hadoop 可以独立完成数据的存储和处理工作,因为其除了提供HDFS分布式数据存储功能,还提供MapReduce数据处理功能。spark:Spark 是一个专门用来对那些分布式存储的大数据进...
Centos7关于ElasticSearch7.4高可用集群版搭建 1.前置准备 若之前未了解过ElasticSearch的安装,在安装集群版之前,建议先了解一下单机版创建。集群版无非就是拷贝了几套单机版的安装包,配置稍加改。 单机版安装详细教程以及安装过程容易遇到的问题详见:ElasticSearch单机版安装 集群环境准备 IP 监听端口 主机名 系统 es实例名称 es版本 192.168.3.21 9201/9301 elastic CentOS 7 node-a 7.4.0 192.168.3.22 9201/9301 elastic CentOS 7 node-b 7.4.0 192.168.3.23 9201/9301 elastic CentOS 7 node-c 7.4.0 2.下载安装包 ...
Elasticsearch客户端WebUI工具之kibana 简介 Kibana 是用于Elasticsearch设计的开源分析和可视化平台。1 可以使用 Kibana 来搜索。 查看存储在 Elasticsearch 索引中的数据并与之交互。 可以实现高级的数据分析和可视化,以图表的形式展现出来。 使用前我们肯定需要先有Elasticsearch。 本文主要介绍Kibana的安装、常见可视化等操作,以及Elasticsearch控制台可以非常方便的来调用es的api,强烈推荐 2.下载安装包 官方最新版下载:传送门官方历史版本下载:传送门我这里选择的是7.4.0版本:传送门 命令下载wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz 3.解压#解压到目录 tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz -C /usr/local/cd /usr/local/ #重命名一下 mv kibana-7.4.0-linux-x86_64 /usr/local/kibana-7.4.0 #创建pid文件存储目录(默认:/var/run/kibana.pid) mkdir /usr/local/kibana-7.4.0/run 4.修改配...
Elasticsearch客户端工具之ES-Head 一.简介 Elasticsearch-Head是比较常用的Elasticsearch老牌客户端工具之一。 1.下载安装包 Github地址:传送门 这里下载release 版本wget https://github.com/mobz/elasticsearch-head/archive/v5.0.0.tar.gz 2.安装Node 需要依赖Node环境解压下载的es-head插件,cd到解压目录,下载nodejs,并安装:# node 安装版本10以上 curl --silent --location https://rpm.nodesource.com/setup_10.x | bash - # yum 按安装 node yum install -y nodejs 查看是否安装成功:node -v npm -v 3.安装相关依赖npm install -g grunt-cli npm install npm install grunt-contrib-jasmine 4.启动nohup grunt server 访问地址:http://IP:9100 二.Chrome浏览器插件 通过chrome安装插件的方式提供一个可操作es的图形化界面。在chrome 浏览器中,通过“扩展程序” 添加 elasticsearch head 插件的方式,这种方式无须开启 es的跨域访问。1、打开链接谷歌浏览器访问 https://chrome.google.com/webstore/search/ElasticSearch%20Head?hl=zh-CN 附录 ...
 
0

最详细的Hadoop环境搭建

发表者:admin分类:大数据2021-02-22 11:37:48 阅读[741]
最详细的Hadoop环境搭建blog.csdn.net-GitChat大数据  史上最详细的Hadoop环境
 
0

ES/elasticsearch知识体系

发表者:admin分类:大数据2021-02-22 11:37:01 阅读[708]
从入门到进阶的知识体系大致归纳如下:
    总共9页,当前第7页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9