Spark和Hadoop的区别和比较:1.原理比较：Hadoop和Spark都是并行计算，两者都是用MR模型进行计算Hadoop一个作业称为一个Job，Job里面分为Map Task和Reduce Task阶段，每个Task都在自己的进程中运行，当Task结束时，进程也会随之结束；Spark用户提交的任务称为application，一个application对应一个SparkContext，app中存在多个job，每触发一次action操作就会产生一个job。这些job可以并行或串行执行，每个job中有多个stage，stage是shuffle过程中DAGScheduler通过RDD之间的依赖关系划分job而来的，每个stage里面有多个task，组成taskset，由TaskScheduler分发到各个executor中执行；executor的生命周期是和app一样的，即使没有job运行也是存在的，所以task可以快速启动读取内存进行计算。2.数据的存储和处理：hadoop：Hadoop实质上更多是一个分布式系统基础架构: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，同时还会索引和跟踪这些数据，大幅度提升大数据处理和分析效率。Hadoop 可以独立完成数据的存储和处理工作，因为其除了提供HDFS分布式数据存储功能，还提供MapReduce数据处理功能。spark：Spark 是一个专门用来对那些分布式存储的大数据进...

Centos7关于ElasticSearch7.4高可用集群版搭建 1.前置准备 若之前未了解过ElasticSearch的安装，在安装集群版之前，建议先了解一下单机版创建。集群版无非就是拷贝了几套单机版的安装包，配置稍加改。 单机版安装详细教程以及安装过程容易遇到的问题详见：ElasticSearch单机版安装 集群环境准备 IP 监听端口 主机名 系统 es实例名称 es版本 192.168.3.21 9201/9301 elastic CentOS 7 node-a 7.4.0 192.168.3.22 9201/9301 elastic CentOS 7 node-b 7.4.0 192.168.3.23 9201/9301 elastic CentOS 7 node-c 7.4.0 2.下载安装包 ...

Elasticsearch客户端WebUI工具之kibana 简介 Kibana 是用于Elasticsearch设计的开源分析和可视化平台。1 可以使用 Kibana 来搜索。 查看存储在 Elasticsearch 索引中的数据并与之交互。 可以实现高级的数据分析和可视化，以图表的形式展现出来。 使用前我们肯定需要先有Elasticsearch。 本文主要介绍Kibana的安装、常见可视化等操作，以及Elasticsearch控制台可以非常方便的来调用es的api，强烈推荐 2.下载安装包 官方最新版下载：传送门官方历史版本下载：传送门我这里选择的是7.4.0版本：传送门 命令下载wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.0-linux-x86_64.tar.gz 3.解压#解压到目录 tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz -C /usr/local/cd /usr/local/ #重命名一下 mv kibana-7.4.0-linux-x86_64 /usr/local/kibana-7.4.0 #创建pid文件存储目录(默认:/var/run/kibana.pid) mkdir /usr/local/kibana-7.4.0/run 4.修改配...

Elasticsearch客户端工具之ES-Head 一.简介 Elasticsearch-Head是比较常用的Elasticsearch老牌客户端工具之一。 1.下载安装包 Github地址：传送门 这里下载release 版本wget https://github.com/mobz/elasticsearch-head/archive/v5.0.0.tar.gz 2.安装Node 需要依赖Node环境解压下载的es-head插件，cd到解压目录，下载nodejs，并安装：# node 安装版本10以上 curl --silent --location https://rpm.nodesource.com/setup_10.x | bash - # yum 按安装 node yum install -y nodejs 查看是否安装成功：node -v npm -v 3.安装相关依赖npm install -g grunt-cli npm install npm install grunt-contrib-jasmine 4.启动nohup grunt server 访问地址：http://IP:9100 二.Chrome浏览器插件 通过chrome安装插件的方式提供一个可操作es的图形化界面。在chrome 浏览器中，通过“扩展程序” 添加 elasticsearch head 插件的方式，这种方式无须开启 es的跨域访问。1、打开链接谷歌浏览器访问 https://chrome.google.com/webstore/search/ElasticSearch%20Head?hl=zh-CN 附录 ...

最详细的Hadoop环境搭建blog.csdn.net-GitChat大数据  史上最详细的Hadoop环境

从入门到进阶的知识体系大致归纳如下：

Redis集群需要至少要三个master节点，因为选举模式，节点数必须是基数所以： 1个master-1个slave，redis集群需要6个节点 1个master-2个slave，redis集群需要9个节点，以此类推。 这里搭建三个master节点，并且给每个master再搭建一个 slave , 共6个redis节点，3主3从由于节点数较多，这里采用在一台机器上创建6个redis实例做演示所以这里搭建的是伪集群模式： 1.环境准备工作 准备Redis安装包环境，详见 Redis单机版安装** 2.1~2.6** 2.创建集群存储目录 父目录如果没有创建请先创建父目录：mkdir /usr/local/softwaremkdir /usr/local/software/redis-clustercd /usr/local/software/redis-cluster #因为是伪集群，创建6个文件夹分别是8001~6， 对应6个redis的端口mkdir 8001 8002 8003 8004 8005 8006 3.复制并配置redis.conf 3.1 复制redis.conf 文件cp /usr/local/software/redis/conf/redis.conf /usr/local/software/redis-cluster/80011 3.2 复制完毕后修改如下内容 ...

参照Elasticsearch 单节点配置，准备好配置环境 1、elasticsearch.yml配置： node.name区别：elastic_node1、 elastic_node2、 elastic_node3 cluster.name: elastic_cluster node.name: elastic_node1 node.master: truenode.data: true #path.data: /usr/local/elastic_node1/data#path.logs: /usr/local/elastic_node1/logs bootstrap.memory_lock: true network.host: 127.0.0.1network.tcp.no_delay: truenetwork.tcp.keep_alive: truenetwork.tcp.reuse_address: truenetwork.tcp.send_buffer_size: 256mbnetwork.tcp.receive_buffer_size: 256mb transport.tcp.port: 9301transport.tcp.compress: true http.max_content_length: 200mbhttp.cors.enabled: truehttp.cors.allow-origin: "*"http.port: 9201 discovery.seed_hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]cluster.initial_master_nodes: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]cluster.fault_detection.leader_check.interval: 15sdiscovery.cluster_forma...

Cerebro是一个开源的elasticsearch web管理工具 首先，下载Elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.7/index.html 然后，下载Cerebro https://github.com/lmenezes/cerebro 分别启动以后，输入es连接地址，然后就可以操作了，非常简洁的web客户端工具  

1.  关于Filebeat 当你要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧！Filebeat 将为你提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 关于Filebeat，记住两点： 轻量级日志采集器 输送至 Elasticsearch 或 Logstash，在 Kibana 中实现可视化   2.  Filebeat是如何工作的 Filebeat由两个主要组件组成：inputs 和  harvesters （直译：收割机，采集器）。这些组件一起工作以跟踪文件，并将事件数据发送到你指定的输出。 2.1.  harvester是什么 一个harvester负责读取一个单个文件的内容。 harvester逐行读取每个文件（一行一行地读取每个文件），并把这些内容发送到输出。 每个文件启动一个harvester。 harvester负责打开和关闭这个文件，这就意味着在harvester运行时文件描述符保持打开状态。 在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat会续读这个文件。这就有一个问题了，就是只要负责这个文件的harvester没用关闭，那么...