ElasticSearch可视化工具 1 ElasticHD 1.0 下载 传送门:https://github.com/360EntSecGroup-Skylar/ElasticHD/releases根据机器环境选择对应的版本.如Linux,选择:elasticHD_linux_amd64.zip 1.2 解压 unzip elasticHD_linux_amd64.zip -d /path/to/ES 1.3 添加文件读写权限 sudo chmod 777 ElasticHD 1.4 运行 # 进入ES文件夹 cd path/to/ES # 执行文件 exec ./ElasticHD -p 127.0.0.1:9800 # 或者这样执行 ./ElasticHD -p 127.0.0.1:9800 To view elasticHD console open http://127.0.0.1:9800 in browser 图 ElasticHD首页信息 2 Kibana 2.1 下载 传送门:https://www.elastic.co/cn/downloads/past-releases#kibana选择需要的版本. 2.2 安装 tar -zxvf kibana-6.3.0-linux-x86_64.tar.gz -C /usr/kibana 2.3 配置 cd /usr/kibana/kibana-6.3.0-linux-x86_64/config vim kibana.yml # kib...

安装KubeSphere 1. KubeSphere 是什么 1.1. 官方解释 KubeSphere是一个分布式操作系统，提供以Kubernetes为核心的云原生堆栈，旨在成为第三方应用程序的即插即用架构，以促进其生态系统的发展。 KubeSphere还是一个多租户企业级容器平台，具有全栈自动IT操作和简化的DevOps工作流程。它提供了开发人员友好的向导Web UI，可帮助企业构建更健壮且功能丰富的平台，其中包括企业Kubernetes战略所需的最常用功能，例如Kubernetes资源管理，DevOps（CI / CD），应用程序生命周期管理、监控、日志记录、服务网格、多租户、报警和通知,存储和网络、自动定量、访问控制、GPU的支持等，以及多集群管理、网络策略、注册表管理，更多即将发布的安全增强特性。 KubeSphere提供了整合的视图，同时围绕Kubernetes集成了广泛的生态系统工具，并提供一致的用户体验以降低复杂性，并开发了上游Kubernetes中尚不可用的新功能，以减轻Kubernetes的痛苦之处，包括存储，网络 ，安全性和易用性。 KubeSphere不仅允许开发人员和DevOps团队在统一控制台中...

Hadoop2.9.0安装 参考 https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、下载并解压 2、设置环境变量 3、修改hadoop-env.sh 4、修改core-site.xml 5、修改hdfs-site.xml 6、启动  

安装 KubeSphere DevOps 系统 1.  安装KubeSphere 安装了一夜，终于看到了期待已久的画面 第一步、硬件配置（PS：VirtualBox虚拟机）： 操作系统：Ubuntu 18.04  CPU：4核 内存：8G 磁盘：60G  第二步、下载安装包 curl -L https://kubesphere.io/download/stable/v2.1.1 > installer.tar.gz \&& tar -zxf installer.tar.gz && cd kubesphere-all-v2.1.1/scripts 第三步、修改conf/common.yaml 主要是配置镜像加速，以及启用一些插件 docker_registry_mirrors: - https://xxx.mirror.aliyuncs.com - https://docker.mirrors.ustc.edu.cn - https://registry.docker-cn.com - https://mirror.aliyuncs.com 我的改动如下： 最后，配置防火墙需要开放的端口 我这里直接把防火墙关了 ~/kubesphere-all-v2.1.1/scripts/install.sh 顺利的话，几个小时就成功了，嘿嘿~ 如果不顺利的话，请把文档反复仔细阅读三遍 https://kubesphere.io/docs/zh-CN/installation/intro/ https://kubesphere.io/docs/zh...

Hive安装 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压，并配置环境变量 在conf目录下新建一个hive-site.xml文件，配置如下 将mysql-connector-java-5.1.38.jar拷贝到$HIVE_HOME/lib目录下 在HDFS上创建相应目录 初始化 此时再查看mysql数据库 启动hive 在hive中创建一个数据进行测试一下  

1.环境准备 主机名 IP地址 CPU 内存 硬盘 gztxy-prd-kafka-eagle01 192.168.1.11 2 4 100G 回到顶部 2.安装并配置 安装： 1 2 3 4 5 6 7 ...

一款软件几乎可以操作所有的数据库DBeaver 简介 DBeaver是一个基于 Java 开发，免费开源的通用数据库管理和开发工具，使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发，可以运行在各种操作系统上，包括：Windows、Linux、macOS 等。DBeaver 采用 Eclipse 框架开发， 支持插件扩展，并且提供了许多数据库管理工具：ER 图、数据导入/导出、数据库比较、模拟数据生成等。 DBeaver 通过 JDBC 连接到数据库，可以支持几乎所有的数据库产品，包括：MySQL、PostgreSQL、MariaDB、SQLite、Oracle、Db2、 SQL Server、Sybase、MS Access、Teradata、Firebird、Derby 等等。 商业版本更是可以支持各种 NoSQL 和大数据平台：MongoDB、InfluxDB、Apache Cassandra、Redis、Apache Hive 等。 下载与安装 DBeaver 社区版可以通过官方网站或者 Github 进行下载。两者都为不同的操作系统提供了安装包或者解压版，可以选择是否需要同时安装 JRE。 另外，官方网站还提供了 DBeaver 的 Eclipse 插件，可以在 Eclipse 中进行集成。 DBeaver 支持中文，安装过程非常简单，不多说，唯一需要注意的是 DBeaver 的运行...

Tableau 概述 作为领先的数据可视化工具，Tableau具有许多理想的和独特的功能。其强大的数据发现和探索应用程序允许您在几秒钟内回答重要的问题。您可以使用Tableau的拖放界面可视化任何数据，探索不同的视图，甚至可以轻松地将多个数据库组合在一起。它不需要任何复杂的脚本。任何理解业务问题的人都可以通过相关数据的可视化来解决。 分析完成后，与其他人共享就像发布到Tableau Server一样简单。Tableau功能Tableau为各种行业，部门和数据环境提供解决方案。以下是使tableau处理各种各样场景的独特功能。分析速度 - 由于它不需要高水平的编程专长，任何有权访问数据的计算机用户都可以开始使用它从数据中导出值。自我约束 - Tableau不需要复杂的软件设置。大多数用户使用的桌面版本很容易安装，并包含启动和完成数据分析所需的所有功能。视觉发现 - 用户使用视觉工具（如颜色，趋势线，图表和图表）来探索和分析数据。有很少的脚本要写，因为几乎一切都是通过拖放来完成的。混合不同的数据集 - Tableau允许您实时混合不同的关系，半结构化和原始数据源，而无需昂贵的前期集成成本。用户不需要知道数据存储的细节。体系结构无关 -...

1.配置文件(elasticsearch.yml)#ES集群名称，同一个集群内的所有节点集群名称必须保持一致 cluster.name: ES-Cluster ​ #ES集群内的节点名称，同一个集群内的节点名称要具备唯一性 ​node.name: ES-master-01 ​ #允许节点是否可以成为一个master节点，ES是默认集群中的第一台机器成为master，如果这台机器停止就会重新选举 node.master: true ​ #允许该节点存储索引数据（默认开启） node.data: true ​ #数据存储路径(path可以指定多个存储位置,分散存储，有助于性能提升) #目录还要对elasticsearch的运行用户有写入权限 path.data: /usr/local/elasticsearch-cluster/elasticsearch-a/data path.logs: /usr/local/elasticsearch-cluster/elasticsearch-a/logs ​ #在ES运行起来后锁定ES所能使用的堆内存大小，锁定内存大小一般为可用内存的一半左右；锁定内存后就不会使用交换分区 #如果不打开此项，当系统物理内存空间不足，ES将使用交换分区，ES如果使用交换分区，那么ES的性能将会变得很差 bootstrap.memory_lock: true ​ #es绑定地址，支持IPv4及IPv6，默认绑定127.0.0.1；es的HTTP端口和集群通信端口就会监听在此地址上 network.host: 192....

前言 前面介绍了es7相关的一些用法。这一节我们来实践下集群高可用搭建，以及账号权限的配置。之前看了很多博主介绍的都是从主模式，主节点挂了集群也就不能对外服务了。 目前使用的最新版本7.6.0。账号配置需要破解x-pack包。（如果不需要设置密码可以忽略） 配置 集群间证书认证 不需要用户权限配置可以忽略。 ## 在 $ES_HOME 目录下执行 bin/elasticsearch-certutil ca ## 直接回车默认是生成文件 elastic-stack-ca.p12 Please enter the desired output file [elastic-stack-ca.p12]: ... # 生成 elastic-stack-ca.p12后，执行命令elasticsearch-certutil bin/elasticsearch-certutil cert --ca $ES_HOME/elastic-stack-ca.p12 ... # 直接回车生成elastic-certificates.p12文件 # 然后将生成的文件拷贝到各个节点的config下 elasticsearch.yml 主节点： # 集群名称 cluster.name: "es_cluster" # 节点名称 master1 node.name: master1 # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启 node.data: true # 网络绑定,这里我绑定 0.0.0.0,支持外网访问 network.host: ["0.0.0.0"] # 设置对外服务...