elasticsearch7 安装中文分词器与使用方法发车    为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。今天我们就尝试安装下IK分词。上车1、去github 下载对应的分词插件https://github.com/medcl/elasticsearch-analysis-ik/releases根据不同版本下载不同的分词插件2、到es的plugins 目录创建文件夹cd your-es-root/plugins/ && mkdir ik3、解压ik分词插件到ik文件夹unzip elasticsearch-analysis-ik-6.4.3.zip第二种安装方法还有一种方式 直接通过es的命令进行安装，es版本需要大于5.5.1./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.3.0/elasticsearch-analysis-ik-6.3.0.zip或是.//bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.2/elasticsearch-analysis-ik-7.10.2.zip安装好后 重启es会看到 加载了 ik分词了到站IK 分词器简介1，Elasticsearch中文分词我们采用Ik分词，ik有两种分词模...

使用anaconda或海龟编辑器通过python的pandas科学工作包读取与保存excel文件 import pandas as pd # 导入科学工具包 print(pd.__version__) # pandas数据读取方法 print('----') df = pd.read_excel('D:\\te.xls') df.head(5) df.to_excel('E:\\保存测试.xls',sheet_name='save_te') 使用 海龟编辑器读取文件时，没有显示内容。 下面是使用jupyter显示执行结果。

如何使用Python 进行数据可视化 原创 码农充电站 机器学习   本文被收录于专区 AI & 大数据 进入专区参与更多专题讨论  在进行数据分析的时候，经常需要将数据进行可视化，以方便我们对数据的认识和理解。 0，Matplotlib 简介 Matplotlib 是一个可视化工具包，可以让我们使用Python&...

Hadoop框架：HDFS高可用环境配置 HDFS高可用 1、基础描述 在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。 2、机制详解 基于两个NameNode做高可用，依赖共享Edits文件和Zookeeper集群； ...

采用 jenkins pipeline 实现自动构建并部署至 k8s 前言 在日常开发中，经常会有发布的需求，而且经常会碰到各种环境，比如：开发环境、测试环境、生产环境。虽然可以使用手动构建、上传服务器部署的方式，但在微服务架构下一个项目经常包含多个微服务的部署，如果用手动方式就会非常繁琐而且容易出错。使用jenkins结合SCM可以实现代码的整个自动化构建部署过程。 本文中自动构建部署过程大致完成了以下步骤： 提交spring boot项目代码并打上git tag，上传代码及tag至gitlab gitlab通过webhook自动触发jenkins执行任务 jenkins获取代码，执行代码编译、构建docker镜像、上传docker镜像至harbor镜像仓库、执行kubectl命令部署至k8s。 本文中采用jenkins pipeline执行整个jenkins的构建过程，在pipeline中使用docker执行maven构建。文中构建的docker镜像的tag直接采用git中的tag。 下面的示例中，jenkins版本...

通过filebeat、logstash、rsyslog采集nginx日志的几种方式 由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。通过logstash可以方便的配置日志输出存储的方式。 一般来说nginx默认安装后，日志文件在 /usr/local/nginx/logs 目录下。分别有 access.log和error.log 访问日志和错误日志。这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是数据采集服务器，上面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash，而nginx、 filebeat应该是装在采集目标上。 一、直接通过filebeat采集日志到ES 在filebeat的安装目录找到filebeat.yml 配置获取...

Apache Superset最近发布了1.0.1版本，这也是1.0版本后的有一个重大的版本，Superset也会在以后有更多的改进。那么让我们来看一下最新的新功能吧。 Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。 由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。 Superset官网地址：http://superset.apache.org/ 用户体验 通过更简单，更直观的UI将Superset用户体验提升到了新的水平。 现在可以使用缩略图网格的方式来显示图表和仪表板列表。这对于查找图表和仪表板更加容易了，尤其是有很多图表和仪表板的情况下。 可视化控件已经更新。界面进行了优化，同时重构了包括标签、排序等控件。 从SQL Lab跳转到Explore时，用户还可以创建和命名新数据集或更新现有数据集。返回到SQL Lab时，将显示该数据集的基础查询，使用户可以在SQL...

系统文件被修改导致系统启动不了的经历 事件：centos系统文件被修改，导致系统无法启动。 某天半夜接到开发同志电话说服务器启动不了，由于这个项目没有上睿江云，大半夜的没办法啊，只能自己撸起袖子进行排查了。用排除万难的决心爬起来开始排查。。。。。 整理思路： 首先尝试单用户模式进入，单用户模式都启动不了直接翻车了。。。。 继续排查启动livecd 挂载系统盘查看具体问题 具体步骤如下： 1、虚拟机光驱启动选择系统对应的livecd，这里对应的是CentOS-6.5-x86_64-LiveCD.iso 2、设置虚拟机开机加载CentOS-6.5-x86_64-LiveCD.iso 3、终于顺利进入LiveCD系统 4、打开命令窗口、切换root用户 5、查看分区fdisk -l ...

ELK中的logstash、kafka与filebeat的部署。 实战搭建环境与各主机角色说明。 机器选择：睿江云平台节点选择：广东G（VPC网络更安全、SSD磁盘性能高）云主机配置：4核16G（4核8G也支持，但会有延时感）网络选择：VPC虚拟私有云（VPC网络更安全、高效）带宽：5M系统版本：Centos7.6云主机数量：5软件版本：ELK 7.4.0、kafka 2.12-2.6.0首先，下面为部署logstash的步骤。a.步骤1登陆logstash节点。ssh 到 192.168.0.6b.步骤2cd /opt/wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gzc.步骤3tar -zxvf logstash-7.4.0.tar.gzmkdir -p /opt/els/logs/logsd.步骤4vi /opt/logstash-7.4.0/config/logstash.ymlpath.logs: /opt/els/logs/logs path.config: /opt/logstash-7.4.0/conf.d/*.conf xpack.monitoring.enabled: true xpack.monitoring.elasticsearch.username: "elastic" xpack.monitoring.elasticsearch.password: "123456" xpack.monitoring.elasticsearch.hosts: ["http://ES-node1:9200","http://ES-node2:9201","http://ES-node3:9202"] e.步骤5新建配置文件，...

Kubernetes备份和恢复文章主要参考https://yq.aliyun.com/articles/336781?spm=a2c4e.11153940.blogcont561894.22.11337fffUWosVP把主要步骤做个记录 备份etcd数据首先由于ETCD有三个备份，并且会同步，所以您只需要在一台master机器上执行ETCD备份即可。另外在运行下列命令前，确保当前机器的kube-apiserver是运行的。ps -ef|grep kube-apiserver root 2063 2047 1 1月05 ? 00:41:01 kube-apiserver 执行备份export ETCD_SERVERS=$(ps -ef|grep apiserver|grep -Eo "etcd servers=.*2379"|awk -F= '{print $NF}') mkdir -p /var/lib/etcd_backup/ export ETCDCTL_API=3 etcdctl snapshot --endpoints=$ETCD_SERVERS --cacert=/var/lib/etcd/cert/ca.pem --cert=/var/lib/etcd/cert/etcd-client.pem --key=/var/lib/etcd/cert/etcd-client-key.pem save /var/lib/etcd_backup/backup_$(date "+%Y%m%d%H%M%S").db Snapshot saved at /var/lib/etcd_backup/backup_20180107172459.db 执行完成后，您可以在/var/lib/etcd_backup中找到备份的snapshot[root@iZwz95q64qi83o88y9lq4cZ etcd_backup]# cd /var/lib/etcd_backup/ [...