Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksiz）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。
1）集群中的block
2）如果寻址时间约为10ms，即查找到目标block的时间为
blockd 10ms。
3）寻址时间为传输时间的1%时，则为最佳状态。（专家） 因此，传输时间=10ms/0.01=1000ms=1s,4）而目前磁盘的传输速率普遍为100MB/s。 
5 block大小=1s*100MB/s=100MB
思考∶为什么块的大小不能设置太小，也不能设置太大 ?
（1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置;
（2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
总结∶ HDFS块的大小设置主要取决于磁盘传输速率。

filebeat + logstash 对message提取指定字段 说明 filebeat中message要么是一段字符串，要么在日志生成的时候拼接成json然后在filebeat中指定为json。但是大部分系统日志无法去修改日志格式，filebeat则无法通过正则去匹配出对应的field，这时需要结合logstash的grok来过滤，架构如下： 实例说明： 以系统登录日志格式为例： 登录成功日志 Jan 6 17:11:47 localhost sshd[3324]: Received disconnect from 172.16.0.13: 11: disconnected by userJan 6 17:11:47 localhost sshd[3324]: pam_unix(sshd:session): session closed for user rootJan 6 17:11:48 localhost sshd[3358]: Address 172.16.0.13 maps to localhost, but this does not map back to the address - POSSIBLE BREAK-IN ATTEMPT!Jan 6 17:11:51 localhost sshd[3358]: Accepted password for root from 172.16.0.13 port 38604 ssh2Jan 6 17:11:51 localhost sshd[3358]: pam_unix(sshd:session): session opened for user root by (uid=0) 登录失败日志 Jan 6 17:13:10 localhost sshd[3380]: pam_unix(sshd:auth): authentication failure; logname=...

 Elasticsearch:借助GeoIP数据库来实现显示请求来源的地理位置​借助GeoIP数据库来实现显示请求来源的地理位置，GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等。获取GeoIP数据库wget https://raw.githubusercontent.com/wp-statistics/GeoLite2-City/master/GeoLite2-City.mmdb.gz wget http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.mmdb.gz gzip -d GeoLite2-City.mmdb.gz 配置：filter{      geoip{             source=>"client_ip"             fields=>[            "city_name",           "country_name",           "continent_code",           "continent_name"             ]         database=>"/etc/logstash/GeoLite2-City.mmdb"...

基于 Elasticsearch + kibana 实现 IP 地址分布地图可视化 1、需求 有一批特定用途（文末揭晓）的 IP 地址。 想通过地图形式可视化展示 IP 地址对应的经纬度坐标的分布。 2、方案探讨 基础方案如下： 第一步：IP 地址转经纬度坐标。 实现借助第三方工具：https://ipstack.com/ 第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。 这时候不免进一步思考： 有没有更快捷的方案呢？ELK 能实现不？ 已知的知识点： Elasticsearch 支持 Geo-point、Geo-shape 数据类型。 Kibana 支持 Coordinate Map（坐标图）、Region Map（区域地图）可视化地图展示。 两个已知知识点一整合不就是基于 Elasticsearch + Kibana 的可视化展示方案吗？ 且慢，有没有更快捷的 IP 地址转经纬度坐标的信息呢？ 有的。Ingest 数据预处理管道的 GeoIP processor （处理器）就能达到这个目的。 整体架构图如下图所示： 3、GeoI...

logstash将两个field字段合并成一个field字段方法格式化一个日志，日期不好取，分成了两个字段。后来date又支持一个字段date {      match => ["time", "yyyy-MM-dd HH:mm:ss.SSS" ]    }mutate的merger没用，时把两个字段合成数组了。最后找到了方案，用alteralter{      add_field => { "fullTime" => "%{day} %{time}" }    }然后日期完美转换    date {      match => ["fullTime", "yyyy-MM-dd HH:mm:ss.SSS" ]    } 原文链接：https://blog.csdn.net/u011870280/article/details/80019976

使用kibana7创建elastic7的采集节点管理-数据预处理管道GeoIP processor GeoIp processor 根据来自 Maxmind 数据库的数据添加有关IP地址地理位置的信息。 默认情况下，GeoIp processor 将此信息添加到 geoip 字段下。GeoIp processor 可以解析 IPv4 和 IPv6 地址. Elasticsearch7已经自带插件。 1，创建管理并填写名称，这里填写geoip。 2，添加处理器，选择一个处理器，这里应是Geoip，然后填写要转换的索引字段，这里填写IP。 3，最后点 添加，保存。 4，最后可以查看管道信息:   可以使用GET _ingest/pipeline/geoip_pipe  5,可以 创建一个索引作测试。 具体看 https://www.yjlink.cc/?id=2460

filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志IP并将IP地图化展示 1，配置信息如下： IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10 192.168.137.26 Centos7 openjdk-11 ...

ES7+kibana7解决geoip的location不为geo_point格式,无法建可视化地图 by: 铁乐猫   环境： ELK各组件均为7.0版本 出现问题的索引名称为tielemao_web_log* 问题： 使用了geoip插件，入库的索引中location仍不是geo_point格式，以致想做地图经纬度的展示时做不了。 原因: 默认的log_template模板中没有任何匹配。 解决办法： 新建索引模板，设置匹配成geo_point，且优先度调高。 另外为防以后新项目入log重新碰到这个问题，将默认的log_template模板也加上geo_point的相关设置。 以下方法索引模板是旧版本的，可以直接在kibana中建新版本的索引模板。 默认索引模板添加geoip映射 ...

filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志 配置信息如下： IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10 192.168.137.26 Centos7 openjdk-11 elastic7.10 ...

初试openEuler（一）：windows下使用qemu安装openEuler 标签: 【背景】 今天华为开发者大会上，openEuler开源社区发布了最新的LTS版本，本着第一个吃螃蟹的原则，赶紧下载下来玩一玩；由于手上只有一台windows机器，考虑使用qemu安装openEuler虚拟机； 【环境准备】 Windows10 64位 openEuler开源社区下载qcow2镜像：openEuler-20.03-LTS.aarch64.qcow2.xz (aarch64) 【安装步骤】 一、安装qemu-for-windows 在QEMU home page下载qemu安装程序 安装的时候可以自定义安装路径如（D:\software\qemu） 安装结束之后设置qemu的环境变量：环境变量配置窗口有时候很难找到，win10可以直接在搜索框搜索“环境变量” 选择【编辑系统环境变量】即可； 高级->环境变量->系统变量->Path->新建，添加qemu的安装路径，保存退出即可，比如（D:\software\qemu） ...