filebeat7.10+logstash7.10+Elastic7.10+kibana7.10收集centos系统ssh日志 配置信息如下： IP 系统 JDK Eastic Filebeat logstash Kibana 192.168.137.30 Centos7 openjdk-11 elastic7.10 ------ logstash7.10 Kibana7.10 192.168.137.26 Centos7 openjdk-11 elastic7.10 ...
Azkaban 看这一篇就够了！任务调度平台的搭建，使用，以及API开发当你的才华还撑不起你的野心时，那你就应该静下心来学习。每次脑子都会有很多想法，每次做了之后，还是觉得需要沉淀下来提升自己更加重要。著名的红叶子理论：一个人职业的成功不在于红叶子的数目多少，而在于他是否具备一片特别硕大的红叶子，这片特别硕大的红叶子不是与生俱来，需要个人的不断努力，准确地识别到最适合发展的红叶子。目录大纲0 写在前面的话1.1 初识Azkaban1.2 为什么需要任务调度器1.3 常见几种任务调度器1.4 Azkaban和Hadoop的关系1.5 Azkaban 底层原理2 Azkaban任务调度平台搭建3 Azkaban Web可视化平台详细介绍以及使用4 Azkaban API 功能预览4.1 对接Azkaban，进行二次开发，使其嵌入到系统中5 平台搭建中的问题总结1.1 初识Azkaban起源：Linkedin开源的一个批量工作流调度器特征：一个工作流内，多个作业可以按照特定的顺序执行依赖关系：作业之间的顺序关系依靠key-value的形式来建立依赖关系可视界面：提供可视化web界面1.2 为什么需要任务调度器定时任务的出现，可谓大大提高了工作效率。最简单的定时任务，就是你手机的闹钟，你给它一个定时任务，到了指定时间它就叫醒你。程序当...
grok语法过滤Centos7 ssh登陆日志方法日志内容如下：Apr 19 16:09:30 92-com sshd[2749]: Did not receive identification string from 101.200.56.162 port 53456Apr 19 16:10:26 92-com sshd[2756]: Bad protocol version identification 'GET /console/login/LoginForm.jsp HTTP/1.1' from 101.200.56.162 port 42608Apr 19 17:07:05 92-com sshd[2852]: Accepted password for tt from 211.137.70.64 port 7182 ssh2过滤语法:%{MONTH:yuefen} %{MONTHDAY:riqi} %{TIME:shijian} %{HOSTNAME:zhoujiming} .* %{IPV4:remoteip} .* 过滤后数据如下:{
"yuefen": [
[
"Apr"
]
],
"riqi": [
[
"19"
]
],
"shijian": [
[
"08:41:40"
]
],
"HOUR": [
[
"08"
]
],
"MINUTE": [
[
"41"
]
],
"SECOND": [
[
"40"
]
],
"zhoujiming": [
[
"92-com"
]
...
filebeat配置多日志并输出到elastic不同index索引filebeat将 /var/log/secure与httpd的日志内容输出到ealsticsearch7.11.2的不同索引。filebeat.inputs: - type: log enabled: true paths: - /var/log/secure include_lines: ['sshd', 'sudo'] tags: ["secure-log"] #自定义标签字段 fields: index: "ssh" - type: log enabled: true paths: - /www/wwwlogs/httpd-ssl_access_log# include_lines: ['sshd', 'sudo'] tags: ["httpd-log"] #自定义标签字段 fields: index: "httpd"setup.template.settings: index.number_of_shards: 1# output.console:# pretty: true# enable: trueoutput.elasticsearch: #指定ES的配置,并指定不同的索引 hosts: ["127.0.0.1"] username: "elastic"&...
filebeat采集一台服务器中的不同日志，并将日志放到ES中的不同索引中filebeat.inputs:- type: log enabled: true paths: - /usr/local/tomcat/apache-tomcat-8.5.53/logs/catalina.out tags: ["tomcat"] fields: index: "tomcat"- type: log enabled: true paths: - /usr/local/apollo/apollo-adminservice.log tags: ["apollo-adminservice"] fields: index: "apollo_admin"- type: log enabled: true paths: - /usr/local/apollo/apollo-configservice.log tags: ["apollo-configservice"] fields: index: "apollo_conf"output.elasticsearch: #指定ES的配置 hosts: ["192.168.20.248:9200"] indices: - index: "filebeat-java-1-tomcat-%{+YYYY-MM}" when.contains: fields: index: "tomcat" &...
filebeat+kafka+logstash收集日志到es使用kibana展示实现逻辑filebeat ==>> kafka <<== logstash ==>> elastsearch <== kibana 1. filebeat配置filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/messages
fields:
log_topic: test_kafka
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.template.settings:
index.number_of_shards: 3
output.kafka:
enable: true
hosts: ["log1:9092"]
version: "2.0.0"
topic: '%{[fields.log_topic]}'
partition.round_robin:
reachable_only: true
worker: 1
required_acks: 1
compression: gzip
compression_level: 4
max_message_bytes: 10000000
processors:
- drop_fields:
fields:
- beat
- host
- input
- source
- offset
- prospector启动服务 2. logstash配置：input {
kafka...
kafka2.0.1集群部署1.下载安装： wget https://archive.apache.org/dist/kafka/2.0.1/kafka_2.12-2.0.1.tgz
tar xf kafka_2.12-2.0.1.tgz
mv kafka_2.12-2.0.1 /usr/local/kafka 2.配置zookeeper：可参考https://soulchild.cn/1663.html/usr/local/kafka/config/zookeeper.properties3. 创建 /tmp/zookeeper/myid文件echo 1 > /tmp/zookeeper/myid4. 启动zookeepercd /usr/local/kafka/bin
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 5.配置kafka：文件路径：/usr/local/kafka/config/server.properties修改配置文件：#kafka集群的唯一标识，在改变IP地址，不改变broker.id的话不会影响消费者。
#Kafka在启动时会在zookeeper中/brokers/ids路径下创建一个以broker的id为名称的虚节点，Kafka的健康状态检查就依赖于此节点。
#当broker下线时，该虚节点会自动删除，其他broker或者客户端通过判断/brokers/ids路径下是否有此broker的id来确定该broker的健康状态。
broker.id=0
#配置监听地址和端口，listener_name://host_name:port
listeners=PLAINTEXT://elk1:9092
#topic不存在时，是否自动创建topic
auto.c...
hadoop3.2.1集群部署HDFS的守护进程分别是NameNode, SecondaryNameNode,DataNode.YARN的守护进程分别是ResourceManager, NodeManager,WebAppProxy.一、安装前准备：主机名IP角色hadoop-0110.0.0.150namenode、datanode、resourcemanager、nodemanagerhadoop-0210.0.0.151datanode、nodemanagerhadoop-0310.0.0.152datanode、nodemanager1.hosts解析：三台机器配置cat >> /etc/hosts <<EOF
10.0.0.150 hadoop-01
10.0.0.151 hadoop-02
10.0.0.152 hadoop-03
EOF2.配置免密登陆# 创建用户
useradd hadoop
su hadoop
ssh-keygen -P '' -t rsa -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> authorized_keys
chmod 600 ~/.ssh/authorized_keys
# 发送配置到其他机器
for i in {151..152};do scp -rp ~/.ssh/ root@10.0.0.$i:/home/hadoop/;done
for i in {151..152};do ssh root@10.0.0.$i chown -R hadoop:hadoop /home/hadoop/;done3.准备安装包：三台机器配置mkdir /server/packages -p
cd /server/packages
[root@hadoop-01 packages]# ls /server/packages/
hadoop-3.2.1.tar.gz jdk-8u221-linux-x64.tar.gz
# 发送软件包到其他...
转载自：https://elasticstack.blog.csdn.net/article/details/114639152MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。Elasticsearch 是一个高效强大的大数据搜索引擎。它的 Speed, Scale 及 Relevance 是很多数据库不具有的。通过 Elasticsearch 的高效搜索引擎，我们可以快速地搜索相关的内容，我们也可以使用 Kibana 所提供的可视化为数据提供洞察。在今天的文章中，我将介绍如何把 MongoDB 里的数据同步到 Elasticsearch。如果你对 JDBC 的数据同步到 Elasticsearch，请参阅我之前的文章 “Logstash：如何使用 Logstash 和 JDBC 确保 Elasticsearch 与关系型数据库保持同步”。
在今天的练习中，我将使用如下的系统结构：
在上面的系统中，我有三个机器：两个运行 Ubuntu OS 20.04 及一个运行 MacOS 的电脑。在两个 Ubuntu OS 上分别运行 MongoDB，而在 MacOS 上运行有 Elasticsearch 及 Kibana，同时我们还在它上面运行了一个 docker。在 docker 里运行 Monstache。Monstache 是一个...
为elastic docker部署配置安全权限设置文章转载自：https://elasticstack.blog.csdn.net/article/details/105710973创建docker-compose.yml在之前的教程中，那里使用的docker-compose.yml文件没有配置安全。我们需要重新修改:docker-compose.ymlversion: '3.0'
services:
es01:
image: docker.elastic.co/elasticsearch/elasticsearch:${ELASTIC_STACK_VERSION}
container_name: es01
environment:
- node.name=es01
- discovery.seed_hosts=es02
- cluster.initial_master_nodes=es01,es02
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- xpack.security.enabled=true
- xpack.security.transport.ssl.enabled=true
- xpack.security.transport.ssl.keystore.type=PKCS12
- xpack.security.transport.ssl.verification_mode=certificate
- xpack.security.transport.ssl.keystore.path=elastic-stack-ca.p12
- xpack.security.transport.ssl.truststore.path=elastic-stack-ca.p12
- xpack....
总共9页，当前第5页 | 页数： - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
最新评论