初试openEuler（一）：windows下使用qemu安装openEuler 标签: 【背景】 今天华为开发者大会上，openEuler开源社区发布了最新的LTS版本，本着第一个吃螃蟹的原则，赶紧下载下来玩一玩；由于手上只有一台windows机器，考虑使用qemu安装openEuler虚拟机； 【环境准备】 Windows10 64位 openEuler开源社区下载qcow2镜像：openEuler-20.03-LTS.aarch64.qcow2.xz (aarch64) 【安装步骤】 一、安装qemu-for-windows 在QEMU home page下载qemu安装程序 安装的时候可以自定义安装路径如（D:\software\qemu） 安装结束之后设置qemu的环境变量：环境变量配置窗口有时候很难找到，win10可以直接在搜索框搜索“环境变量” 选择【编辑系统环境变量】即可； 高级->环境变量->系统变量->Path->新建，添加qemu的安装路径，保存退出即可，比如（D:\software\qemu） ...

qemu-system-aarch64 启动虚拟机 [root@localhost cloud_images]# guestfish -rw -a vhuser-test1.qcow2 guestfish: cannot mix --ro and --rw options [root@localhost cloud_images]# guestfish -rw -a vhuser-test1.qcow2 guestfish: cannot mix --ro and --rw options [root@localhost cloud_images]# guestfish --rw -a vhuser-test1.qcow2 Welcome to guestfish, the guest filesystem shell forediting virtual machine filesystems and disk images. Type: ‘help’ for help on commands ‘man’ to read the manual ‘quit’ to quit the shell><fs>run ><fs> list-filesystems /dev/sda1: vfat/dev/sda2: xfs><fs> ls /dev/sda2 libguestfs: error: ls0: ls0_stub: you must call 'mount' first to mount the root filesystem><fs> mount /dev/sda2 / ><fs> ls error: incorrect number of arguments usage: ls directory type 'help ls' for more help on ls><fs> ls /bin boot dev etc hom...

Cloud image镜像linux使用virt-customize工具修改密码 原文： https://scottlinux.com/2017/05/08/set-password-or-ssh-key-for-centos-cloud-images/ CentOS为各种不同的云环境提供cloud images，比如OpenStack，RHV，AZure，或KVM. 一般来说，是通过cloud-init工具来修改用户密码或SSH keys. 但是那似乎不太方便。 下面是一种方便的方法。 官方的CentOS的cloud image的下载地址是： http://cloud.centos.org/centos/7/images/ 第一步，安装软件libguestfs-tools sudo yum install libguestfs-tools 或 sudo apt install libguestfs-tools 或 sudo dnf install libguestfs-tools 第二步，设定一个固定密码 sudo virt-customize -a CentOS-7-x86_64-GenericCloud-1703.qcow2 --root-password password:passw0rd 结束。 这一步也可以设一个随机密码： sudo virt-customize -a CentOS-7-x86_64-GenericCloud-1703.qcow2 --root-password random[ 0.0] Examining the guest ... [ 11.2] Setting a random seed [ 11.2] Setting passwords virt-customize: Setting random password of root to 132Tfe6cfCCr8Pv8...

xRDP – Easy install xRDP on Ubuntu 16.04,18.04,20.04,20.10 (Script Version 1.2.2)January 3, 2021 Griffon在ubutnu 上使用简单方法安装 xRDP，通过widnows远程桌面连接ubuntu图形界面Hello World, Based on users feedback, comments and suggestions, we are releasing a new version of the famous xrdp-installer script.  This new release basically fix some minor bugs that are addressed in this version and provide some better code logic.  We had no time to perform really extensive testing but we hope that these small changes will not break the script.  The new version of our famous xrdp installation script will be set to 1.2.2 (i.e. xrdp-installer-1.2.2.sh).  This script replaces all previous versions.   So, let’s go ! OverviewThe xrdp-installer-1.2.2.sh script ease the installation and post-configuration actions of xRDP on top of Ubuntu Operating System.  This version i...

Azkaban 看这一篇就够了！任务调度平台的搭建，使用，以及API开发当你的才华还撑不起你的野心时，那你就应该静下心来学习。每次脑子都会有很多想法，每次做了之后，还是觉得需要沉淀下来提升自己更加重要。著名的红叶子理论：一个人职业的成功不在于红叶子的数目多少，而在于他是否具备一片特别硕大的红叶子，这片特别硕大的红叶子不是与生俱来，需要个人的不断努力，准确地识别到最适合发展的红叶子。目录大纲0 写在前面的话1.1 初识Azkaban1.2 为什么需要任务调度器1.3 常见几种任务调度器1.4 Azkaban和Hadoop的关系1.5 Azkaban 底层原理2 Azkaban任务调度平台搭建3 Azkaban Web可视化平台详细介绍以及使用4 Azkaban API 功能预览4.1 对接Azkaban，进行二次开发，使其嵌入到系统中5 平台搭建中的问题总结1.1 初识Azkaban起源：Linkedin开源的一个批量工作流调度器特征：一个工作流内，多个作业可以按照特定的顺序执行依赖关系：作业之间的顺序关系依靠key-value的形式来建立依赖关系可视界面：提供可视化web界面1.2 为什么需要任务调度器定时任务的出现，可谓大大提高了工作效率。最简单的定时任务，就是你手机的闹钟，你给它一个定时任务，到了指定时间它就叫醒你。程序当...

grok语法过滤Centos7 ssh登陆日志方法日志内容如下：Apr 19 16:09:30 92-com sshd[2749]: Did not receive identification string from 101.200.56.162 port 53456Apr 19 16:10:26 92-com sshd[2756]: Bad protocol version identification 'GET /console/login/LoginForm.jsp HTTP/1.1' from 101.200.56.162 port 42608Apr 19 17:07:05 92-com sshd[2852]: Accepted password for tt from 211.137.70.64 port 7182 ssh2过滤语法:%{MONTH:yuefen} %{MONTHDAY:riqi} %{TIME:shijian} %{HOSTNAME:zhoujiming} .* %{IPV4:remoteip} .* 过滤后数据如下:{ "yuefen": [ [ "Apr" ] ], "riqi": [ [ "19" ] ], "shijian": [ [ "08:41:40" ] ], "HOUR": [ [ "08" ] ], "MINUTE": [ [ "41" ] ], "SECOND": [ [ "40" ] ], "zhoujiming": [ [ "92-com" ] ...

filebeat配置多日志并输出到elastic不同index索引filebeat将 /var/log/secure与httpd的日志内容输出到ealsticsearch7.11.2的不同索引。filebeat.inputs: - type: log   enabled: true   paths:     - /var/log/secure   include_lines: ['sshd', 'sudo']   tags:     ["secure-log"]   #自定义标签字段   fields:     index: "ssh" - type: log   enabled: true   paths:     - /www/wwwlogs/httpd-ssl_access_log#   include_lines: ['sshd', 'sudo']   tags:     ["httpd-log"]     #自定义标签字段   fields:     index: "httpd"setup.template.settings:  index.number_of_shards: 1# output.console:# pretty: true# enable: trueoutput.elasticsearch:    #指定ES的配置,并指定不同的索引  hosts: ["127.0.0.1"]  username: "elastic"&...

filebeat采集一台服务器中的不同日志，并将日志放到ES中的不同索引中filebeat.inputs:- type: log  enabled: true  paths:    - /usr/local/tomcat/apache-tomcat-8.5.53/logs/catalina.out  tags: ["tomcat"]  fields:    index: "tomcat"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-adminservice.log  tags: ["apollo-adminservice"]  fields:    index: "apollo_admin"- type: log  enabled: true  paths:    - /usr/local/apollo/apollo-configservice.log  tags: ["apollo-configservice"]  fields:    index: "apollo_conf"output.elasticsearch: #指定ES的配置  hosts: ["192.168.20.248:9200"]  indices:    - index: "filebeat-java-1-tomcat-%{+YYYY-MM}"      when.contains:        fields:          index: "tomcat"  &...

linux shell脚本查找重复行/查找非重复行/去除重复行/重复行统计去除重复行sort file |uniq 查找非重复行sort file |uniq -u 查找重复行sort file |uniq -d 统计sort file | uniq -c 去除重复的行，并生成新的文件sort file |uniq > new_file

filebeat+kafka+logstash收集日志到es使用kibana展示实现逻辑filebeat    ==>>    kafka    <<==    logstash    ==>>    elastsearch   <==    kibana 1. filebeat配置filebeat.inputs: - type: log enabled: true paths: - /var/log/messages fields: log_topic: test_kafka filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 3 output.kafka: enable: true hosts: ["log1:9092"] version: "2.0.0" topic: '%{[fields.log_topic]}' partition.round_robin: reachable_only: true worker: 1 required_acks: 1 compression: gzip compression_level: 4 max_message_bytes: 10000000 processors: - drop_fields: fields: - beat - host - input - source - offset - prospector启动服务 2. logstash配置：input { kafka...