记录关于Devops运维,虚拟化容器云计算,数据库,网络安全等各方面问题。
Kubernetes/k8s v1.20上安装KubeSphere-devops平台安装步骤选择4核8G（master）、8核16G（node1）、8核16G（node2） 三台机器，按量付费进行实验，CentOS7.9安装Docker安装Kubernetes安装KubeSphere前置环境安装KubeSphere 1、安装Dockersudo yum remove docker*
sudo yum install -y yum-utils
#配置docker的yum地址
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#安装指定版本
sudo yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7 containerd.io-1.4.6
# 启动&开机启动docker
systemctl enable docker --now
# docker加速配置
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
...
k8s v1.20 集群安装metrics-server监控集群指标[root@centos34 opt]# kubectl top pods -ANAMESPACE NAME CPU(cores) MEMORY(bytes)default nfs-client-provisioner-99f54bcdb-qn97h 2m 11Mikube-system calico-kube-controllers-85c867d48-n5wtg 3m 39Mikube-system calico-node-9gjbg 53m 198Mikube-system calico-node-j8ctn 54m 170Mikube-system calico-node-pm8bt ...
K8S dashboard UI登陆时间超时设置 默认的Token失效时间是900秒，也就是15分钟，这意味着你每隔15分钟就要认证一次。Expiration time (in seconds) of tokens generated by dashboard. Default: 15 min. DefaultTokenTTL = 900详细源码可以参考：Expiration time ，显然我们可以设置更长的时间来满足需求。 操作 参数名 默认值 说明 token-ttl 15 minutes Expiration time (in seconds) of JWE tokens generated by dashboard. Default: 15 min. 0 - never expires. Dashboard的Token失效时间可以通过 token-ttl 参数来设置，修改创建Dashboard的yaml文件，并重新创建即可。 ports: - containerPort: 8443 protocol: TCP args: - --auto-generate-certificates - --token-ttl=43200 除了删除后重新创建，也可以直接修改原有Dashboard的配置，使用kubectl或者Dashboard可视化页面操作。 Dashboard 添加token-ttl参数后，更新即可。 kubectl kubectl edit deployment kubernetes-dashboard -n kube-system 同理，添加相同参数，更新即可。 dashboard参数 https://github.com/kubernetes/dashboard/wiki/Dashboard-argum...
Centos7/RHEL7安装docker20.10.7+K8S-v1.20.9遇到的坑1，使用kubeadmin init时，提示报错，经查日志有以下报错，Nov 15 11:15:44 k8smaster kubelet[99728]: E1115 11:15:44.924812 99728 pod_workers.go:191] Error syncing pod 3727d6783c46108c76e5b899df77ce70 ("kube-apiserver-k8smaster_kube-system(3727d6783c46108c76e5b899df77ce70)"), skipping: failed to "StartContainer" for "kube-apiserver" with CrashLoopBackOff: "back-off 5m0s restarting failed container=kube-apiserver pod=kube-apiserver-k8smaster_kube-system(3727d6783c46108c76e5b899df77ce70)"Nov 15 11:15:45 k8smaster kubelet[99728]: E1115 11:15:45.583614 99728 kubelet.go:2263] node "k8smaster" not foundNov 15 11:15:45 k8smaster kubelet[99728]: W1115 11:15:45.642347 99728 pod_container_deletor.go:79] Container "f4d9630c0fc474157914b33e33fdf39641030fb0bd7e0750cce7a3108b9811b6" not found in pod's containers经检查，docker中的pod已经添加，但是pod没法正常启动。于是又自行加载了一个容器，经测试，...
k8s节点中入集群报错:couldn't validate the identity of the API Server1, node节点再加入k8s集群时报错。[root@centos38 ~]# kubeadm join centos34:6443 --token brilgr.4gtm8kwcgc2kssdl --discovery-token-ca-cert-hash sha256:6f8c864b3771bda0272e95c7192d6e70ab36a0d97061f902[preflight] Running pre-flight checks [WARNING SystemVerification]: this Docker version is not on the list of validated versions: 20.10.7. Latest validated version: 19.03error execution phase preflight: couldn't validate the identity of the API Server: expected a 32 byte SHA-256 hash, found 24 bytesTo see the stack trace of this error execute with --v=5 or higher经查资料，一说是，可以再命令 kubeadmin join 后面加参数 --v=5或是--v=6，或是 查看令牌情况，是否过期，但是显示不可能，master节点才建好不到2个小时。 2，实在没办法，就查看token后，删除再重建一个。[root@centos34 ~]# kubeadm token listTOKEN ...
Flume的安装及使用 目录 Flume的安装及使用 Flume的安装 1、上传至虚拟机，并解压 2、重命名目录，并配置环境变量 3、查看flume版本 4、测试flume 5、flume的使用 Flume的安装 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/
在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft='cd /usr/local/soft/' 2、重命名目录，并配置环境变量 mv apache-flume-1.9.0-bin/ flume-1.9.0
vim /etc/profile
source /etc/profile
3、查看flume版本 flume-ng version
[root@master soft]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9
[root@master soft]#
4、测试flume 监控一个目录，将数据打印出来 配置文件 # 首先先给agent起一个名字 叫a1
# 分别给source channel sink取名字
a1....
CentOS 7 GlusterFS 环境说明： 3台机器安装 GlusterFS 组成一个集群。 使用 docker volume plugin GlusterFS 服务器： 10.6.0.140 10.6.0.192 10.6.0.196 配置 hosts 10.6.0.140 swarm-manager 10.6.0.192 swarm-node-1 10.6.0.196 swarm-node-2 client: 10.6.0.94 node-94 安装： CentOS 安装 glusterfs 非常的简单 在三个节点都安装glusterfs yum install centos-release-gluster yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma 配置 GlusterFS 集群： 启动 glusterFS systemctl start glusterd.service systemctl enable glusterd.service 在 swarm-manager 节点上配置，将 节点 加入到 集群中。 [root@swarm-manager ~]#gluster peer probe swarm-managerpeer probe: success. Probe on localhost not needed [root@swarm-manager ~]#gluster peer probe swarm-node-1peer probe: success. [root@swarm-manager ~]#gluster peer probe swarm-node-2peer probe: success. 查看集群状态： [root@swarm-manager ~]#gluster peer statusNumber of Peers: 2 Hostname: swarm-node-1Uuid: 41573e8b-eb00-4802-8...
kafka3.0集群部署1.环境说明服务器资源规划如下表:IPhostname部署资源192.168.162.201m162p201zookeeper,kafka192.168.162.202m162p202zookeeper,kafka192.168.162.203m162p203zookeeper,kafka操作系统版本(三个节点均相同)：[root@m162p201 software]# lsb_release -a
LSB Version: :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch
Distributor ID: CentOS
Description: CentOS Linux release 7.7.1908 (Core)
Release: 7.7.1908
Codename: Core2.环境准备2.1 依赖软件下载计划安装的软件：软件版本安装节点下载地址jdkjdk-8u311-linux-x64.rpmm162p201,m162p202,m162p203https://www.oracle.com/java/technologies/downloads/#java8zookeeperapache-zookeeper-3.5.6-bin.tar.gzm162p201,m162p202,m162p203https://archive.apach...
文章目录 1. linux ssh免密登陆配置 2. java环境配置 3. Hadoop完全分布式(full) 4. Hadoop HDFS高可用集群搭建（HA） 4.1 安装配置zookeeper 4.2 安装配置hadoop HA 4.3 Hadoop HDFS HA集群的启动步骤 5. Hadoop MapReduce、YARN 高可用集群搭建 5.1 修改 mapred-site.xml 5.2 修改yarn-site.xml 5.3 修改hadoop-env.sh 5.4 启动yarn 6 windows本地运行调试mapreduce 1. linux ssh免密登陆配置 hadoop节点之间的通讯是通过ssh进行的，SSH默认都是需要密码的，开启免密钥登录会减少很多麻烦。操作很简单，两步（三步）就可以完成。 首先在本地生成公钥和私钥。分别在所有节点上执行： ssh-keygen -t rsa
#后面都按回车跳过即可（三次）
# 运行结束后在 ~/.ssh/下生成两个新文件: id_rsa.pub和id_rsa
设置本机ssh免密
#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将公钥拷贝到本机和远程主机. ssh-copy-id username@host
or
ssh-copy-id node01
ssh-copy-id node02
……
# username是用户名 host是主机的地址
#远程主机将用户的公钥保存在 ~/.ssh/authorized_keys文件中
如果发...
MySQL 读写分离的概述 MySQL 作为目前世界上使用最广泛的免费数据库，相信所有从事系统运维的工程师都一定接触过。 在实际的生产环境中，由单台 MySQL 作为独立的数据库是完全不能满足实际需求的，无论是在安全性，高可用性以及高并发等各个方面。 因此，一般来说都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy/Amoeba）来提升数据库的并发负载能力进行部署与实施。 读写分离工作原理 基本的原理是： 主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE） 从数据库处理 SELECT 查询操作 数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。 为什么要读写分离 面对越来越大的访问压力，单台的服务器的性能成为瓶颈，需要分担负载 主从只负责各自的写和读，极大程度的缓解 X（写）锁和 S（读）锁争用 从库可配置 myisam 引擎，提升查询性能以及节约系统开销 增加冗余，提高可用性 实现读写分离的方式 一般有两种方式实现 应用程序层实现，网站的程序实现 应用程序层实现指的是在应用程序内部及连接器中实现读写分离 优点： 应用程序内部实现读写分离，安装既可以使用 减少一定部署...
最新评论