本站用于记录日常工作内容,虚拟化云计算,系统运维,数据库DBA,网络与安全。
通过靶场平台演练增强安全攻防意识点击打开链接下载相关课件
通过 docker-compose 快速部署 Hadoop 集群详细教程一、概述 docker-compose 项目是docker官方的开源项目, 负责实现对docker容器集群的快速编排,来轻松高效的管理容器,定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的,所以一般通过docker-compose部署的应用用于测试、poc环境以及学习等非生产环境场景。生产环境如果需要使用容器化部署,建议还是使用K8s。 Hadoop集群部署还是稍微比较麻烦点的,针对小伙伴能够快速使用Hadoop集群,这里就使用docker-compose来部署Hadoop集群。 关于docker-compose介绍可以参考我以下几篇文章: Docker三剑客之Compose docker-compose 进阶篇 如果需要通过k8s来部署Hadoop环境,可以参考我之前的以下几篇文章: 【云原生】Hadoop on k8s 环境部署 【云原生】Hadoop HA on k8s 环境部署 Hadoop NameNode HA 架构: Hadoop YARN HA 架构: 二、安装 docker 和 docker-compose 1)安装 docker # 安装yum-config-manager配置工具 yum -y install yum-utils # 建议使用阿里云yum源:(推荐) #yum-config-manager --add-repo https://download.docker.com/l...
Centos7.9安装containerd容器与cni网络插件一,Containerd 的技术方向和目标简洁的基于 gRPC 的 API 和 client library完整的 OCI 支持(runtime 和 image spec)同时具备稳定性和高性能的定义良好的容器核心功能一个解耦的系统(让 image、filesystem、runtime 解耦合),实现插件式的扩展和重用   为什么需要独立的 containerd:以往隶属于docker项目中,现如今从整体 docker 引擎中分离出的项目(开源项目的思路)可以被 Kubernets CRI 等项目使用(通用化)为广泛的行业合作打下基础(就像 runC 一样)二,安装步骤1,升级内核[root@os-240 ~]#  rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm[root@os-240 ~]#   yum --disablerepo="*" --enablerepo="elrepo-kernel" list available#建议迁移lt长期支持内核[root@os-240 ~]#   yum --enablerepo='elrepo-kernel' install kernel-lt kernel-lt-devel[root@os-240 ~]#  grub2-set-default 0[root@os-240 ~]#  reboot不升级内核,启动containerd服务或是拉取镜像会报以下错误:Mar 24 11:05:03 os-240 containerd: time="2023-03-24T11...
华为云asm服务网格治理部署bookinfo时镜像拉取失败问题1,在创建 CCE后,再加4个节点,然后再创建asm企业版后,再将cce集群加入到asm服务中,2,在创建bookinfo示例后,提示拉取swr镜像失败,经检查是cce部署bookinfo 实例时,没有将 镜像访问凭证 加入到YAML中,导致无法正常进行。解决方法:部署asm的bookinfo示例后,再到cce集群中,选择对应的    工作负载 ,点 升级 ,然后将默认凭证 加入,保存后就会正常使用了。
一键快速部署Kubernetes高可用集群三个主节点、三个Node节点、两个用于负载平衡的节点以及一个虚拟IP地址。此示例中的虚拟IP地址也称为浮动IP地址。也就是说,即使节点发生故障,也可以在节点之间交换IP地址,实现故障切换,实现高可用性。由于资源限制服务器进行了复用,如下:1初始化操作所有机器操作如下:修改主机名hostnamectl set-hostname k8s-master01hostnamectl set-hostname k8s-master02hostnamectl set-hostname k8s-master03hostnamectl set-hostname k8s-node01hostnamectl set-hostname k8s-node02[root@k8s-master01 ~]# MasterNodes='k8s-master01 k8s-master02 k8s-master03'[root@k8s-master01 ~]# WorkNodes='k8s-node01 k8s-node02'[root@k8s-master01 ~]# for NODE in $MasterNodes; do ssh-copy-id $NODE ;done[root@k8s-master01 ~]# for NODE in $WorkNodes; do ssh-copy-id $NODE ;done执行初始化脚本[root@k8s-master01 ~]# vim init.sh#!/bin/shecho "192.168.102.71 k8s-master01" >> /etc/hostsecho "192.168.102.72 k8s-master02" >> /etc/hostsecho "192.168.102.73 k8s-master03" >> /et...
K8s运维-集群升级 -- kubeadm v1.20 安装方式升级kubeadm安装方式升级升级k8s集群必须 先升级kubeadm版本到目的k8s版本,也就是说kubeadm是k8s升级的准升证。1.1 升级准备在k8s的所有master节点进行组件升级,将管理端服务kube-controller-manager、kube-apiserver、kube-scheduler、kube-proxy进行版本升级。1.1.1 验证当前k8s master版本[root@k8s-master01 ~]# kubeadm versionkubeadm version: &version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.14", GitCommit:"57a3aa3f13699cf3db9c52d228c18db94fa81876", GitTreeState:"clean", BuildDate:"2021-12-15T14:51:22Z",GoVersion:"go1.15.15", Compiler:"gc", Platform:"linux/amd64"}1.1.2 验证当前k8s node版本[root@k8s-master01 ~]# kubectl get nodesNAME STATUS ROLES AGE VERSIONk8s-master01.example.local Ready control-plane,master 20h v1.20.14k8s-master02.example.local Ready control-plane,master 20h v1.20.14k8s-master0...
docker 安装 ETCD v3.5.5集群一、环境物理机 一台 部署Centos7系统,再配置Docker软件,需要安装三个 ETCD v3.5容器实例。二、安装具体情况.1,下载etc3.5容器镜像。 docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.5-02, 镜像打个新标签。docker image tag registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.5-0 etcd:3.5.53,创建一个容器网络docker network create --subnet 192.167.0.0/24 etcdnet三、创建etcd容器。1,etcd10容器,集群token etcd-cluster-10 。docker run -dt -p 3379:2379 -p 3380:2380 --restart=always --net etcdnet --ip 192.167.0.10 --name etcd10 etcd:3.5.5 \ /usr/local/bin/etcd  --name etcd10 --enable-v2 \  --initial-advertise-peer-urls http://192.167.0.10:2380 \  --listen-peer-urls http://0.0.0.0:2380 \  --listen-client-urls http://0.0.0.0:2379 \  --advertise-client-urls http://192.167.0.10:2379 \  --initial-cluster-token etcd-cluster-10 \  --initial-cluster etcd10=http://192.167.0.10:2380,etcd11=http://192...
Run etcd clusters inside containersRunning etcd with rkt and Docker using static bootstrappingThe following guide shows how to run etcd with rkt and Docker using the static bootstrap process.rktRunning a single node etcdThe following rkt run command will expose the etcd client API on port 2379 and expose the peer API on port 2380.Use the host IP address when configuring etcd.export NODE1=192.168.1.21 Trust the CoreOS App Signing Key.sudo rkt trust --prefix quay.io/coreos/etcd # gpg key fingerprint is: 18AD 5014 C99E F7E3 BA5F 6CE9 50BD D3E0 FC8A 365E Run the v3.2 version of etcd or specify another release version.sudo rkt run --net=default:IP=${NODE1} quay.io/coreos/etcd:v3.2 -- -name=node1 -advertise-client-urls=http://${NODE1}:2379 -initial-advertise-peer-urls=http://${NODE1}:2380 -listen-client-urls=http://0.0.0.0:2379 -listen-peer-urls=http://${NODE1}:2380 -initial-cluster=node1=http://${NODE1}:2380 List the cluster member.etcdctl --endpoints=http://192.16...
Docker微服务的ETCD v3.2集群搭建教程详解etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的,灵感来自于 ZooKeeper 和 Doozer,它使用Go语言编写,并通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个来自Stanford的新的一致性算法,适用于分布式系统的日志复制,Raft通过选举的方式来实现一致性,在Raft中,任何一个节点都可能成为Leader。Google的容器集群管理系统Kubernetes、开源PaaS平台Cloud Foundry和CoreOS的Fleet都广泛使用了etcd。etcd的特性    简单: curl可访问的用户的API(HTTP+JSON)定义明确,面向用户的API(gRPC)    安全: 可选的SSL客户端证书认证    快速: 单实例每秒 1000 次写操作    可靠: 使用Raft保证一致性Etcd构建自身高可用集群主要有三种形式    1)静态发现: 预先已知 Etcd 集群中有哪些节点,在启动时直接指定好Etcd的各个node节点地址    2)Etcd动态发现: 通过已有的Etcd集群作为数据交互点,然后在扩展新的集群时实现通过已有集群进行服务发现的机制    3)DNS动态发现: 通过DNS查询方式获取其他节点地址信息本次搭建的基础环境底层OS:Centos7docker版本...
docker部署可执行jar包的思路与完整步骤 对于springboot项目运行,直接是java -jar的方式运行,如果想要放到docker中运行,可以参考本文,下面这篇文章主要给大家介绍了关于docker部署可执行jar包的思路与完整步骤,需要的朋友可以参考下前言我们构建的是运行bash文件命令的镜像,而不是构建jar包的镜像。好处就是,jar包有更新,只需替换jar包或者bash文件,而无须重新构建镜像。通常,用docker承载运行java程序,是将jar包先构建镜像,然后创建docker容器运行。如果jar包更新,就需要删除原镜像,重新来一遍,耗时耗力。有一个方案是,我们创建一个bash文件(linux的批处理文件),其内容是运行我们的jar包。然后创建运行该bash文件的docker镜像、docker容器。这样的好处是很明显的,jar包有更新,只替换jar包,甚至jar包改名了,也只是更改bash文件的内容而已,而镜像、容器,不会受到任何影响,无需作出任何改动。一、思路1、将docker容器中的指定文件夹挂载到宿主机上,更新jar包只需上传到宿主机指定路径,方便更新2、利用bash文件运行jar包,并构建该bash的镜像,代替构建直接运行jar包的镜像,利于镜像与jar包解耦。例如,app-1.0.0.jar 升级到 app-2.0.0.jar,只须更...
    总共58页,当前第2页 | 页数:
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10
  11. 11
  12. 12