docker搭建grafana+loki+promtail日志收集系统 1.拉取镜像docker pull grafana/grafana:7.4.3 docker pull grafana/promtail:2.1.0 docker pull grafana/loki:2.1.0 2.loki搭建 1）新建配置文件 创建文件：mkdir -p /usr/local/docker/loki 配置文件: vi /usr/local/docker/loki/loki-config.yaml auth_enabled: false server:  http_listen_port: 3100  grpc_listen_port: 3110  grpc_server_max_recv_msg_size: 1073741824  #grpc最大接收消息值，默认4m  grpc_server_max_send_msg_size: 1073741824  #grpc最大发送消息值，默认4m ingester:  lifecycler:    address: 127.0.0.1    ring:      kvstore:        store: inmemory      replication_factor: 1    final_sleep: 0s  chunk_idle_period: 5m  chunk_retain_period: 30s  max_transfer_retries: 0  max_chunk_age: 20m  #一个timeseries块在内存中的最大持续时间。如果timeseries运行的时间超过此时间，则当前块将刷新到存储并...

jenkins pipeline语法与示例基础 一、Jenkins介绍      二、Jenkins Pipeline介绍 Jenkins Pipeline总体介绍 1.Pipeline 是Jenkins 2.X核心特性，帮助Jenkins实现从CI到CD与DevOps的转变 2.Pipeline 简而言之，就是一套运行于Jenkins上的工作流框架，将原本独立 运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流 程编排与可视化。 什么是Jenkins Pipeline 1.Jenkins Pipeline是一组插件，让Jenkins可以实现持续交付管道的落地和实施。 2.持续交付管道(CD Pipeline)是将软件从版本控制阶段到交付给用户或客户的完 整过程的自动化表现。 3.软件的每一次更改（提交到源代码管理系统）都要经过一个复杂的过程才能被发布。 Pipeline提供了一组可扩展的工具，通过Pipeline Domain Specific Language (DSL) syntax可以达到Pipeline as Code的目的 Pipeline as Code：Jenkinsfile 存储...

vscode10个必装的插件   VSCode 必装的 10 个高效开发插件   本文介绍了目前前端开发最受欢迎的开发工具 VSCode 必装的 10 个开发插件，用于大大提高软件开发的效率。 VSCode 的基本使用可以参考我的原创视频教程「VSCode 高效开发必装插件」。 VSCode（Visual Studio Code）是由微软研发的一款免费、...

k8s的Health Check（健康检查）   强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性。自愈的默认实现方式是自动重启发生故障的容器。除此之外，用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查，进而实现如下需求： 零停机部署。 避免部署无效的镜像。 ...

Docker安装部署MySQL+Canal+Kafka+Camus+HIVE数据实时同步 因为公司业务需求要将mysql的数据实时同步到hive中，在网上找到一套可用的方案，即MySQL+Canal+Kafka+Camus+HIVE的数据流通方式，因为是首次搭建，所以暂时使用伪分布式的搭建方案。 一、安装docker 安装docker的教程网上一搜一大把,请参考： centos下docker安装教程 二、docker安装MySQL 安装教程网上也有很多，请参考: docker安装MySQL 1. 开启 Binlog 写入功能 安装完成后，要配置MySQL，开启binlog的写入功能,配置 binlog-format 为 ROW 模式，my.cnf 中配置如下:vim /etc/my.cnf[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不能和 canal 的 slaveId 重复#重启MySQL数据库service mysql restart 2. 创建并授权canal用户 授权 canal 连接 MySQL账号具有作为 MySQL slave的权限,如果已有账户可直接 grantCREATE USER canal IDENTIFIED BY 'canal'; GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;#一定要刷新权限FLUSH PRIVILEGES; ...

Kubernetes之容器数据写满磁盘解决方法磁盘写满引发的后果容器数据磁盘写满造成的后果：Pod 不能删除 (一直 Terminating)Pod 不能被创建 (一直 ContainerCreating)磁盘写满分两种情况：磁盘空间全部使用完# 系统盘被占满 $ df -Th 文件系统       类型      容量  已用  可用 已用% 挂载点 /dev/vda1    ext4      50G  50G   0G   100% / /dev/vdb1    ext4    100G  10G  90G   10% /data 磁盘 Inode 全部使用完# 数据盘 Inode 被占满 $ df -i 文件系统       Inode 已用(I) 可用(I) 已用(I)% 挂载点 /dev/vda1    3276800  3276800 0      100% / 判断磁盘写满方法下面命令能快速的排查...

在 KubeSphere 上安装 PorterLB 本文档介绍如何在KubeSphere Web 控制台上安装和删除 PorterLB。 注意 在 Kubernetes 集群中，您只需要安装一次 PorterLB。安装完成后，将在集群中安装包含 Porter-manager Pod 的 Porter-manager Deployment。Porter-manager Pod 为整个 Kubernetes 集群实现了 PorterLB 的功能。 安装完成后，您可以扩展 Porter-manager Deployment 并将多个 PorterLB 副本（Porter-manager Pod）分配给多个集群节点，以确保高可用性。有关详细信息，请参阅配置多个 PorterLB 副本。 先决条件 您需要使用 KubeSphere 准备一个 Kubernetes 集群，并确保 Kubernetes 版本为 1.15 或更高版本。PorterLB 需要 CustomResourceDefinition （CRD） v1，它仅由 Kubernetes 1.15 或更高版本支持。您可以使用以下方法来安装 KubeSphere： 使用 KubeSphere 部署一个新的 Kubernetes 集群。 ...

Kubesphere整合的Jenkins 默认登陆密码查看整合后的密码如下:// 先记着了就不用去查看了P@88w0rd// 也可以使用命令查看kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f

Kubesphere使用ingress监控80/443端口实现域名访问1，kubesphere如果需要微服务对外服务，那要创建一个项目网关或是集群网关。这样会开通一个随机NodePort端口，再配置应用路由以提供域名方式访问或是直接通过nodeport暴露端口方式对外服务。2，使用上面方式都是域名+随机端口或是ip+随机端口方式，比较麻烦。这里就在kubeshpere中安装一个ingress入口网关，这样就可以直接使用80或是443端口，达到只使用域名就可以访问。3，具体实现步骤. 1），修改kubernetes的对外端口范围。修改完后，安装好ingress后，可以再修改回来。 k8s默认使用NodePort对外映射端口范围是30000-50000，可以通过修改kube-apiserver参数修改端口范围　　修改配置文件/etc/kubernetes/manifests/kube-apiserver.yaml增加或者修改以下配置     - --service-node-port-range=1-65535      vi /etc/kubernetes/manifests/kube-apiserver.yaml如下图： 2），给kubesphere添加ingress服务，具体YAML文件看最后文档。 kubectl apply -f ingress.yaml    添加相关资源。   3），登陆kubesphere的管理员账号，到集群管理页面。查看&nbs...

Docker and system monitoringdocker安装prometheus,grafana,cadvisor并监控容器与主机信息系统指标此仪表板(ID是893)显示 Docker 和系统指标，目的是将所有指标放在一个仪表板上。第一行表示带有仪表和文本/图形的系统度量（易于可视化和极简主义）。时间内存使用/交换磁盘使用情况负荷网络中央处理器使用率磁盘 I/O针对磁盘使用情况、内存使用情况和负载使用情况设置警报，以便在指标受到批评时发出警告。Docker 指标仪表板的第二部分是 Docker 指标，更详细地使用图形。每个容器的 CPU 使用率每个容器的已发送网络每个容器的接收网络每个容器的内存使用率/交换量每个容器的剩余内存（如果men_limit docker-compose.yml 中定义）服务器配置我使用 docker-compose 来设置我的监视：https://github.com/vegasbrianc/prometheus。我的仪表板使用此配置。服务运行：dockerprometheusnode-exporteralertmanagercadvisorgrafana v4使用 docker-compose.yml 安装 docker-compose.ymlprometheus: image: prom/prometheus:latest container_name: monitoring_prometheus restart: unless-stopped volumes: - ./data/prometheus/config:/etc/prometh...