RocketMQ 简单梳理 及 集群部署笔记 一、RocketMQ 基础知识介绍Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型，RocketMQ也是这样的设计，简单说来RocketMQ具有以下特点：1）是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。2）Producer、Consumer、队列都可以分布式。3）Producer向一些队列轮流发送消息，队列集合称为Topic，Consumer如果做广播消费，则一个consumer实例消费这个Topic对应的所有队列，如果做集群消费，则多个Consumer实例平均消费这个topic对应的队列集合。4）支持严格的消息顺序；5）提供丰富的消息拉取模式6）高效的订阅者水平扩展能力7）实时的消息订阅机制8）亿级消息堆积能力9）较少的依赖10）支持Topic与Queue两种模式；11）同时支持Push与Pull方式消费消息； 消息队列的应用场景1）异步处理将不是必须的业务逻辑，进行异步处理，比如注册之后短信、邮箱的发送 2）应用解耦订单系统：用户下单后，订单系统完成持久化处理，将消息写入消息队列，返回用户订单下单成功。库存系统：订阅下单的消息，采用拉/推的方式，获取下单信息，库存...

Centos7下GlusterFS分布式存储集群环境部署记录 之前已经简单地对GlusterFS分布式文件系统做了介绍，下面就该环境部署做一记录： 0）环境准备 GlusterFS至少需要两台服务器搭建，服务器配置最好相同，每个服务器两块磁盘，一块是用于安装系统，一块是用于GlusterFS。 192.168.10.239 GlusterFS-master（主节点） Centos7.4 192.168.10.212 GlusterFS-slave （从节点） Centos7.4 192.168.10.213 Client （客户端） ---------------------------------------------------------------------------------------- 由于GlusterFS需要使用网络，因此还必须事先根据环境设置防火墙规则，关闭SELinux。 这里我将上面三台服务器的防火墙和Selinux全部关闭 [root@GlusterFS-master ~]# setenforce 0 [root@GlusterFS-master ~]# getenforce [root@GlusterFS-master ~]# cat /etc/sysconfig/selinux |grep "SELINUX=disabled" SELINUX=disabled [root@GlusterFS-master ~]# systemctl stop firewalld [root@GlusterFS-master ~]# systemctl disable firewalld [root@GlusterFS-master ~]# firewall-cmd --state not running...

Redis+Keepalived高可用环境部署记录  Keepalived 实现VRRP（虚拟路由冗余）协议，从路由级别实现VIP切换，可以完全避免类似heartbeat脑裂问题，可以很好的实现主从、主备、互备方案，尤其是无状态业务，有状态业务就需要额外花些功夫了。既然Mysql可以使用Keepalived很好的做到主从切换，那么Redis自然可以使用这种方式实现高可用。 Redis主从实现完全没有Mysql成熟，仅仅是可用而已，经过测试主从也不是那么完全不靠谱，主要问题在于同步连接断开之后需要重新全量同步，如果频繁进行会对主服务带来很大性能影响。 但现实中主从机器往往要求放在一个机柜同一台交换设备下，网络闪断情况极低；再者主从同步在同步数量量大情况下，需要将缓存区调得足够大，不然也容易造成连接断开。实现切换逻辑如下：A和B两台机器1）A 、B机器依次启动，A机作为主、B机为从。2）主A机挂掉，B机接管业务并作为主。3）A机起来，作为从SLAVEOF B。4）B机挂掉，A机再切回主。 在Keepalived 有两个角色：Master(一个)、Backup（多个），如果设置一个为Master，但Master挂了后再起来，必然再次业务又一次切换，这对于有状态服务是不可接受的。解决方案就是两台机器都设置为Backup，而且优先级...

  一、分布式文件系统介绍分布式文件系统：Distributed file system, DFS，又叫做网络文件系统：Network File System。一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。特点：在一个分享的磁盘文件系统中，所有节点对数据存储区块都有相同的访问权，在这样的系统中，访问权限就必须由客户端程序来控制。分布式文件系统可能包含的功能有：透通的数据复制与容错。分布式文件系统是被设计用在局域网。而分布式数据存储，则是泛指应用分布式运算技术的文件和数据库等提供数据存储服务的系统。决定因素：数据的存储方式、数据的读取速率、数据的安全机制。发展历史：大致分为三个发展阶段，网络文件系统(1980s)、共享SAN文件系统(1990s)、面向对象的并行文件系统(2000s)。 二、FastDFS分布式系统架构介绍FastDFS：是一个开源的轻量级分布式文件系统，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合中小文件（建议范围：4KB < file_size <500MB），对以文件为载体的在线服务，如相册网站、视频网站等。 FastDFS是为互联网应用量身定做的分布式文件系统，充分...

  一、Ceph简单介绍OSDs：Ceph的OSD守护进程（OSD）存储数据，处理数据复制，恢复，回填，重新调整，并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息。Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.（Ceph默认制作2个备份，但可以调整它）Monitors：Ceph的监控保持集群状态映射，包括OSD(守护进程)映射,分组(PG)映射，和CRUSH映射。 Ceph 保持一个在Ceph监视器, Ceph OSD 守护进程和 PG的每个状态改变的历史（称之为“epoch”）。MDS：MDS是Ceph的元数据服务器，代表存储元数据的Ceph文件系统（即Ceph的块设备和Ceph的对象存储不使用MDS）。Ceph的元数据服务器使用POSIX文件系统，用户可以执行基本命令如 ls, find,等，并且不需要在Ceph的存储集群上造成巨大的负载。 Ceph把客户端的数据以对象的形式存储到了存储池里。利用CRUSH算法，Ceph可以计算出安置组所包含的对象，并能进一步计算出Ceph OSD集合所存储的安置组。CRUSH算法能够使Ceph存储集群拥有动态改变大小、再平衡和数据恢复的能力。 二、Ceph存储特点Object：有原生的API，而且也兼容Swift和S3的APIBlock：支持精简配置、快照、克隆File：Posix接口，支持...

Flume的安装及使用 目录 Flume的安装及使用 Flume的安装 1、上传至虚拟机，并解压 2、重命名目录，并配置环境变量 3、查看flume版本 4、测试flume 5、flume的使用 Flume的安装 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft='cd /usr/local/soft/' 2、重命名目录，并配置环境变量 mv apache-flume-1.9.0-bin/ flume-1.9.0 vim /etc/profile source /etc/profile 3、查看flume版本 flume-ng version [root@master soft]# flume-ng version Flume 1.9.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: d4fcab4f501d41597bc616921329a4339f73585e Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018 From source with checksum 35db629a3bda49d23e9b3690c80737f9 [root@master soft]# 4、测试flume 监控一个目录，将数据打印出来 配置文件 # 首先先给agent起一个名字 叫a1 # 分别给source channel sink取名字 a1....

CentOS 7 GlusterFS   环境说明： 3台机器安装 GlusterFS 组成一个集群。 使用 docker volume plugin GlusterFS 服务器： 10.6.0.140 10.6.0.192 10.6.0.196 配置 hosts 10.6.0.140 swarm-manager 10.6.0.192 swarm-node-1 10.6.0.196 swarm-node-2 client: 10.6.0.94 node-94 安装： CentOS 安装 glusterfs 非常的简单 在三个节点都安装glusterfs yum install centos-release-gluster yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma 配置 GlusterFS 集群： 启动 glusterFS systemctl start glusterd.service systemctl enable glusterd.service 在 swarm-manager 节点上配置，将 节点 加入到 集群中。 [root@swarm-manager ~]#gluster peer probe swarm-managerpeer probe: success. Probe on localhost not needed [root@swarm-manager ~]#gluster peer probe swarm-node-1peer probe: success. [root@swarm-manager ~]#gluster peer probe swarm-node-2peer probe: success. 查看集群状态： [root@swarm-manager ~]#gluster peer statusNumber of Peers: 2 Hostname: swarm-node-1Uuid: 41573e8b-eb00-4802-8...

kafka3.0集群部署1.环境说明服务器资源规划如下表:IPhostname部署资源192.168.162.201m162p201zookeeper,kafka192.168.162.202m162p202zookeeper,kafka192.168.162.203m162p203zookeeper,kafka操作系统版本(三个节点均相同)：[root@m162p201 software]# lsb_release -a LSB Version:    :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch Distributor ID: CentOS Description:    CentOS Linux release 7.7.1908 (Core) Release:        7.7.1908 Codename:       Core2.环境准备2.1 依赖软件下载计划安装的软件：软件版本安装节点下载地址jdkjdk-8u311-linux-x64.rpmm162p201,m162p202,m162p203https://www.oracle.com/java/technologies/downloads/#java8zookeeperapache-zookeeper-3.5.6-bin.tar.gzm162p201,m162p202,m162p203https://archive.apach...

文章目录 1. linux ssh免密登陆配置 2. java环境配置 3. Hadoop完全分布式(full) 4. Hadoop HDFS高可用集群搭建（HA） 4.1 安装配置zookeeper 4.2 安装配置hadoop HA 4.3 Hadoop HDFS HA集群的启动步骤 5. Hadoop MapReduce、YARN 高可用集群搭建 5.1 修改 mapred-site.xml 5.2 修改yarn-site.xml 5.3 修改hadoop-env.sh 5.4 启动yarn 6 windows本地运行调试mapreduce 1. linux ssh免密登陆配置 hadoop节点之间的通讯是通过ssh进行的，SSH默认都是需要密码的，开启免密钥登录会减少很多麻烦。操作很简单，两步（三步）就可以完成。 首先在本地生成公钥和私钥。分别在所有节点上执行： ssh-keygen -t rsa #后面都按回车跳过即可（三次） # 运行结束后在 ~/.ssh/下生成两个新文件: id_rsa.pub和id_rsa 设置本机ssh免密 #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将公钥拷贝到本机和远程主机. ssh-copy-id username@host or ssh-copy-id node01 ssh-copy-id node02 …… # username是用户名 host是主机的地址 #远程主机将用户的公钥保存在 ~/.ssh/authorized_keys文件中 如果发...

准备工作以及安装Hadoop之前的操作和Hadoop2.X的安装相同，在我上一篇博客中，这里不做过多介绍 https://www.cnblogs.com/lmandcc/p/15306163.html   1. 写一些关键脚本，利于后续集群使用   1.1集群分发脚本xsync   cd /bin/ vim xsyn #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ]; then     echo "Error:Not Enough Arguement"     exit 1 fi #2. 遍历集群所有机器 for host in hadoop-40 hadoop-41 hadoop-42; do     echo "================================ $host =============================="     #3. 遍历所有目录,发送文件     for file in $@; do         #4. 判断文件是否存在         if [ -e $file ]; then             #5. 获取父目...