记录关于Devops运维,虚拟化容器云计算,数据库,网络安全等各方面问题。
HCIA-Big Data V3.0介绍： 本系列共14课内容，其中第1-8课、第10、12课由重庆邮电大学副教授雷大江老师讲解，剩余4课由华为认证大数据讲师讲解。 内容按顺序依次是：大数据发展趋势与鲲鹏大数据，HDFS和ZooKeeper，Hive分布式数据仓库，HBase、MapReduce和Yarn技术原理，Spark基于内存的分布式计算，Flink流批一体分布式实时处理引擎，Flume海量日志聚合，Loader数据转换，Kafka分布式消息订阅系统，LDAP Kerberos，分布式全文检索服务ElasticSearch，Redis内存数据库，华为大数据解决方案。 因该系列主要讲解常用的大数据组件基础技术，各课程之前基本相互独立，故你可以选择按顺序进行学习，也可以按照自己对各部分内容的熟悉程度，进行课程选择学习。
国内下载elasticsearch和kibana,ELK,EFK镜像发现华为云有一个好用的国内镜像https://mirrors.huaweicloud.com/elasticsearch/7.6.2/https://mirrors.huaweicloud.com/kibana/7.6.2/亲测下载速度非常快需要不同版本只需将上面url后面的版本替换即可
一、MongoDB用户认证机制简介 为了认证客户端，你必须要添加一个对应的用户到MongoDB。基本的步骤分为以下几步： 用户管理接口：db.createUser()方法可以创建一个用户，添加完成后可以分配角色给用户，第一个用户必须是管理员，用来管理其他用户。你也可以更新存在的用户，必须修改密码和权限。 认证数据库：当添加一个用户后，你在某个指定的数据库中添加该用户，那么这个数据库对于该用户就是个认证数据库。一个用户可以有权限访问多个数据库，通过分配角色权限来做到。 认证用户：为了认证用户，可以通过db.author()方法。 二、MongoDB用户认证示例 在admin数据库中，创建一个超级用户，用于管理其他的的用户。 use admin
db.createUser({"user":"myadmin","pwd":"password","roles":["root"]}) 重新登录数据库，执行：show dbs，发现依然可以访问。我们需要开启数据库的认证机制，在配置文件中设置以...
最近有个新项目刚过完需求，正式进入数据库表结构设计阶段，公司规定统一用数据建模工具 PowerDesigner。但我并不是太爱用这个工具，因为它的功能实在是太多了，显得很臃肿，而平时设计表用的也就那么几个功能。 这里找到一个好用的工具，马不停蹄的分享给大家，PDMan 一款国产开源的数据库模型建模工具，它的功能PowerDesigner 均已经实现，但相比于笨重的PowerDesigner来说。PDMan 专门用于数据表的设计，界面更加清爽漂亮，功能也十分简洁，没多余的设置很容易上手，还提供了 Windows，Mac，Linux 三个平台版本。 PDMan保存的是一个JSON文件，使用前得先做点准备工作，配置一下 JDK 和 MySQL 连接，后边的功能会用到。 下边我们来逐一过下PDMan 的功能点。 生成数据库文档 PDMan 支持一键导出数据表结构的DDL执行脚本，JSON格式数据，还有数据库表结构文档，其中数据库文档又可以生成 html 、word、markdown 三种格式，文档内容包括各个表的字段属性，数据表间的关系图。 html 格式 word 格式 markdown 格式 数据库逆向解析 ...
Centos6国内源基本已经停止，2021.1.16仍可用的源配置 2020-12-02 centos 停止更新centos 6，官网镜像源不可用实测 阿里云、搜狐、网易、163的几个源已经都不可用， 经查看，https://mirrors.cloud.tencent.com/centos/ 镜像源中目前还有Centos6.10，可以使用。 官网的有一个可用的源头还在维持，但不在更新，不过国内用户下载速度很慢。这里不推荐配置，海外用户可用去设置下。 配置yum源 备份本地yum源 (安装前先备份，免得更改后还是不行的话，以前文件丢失，无法恢复) mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak1 修改源wget -O /etc/yum.repos.d/CentOS-Base.repo http://file.kangle.odata.cc/repo/Centos-6.repo
wget -O /etc/yum.repos.d/epel.repo http://file.kangle.odata.cc/repo/epel-6.repo 更新源yum clean all
yum makecache
yum update Centos-6.repo具体内容如下： # CentOS-Base.repo
#
# The mirror system uses the connecting IP address of the client and the
# update status of each mirror to pick mirrors that are updated to and
# geographically cl...
Centos安装filebeat将nginx日志推送给EFK(ELK) 1,根据kibana面板的向导-添加日志数据。 2，选择 Nginx 日志 ， 会有以下提示。 3，根据提示，我这里安装nginx的是Centos6系统，安装filebeat日志采集软件。 4，配置/etc/filebeat/filebeat.yml 文件，由于我是在k8s环境中安装的EFK集群，没有使用nodeport，使用的ingress, 所以我在配置文件中host都是使用的域名加端口。EFK集群可以识别出来。 5，配置filebeat nginx 模块。 启用和配置 nginx 模块 filebeat modules enable nginx filebeat modules list #查看哪些模块开启 在 /etc/filebeat/modules.d/nginx.yml 文件中修改设置如下： ...
Kubernetes K8S之Helm部署ELK/EFK日志分析系统 主机配置规划 服务器名称(hostname) 系统版本 配置 IP k8s-master CentOS8 2C/4G/20G 192.168.137.22 k8s-node01 CentOS7 2C/4G/20G 192.168.137.18 k8s-node02 CentOS7 2C/4G/20G 192.168.137.14 备注：由于EFK部署比较消耗内存；所以每台机器的内存最好大于等于4G。 ELK概述 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等接口，提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志...
Toad收缩oracle表空间数据文件时使用的SQL我这里先将oracle11G的在NEU表空间所使用的用户与用户对像已经删除了，再用toad工具软件收缩的数据文件。具体表空间水位与收缩原理请百度。只是记录下。--------------------------------------------------------------------------------Timestamp: 2021/2/2 11:12:11Select file_id, bytes / blocks block_sizeFROM DBA_DATA_FILESWHERE file_name = 'G:\APP\ADMINISTRATOR\ORADATA\DB1\NEU.DBF'fname=['G:\APP\ADMINISTRATOR\ORADATA\DB1\NEU.DBF']Elapsed time: 0.013--------------------------------------------------------------------------------Timestamp: 2021/2/2 11:12:11Select MAX (block_id + blocks) highblockFROM DBA_EXTENTSWHERE tablespace_name = 'NEU'AND file_id = 6tsn=['NEU']fid=[6]Elapsed time: 0.083--------------------------------------------------------------------------------Timestamp: 2021/2/2 11:12:53ALTER DATABASE DATAFILE 'G:\APP\ADMINISTRATOR\ORADATA\DB1\NEU.DBF' RESIZE 2MElapsed time: 0.119-------------------------------------...
Install and Use Guacamole Remote Desktop on Ubuntu 20.04具体请下载PDF查看英文原版
最新评论