HABSE扩容缩容

初始化集群 初始化集群:hadoop三个DataNode,HBASE集群只有一个regionserver。 后面我们不停服的情况下,动态添加一个机器node4,在node4上启动Hregionserver服务。 hbase动态扩容 配置regionservers 配置每台机器的regionservers,添加node4: [root@node1 conf]# cat regionservers node3 node4 这一步不是必须的,但是为了更好的维护集群,在master上进行一些ssh相关操作,最好执行这一步。 在node4上启动regionserver [root@node4 bin]# ./hbase-daemon.sh start regionserver running

Read more

harbor

harbor高可用集群配置 目录 https://www.cnblogs.com/breezey/p/9444231.html 说明 双主复制 主从同步 双主复制说明 多harbor实例共享后端存储 方案说明 环境说明 配置说明 安装nfs 安装redis和mysql 导入registry数据库 配置harbor 挂载nfs目录 修改harbor.cfg配置 修改docker-compose.yml配置 说明 在上一篇企业级镜像管理系统Harbor中,我们简要说明了单机版本harbor的配置。然而这种单机部署显然无法满足在生产中需求,必须要保证应用的高可用性。

Read more

保障

高可用性: 跨可用区 高可用组 自动快照策略 监控、告警设置、拨测(内外部) 日志 跨区数据库 OSS备份 CDN 双路回源 安全性: IP高防 WAF 抗D ACL 安全组 堡垒机

Read more

DNS及域名相关

域名生效原理 域名解析流程涉及节点较多,以www.jdcloud.com为例,简化流程图如下所示: 1.用户发起DNS查询请求,携带域名www.jdcloud.com 2.Local DNS接收到DNS解析请求,如果有缓存直接返回 3.Local DNS接收到DNS解析请求,没有缓存,则向根域权威服务器发起请求 4.根域权威服务器返回顶级域com服务器地址 5.Local DNS发送请求到顶级域com服务器,查询jdcloud.com域所属权威服务器 6.顶级域com服务器返回jdcloud.com域所属权威服务器 7.Local DNS发送请求到jdcloud.com权威服务器,即云解析服务器 8.云解析服务器,根据用户通过控制台下发的配置进行解析,返回www.jdcloud.com域名对应IP地址 以上就是简化的完整域名解析流程,客户发起DNS查询请求到Local DNS,Local DNS负责逐级获取解析结果,最终通过云解析获取到所需数据 域名NS修改生效时间 域名NS记录只能通过域名注册商修改,修改之后需要同步到根域服务器才能在全网生效,各地同步时间不一致,通常需要24-48小时,超过48小时还未生效,需要联系对应的域名注册商进行定位分析。 解析记录添加及修改生效流程

Read more

clickhouse

一. 概述 随着物联网IOT时代的来临,IOT设备感知和报警存储的数据越来越大,有用的价值数据需要数据分析师去分析。大数据分析成了非常重要的环节。当然近两年开启的开源大潮,为大数据分析工程师提供了十分富余的工具。但这同时也增加了开发者选择合适的工具的难度,尤其对于新入行的开发者来说。学习成本,框架的多样化和复杂度成了很大的难题。例如kafka,hdfs,spark,hive 等等组合才能产生最后的分析结果。把各种开源框架、工具、库、平台人工整合到一起所需工作之复杂,是大数据领域开发和数据分析师常有的抱怨之一,也是他们支持大数据分析平台简单化和统一化的首要原因。 二.Clickhouse 发展历史 Yandex在2016年6月15日开源了一个数据分析的数据库,名字叫做ClickHouse,这对保守俄罗斯人来说是个特大事。更让人惊讶的是,这个列式存储数据库的跑分要超过很多流行的商业MPP数据库软件,例如Vertica。如果你没有听过Vertica,那你一定听过 Michael Stonebraker,2014年图灵奖的获得者,PostgreSQL和Ingres发明者(Sybase和SQL Server都是继承 Ingres而来的), Paradigm4和SciDB的创办者。Michael Stonebraker于2005年创办Vertica公司,后来该公司被HP收购,HP Vertica成为MPP列式存储商业数据库的高性能代表,Facebook就购买了Vertica数据用于用户行为分析。 三.Clickhouse 支持特性剖析 在看Clickhouse 运行场景之前要了解技术的功能特性以及弊端是一个技术架构以及开发人员所要了解的。只有”知己知彼”才可以”百战不殆”,接下来我们看一下Clickhouse的具体特点; Ø  1.真正的面向列的DBMS Ø 

Read more