1.第七篇：实战redis-operator
2.dubbo十层架构？
3.NameNode高可用模式启动流程详解
4.redis的源码哨兵模式第一次主从切换成功,再次进行主从切换就不

第七篇：实战redis-operator

       实战调试、修改、解析编译、源码打包Redis 解析Operator，以GitHub - spotahome/redis-operator为例。源码spotahome/redis-operator源码逻辑简洁，解析易语言格式源码仅支持哨兵集群模式，源码主要逻辑位于cmd/redisoperator/main.go。解析

       若需根据实际业务修改operator，源码可通过在api/redisfailover/v1目录下添加字段，解析执行make generate-crd命令，源码即可在manifests目录生成新的解析yaml文件。

       镜像打包涉及Dockerfile和build.sh的源码修改，原设置采用docker buildx，解析旨在生成兼容不同操作系统的源码镜像。然而实践操作中常遇失败，鉴于实际场景无需支持多种操作系统，仅需为centos、redhat等AMD系统打包镜像即可。因此，调整Dockerfile和build.sh以适应上述需求。

dubbo十层架构？

       Dubbo简介

       Dubbo是Alibaba开源的分布式服务框架，它按照分层的方式来架构，使用这种方式可以使各层解耦。

       Dubbo在调用远程的服务的时候再本地有一个接口，就想调用本地方法一样去调用，底层实现好参数传输和远程服务运行结果传回之后的返回。

       Dubbo的特点：

       （1）它主要使用高效的网络框架和序列化框架，让分布式服务之间调用效率更高。

       （2）采用注册中心管理众多的服务接口地址，当你想调用服务的时候只需要跟注册中心询问谈歼瞎即可，不像使用WebService一样每个服务都得记录好接口调用方式。

       （3）监控中心时实现服务方和调用方之间运行状态的监控，还能控制服务的优先级、权限、权重、上下线等，让整个庞大的分布式服务系统的维护和治理比较方便。

       （4）高可用，如果有服务挂了，注册中心就会从服务列表去掉该节点，彩虹正版查询源码下载客户端会像注册中心请求另一台可用的服务节点重新调用。同时注册中心也能实现高可用（ZooKeeper）。

       （5）负载均衡，采用软负载均衡算法实现对多个相同服务的节点的请求负载均衡。

       Dubbo需要四大基本组件：Rigistry,Monitor,Provider,Consumer。

       1、含空监控中心的配置文件-dubbo.properties文件

       （1）容器改改，监控中心是在jetty和spring环境下运行，依赖于注册中心，日志系统是log4j

dubbo.container=log4j,spring,registry,jetty

       （2）监控服务的名称，监控系统对整个Dubbo服务系统来说也是一个服务

dubbo.application.name=simple-monitor

       （3）服务的所有者，这是Dubbbo的服务的功能，可以指定服务的负责人

dubbo.application.owner=coselding

       （4）注册中心的地址，配置后监控中心就能通过注册中心获取当前可用的服务列表及其状态，在页面向你汇报Dubbo中的服务运行情况。

dubbo.registr.address=multicast://{ ip}:{ port}//广播

       dubbo.registr.address=zookeeper://{ ip}:{ port}//zookeper

       dubbo.registr.address=redis://{ ip}:{ port}//redis

       dubbo.registr.address=dubbo://{ ip}:{ port}//dubbo

       （5）dubbo协议端口号

dubbo.protocol.port=

       （6）jetty工作端口号

dubbo.jetty.port=

       （7）工作目录，用于存放监控中心的数据

dubbo.jetty.directory=${ user.home}/monitor

       （8）监控中心报表存放目录

       dubbo.charts.directory=${ dubbo.jetty.directory}/charts

       （9）监控中心数据资料目录

       dubbo.statistics.directory=${ user.home}/monitor/statistics

       （）监控中心日志文件路径

       dubbo.log4j.file=logs/dubbo-monitor-simple.log

       （）监控中心日志记录级别

       dubbo.log4j.level=WARN

       2、Dubbo提供负载均衡方式

       （1）Random，随机，按权重配置随机概率，调用量越大分布越均匀，默认方式。

       （2）RounRobin，轮询，按权重设置轮询比例，如果存在比较慢的机器容易在这台机器上请求阻塞较多。

       （3）LeastActive，最少活跃调用数，不支持权重，只能根据自动识别的活跃数分配，不能灵活调配。

       （4）ConsistenHash，一致性hash，对相同参数的请求路由到一个服务提供者上，如果有类似灰度发布需求可采用。

       3、Dubbo过滤器

       Dubbo初始化过程加载ClassPath下的META-INF/dubbo/internal/，META-INF/dubbo/，META-INF/services/三个路径下的com.alibaba.dubbo.rpc.Filter文件。文件内容：

Name=FullClassName,c 股票分析系统源码这些类必须实现Filter接口。

       自定义Filter类：

       配置文件在配置过滤器，consumer.xml中：

       Dubbo对过滤器的加载过程：

先加载三个路径下的com.alibaba.dubbo.rpc.Filter文件里面的键值对，key为过滤器名称，value为过滤器的类的全限定名(这个类必须实现Dubbo中的Filter接口)。

自定义的类中@Active注解是过滤器设定的全局基本属性。

Spring在加载consumer.xml文件时，通过dubbo:consumerfilter="xxx"id="xxx"retrries="0"这个配置指定消费者端要加载的过滤器，通过filter属性指定过滤器名称。

       @Activate注解-自动激活，group属性是表示匹配了对应的角色才被加载，value表示表明过滤条件，不写则表示所有条件都会被加载，写了则只有dubboURL中包含该参数名且参数值不为空才被加载，这个参数会以dubbo协议的一个参数K-V对传到Provider。

       4、Dubbo的Provider配置

       5、Dubbo的Consumer配置

       1、Dubbo是什么？

       Dubbo是阿里巴巴开源的基于Java的高性能RPC分布式框架。

       2、为什么使用Dubbo？

       很多公司都在使用，经过很多线上的考验，内部使用了Netty，Zookeeper，保证了高性能可用性。

       使用Dubbo可以将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，可以提高业务复用灵活性扩展，使前端应用能快速的响应对边的市场需求。分布式架构可以承受更大规模的并发流量。

       Dubbo的服务治理图：

       3、Dubbo和SpringCloud的区别

       两个没有关联，但是非要说区别，有如下几点：

       （1）通信方式不同，Dubbo使用RPC通信，SpringCloud使用HTTPRestful方式

       （2）组成部分不同

       4、Dubbo支持的协议

       dubbo://?（推荐）；rmi://；hessian://；.weidian.dubbo.IMyDemo"version="1.0"id="myDemo"url="dubbo://.0.0.1:/"/dubbo:reference

       、Dubbo多协议

       Dubbo允许配置多协议，在不同服务器上支持不同协议，或者同一服务支持多种协议。龙之谷 源码 版本

       、当一个服务有多种实现时怎么做？

       当一个接口有多种是现实，可以用group属性来分组，服务提供方和消费方都指定同一个group即可。

       、兼容旧版本

       使用版本号过度，多个不同版本的服务注册到注册中心，版本号不同的服务相互间不引用。

       、Dubbo可以缓存吗？

       Dubbo提供声明式缓存，用于加速热门数据的访问速度，以减少用户加缓存的工作量。

       、Dubbo服务之间的调用时阻塞的吗？

       默认是同步等待结果阻塞的，支持异步调用。Dubbo是基于NIO的非阻塞实现并行调用的，客户端不需要启动多线程即可完成并行调用多个远程服务，相对多线程开销较小，异步调用会返回一个Future对象。

       、Dubbo不支持分布式事务

       、Dubbo必须依赖的包

       Dubbo必须依赖JDK，其他为可选。

       、Dubbo使用过程中的问题

       Dubbo的设计目的是为了满足高并发小数据量的rpc请求，在大数据量下性能表现不是很好，建议使用rmi或.alibaba.boot/groupId

artifactIddubbo-spring-boot-starter/artifactId

version0.1.0/version

       /dependency

       !----

       dependency

groupIdcom.tec/groupId

artifactIdzkclient/artifactId

version0./version

       /dependency

       （2）配置dubbo

       ##Dubbo服务提供者配置

       spring.dubbo.application.name=provider

       spring.dubbo.registry.address=zookeeper://.0.0.1:

       spring.dubbo.protocol.name=dubbo

       spring.dubbo.protocol.port=

       spring.dubbo.scan=org.spring.springboot.dubbo

       ##Dubbo服务消费者配置

       spring.dubbo.application.name=consumer

       spring.dubbo.registry.address=zookeeper://.0.0.1:

       spring.dubbo.scan=org.spring.springboot.dubbo

Dubbo分布式服务框架介绍

       随着业务的发展、用户量的增长、系统并发访问需求越来越大，系统数量增多，调用依赖关系也变得复杂，为了确保系统高可用、高并发的要求，系统的架构也从单体时代慢慢迁移至服务SOA时代，根据不同服务对系统资源的要求不同，我们可以更合理的配置系统资源，使系统资源利用率最大化。而Dubbo则是SOA服务化治理方案的一个核心框架。

       Dubbo作为阿里巴巴内部的SOA服务化治理方案的核心框架，在年时已经每天为+个服务提供3,弘历指标源码箱体,,+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。Dubbo自年开源后，已被许多肢启知非阿里系公司使用，其中既有当当网、网易考拉等互联网公司，也有中国人寿、青岛海尔等传统企业。

       Dubbo是一个高性能服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案，使得应用可通过高性能RPC实现服务的输出和输入功能，和Spring框架可以无缝集成。

       作为一个分布式服务框架，以及SOA治理方案，Dubbo其功能主要包括：

       Dubbo最大的特点是按照分层架构思维构建应用服务，使用这种方式可以使各个层之间解耦合（或者最大限度地松耦合）。从服务模型的角度来看，Dubbo采用的是一种非常简单的模型，要么是提供方提供服务，要么是消费方消费服务，所以基于这一点可以抽象出服务提供方（Provider）和服务消费方（Consumer）两个角色。

       Dubbo包含远程通讯、服务集群和服务发现与注册三个核心部分。提供透明化的远程方法调用，实现像调用本地方法一样调用远程方法，只需简单配置，没有任何API侵入。同时具备软负载均衡及容错机制，可在内网替代F5等硬件负载均衡器，降低成本，减少单点。可以实现服旁则务自动注册与发现，不再需要写死服务提供方地址，注册中心基于接口名查询服务提供者的IP地址，并且能够平滑添加或删除服务提供者。

       Dubbo服务组件调用关秕说明：

       Dubbo框架设计一共划分了个层，而最上面的Service层是留给实际想要使用Dubbo开发分布式服务的开发者实现业务逻辑的接口层。图中左边淡蓝背景的为服务消费方使用的接口，右边淡绿色背景的为服务提供方使用的接口，位于中轴线上的为历消双方都用到的接口。

       下面，结合Dubbo官方文档，我们分别理解一下框架分层架构中，各个层次的设计要点：

       从上图可以看出，Dubbo对于服务提供方和服务消费方，从框架的层中分别提供了各自需要关心和扩展的接口，构建整个服务生态系统（服务提供方和服务消费方本身就是一个以服务为中心的）。

       根据官方提供的，对于上述各层之间关系的描述，如下所示：

       说说Dubbo的分层？

       从?的范围来说，dubbo分为三层，

       business业务逻辑层由我们?来提供接?和实现还有?些配置信息；

       RPC层就是真正的RPC调?的核?层，封装整个RPC的调?过程、负载均衡、集群容错、代理，

       remoting则是对?络传输协议和数据转换的封装。划分到更细的层?，就是图中的层模式，整个分层依赖由上?下，除开business业务逻辑之外，其他的?层都是SPI机制。

如何更好地学习dubbo源代码

       一、Dubbo整体架构

       1、Dubbo与Spring的整合

       Dubbo在使用上可以做到非常简单，不管是Provider还是Consumer都可以通过Spring的配置文件进行配置，配置完之后，就可以像使用

       springbean一样进行服务暴露和调用了，完全看不到dubbo

       api的存在。这是因为dubbo使用了spring提供的可扩展Schema自定义配置支持。在spring配置文件中，可以像、这样进行配置。

       META-INF下的spring.handlers文件中指定了dubbo的xml解析类：DubboNamespaceHandler。像前面的被解

       析成ServiceConfig，被解析成ReferenceConfig等等。

       2、jdkspi扩展

       由于Dubbo是开源框架，必须要提供很多的可扩展点。Dubbo是通过扩展jdk

       spi机制来实现可扩展的。具体来说，就是在META-INF目录下，放置文件名为接口全称，文件中为key、value键值对，value为具体实现类

       的全类名，key为标志值。由于dubbo使用了url总线的设计，即很多参数通过URL对象来传递，在实际中，具唯睁体要用到哪个值，可以通过url中的参

       数值来指定。

       Dubbo对spi的扩展是通过ExtensionLoader来实现的，查看ExtensionLoader的源码，可以看到Dubbo对jdkspi做了三个方面的扩展：

       （1）jdkspi仅仅通过接口类名获取所有实现，而ExtensionLoader则通过接口类名和key值获取一个实现；

       （2）Adaptive实现，就是生成一个代理类，这样搭燃就可以根据实际调用时的一些参数动态决定要调用的类了。

       （3）自动包装实现，这种实现的类一般是自动激活的，常用于包装类，比如Protocol的两个实现类：ProtocolFilterWrapper、ProtocolListenerWrapper。

       3、url总线设计

       Dubbo为了使得各层解耦，采用了url总线的设计。我们通常的设计会把层与层之间的交互参数做成Model，这样层与层之间沟通成本比较大，扩展起来

       也比较麻烦。因此，Dubbo把各层之间的通信都采用url的形式。比如，注册中心启动时，参数的url为：

       registry://0.0.0.0:?codec=registrytransporter=netty

       这就表示当前是注册中知山虚心，绑定到所有ip，端口是，解析器类型是registry，使用的底层网络通信框架是netty。

       二、Dubbo启动过程

       Dubbo分为注册中心、服务提供者(provider)、服务消费者(consumer)三个部分。

       1、注册中心启动过程

       注册中心的启动过程，主要看两个类：RegistrySynchronizer、RegistryReceiver，两个类的初始化方法都是start。

       RegistrySynchronizer的start方法：

       （1）把所有配置信息load到内存；

       （2）把当前注册中心信息保存到数据库；

       （3）启动5个定时器。

       5个定时器的功能是：

       （1）AutoRedirectTask，自动重定向定时器。默认1小时运行1次。如果当前注册中心的连接数高于平均值的1.2倍，则将多出来的连接数重定向到其他注册中心上，以达到注册中心集群的连接数均衡。

       （2）DirtyCheckTask，脏数据检查定时器。作用是：分别检查缓存provider、数据库provider、缓存consumer、数据库

       consumer的数据，清除脏数据；清理不存活的provider和consumer数据；对于缓存中的存在的provider或consumer而数

       据库不存在，重新注册和订阅。

       （3）ChangedClearTask，changes变更表的定时清理任务。作用是读取changes表，清除过期数据。

       （4）AlivedCheckTask，注册中心存活状态定时检查，会定时更新registries表的expire字段，用以判断注册中心的存活状态。如果有新的注册中心，发送同步消息，将当前所有注册中心的地址通知到所有客户端。

       （5）ChangedCheckTask，变更检查定时器。检查changes表的变更，检查类型包括：参数覆盖变更、路由变更、服务消费者变更、权重变更、负载均衡变更。

       RegistryReceiver的start方法：启动注册中心服务。默认使用netty框架，绑定本机的端口。最后启动服务的过

NameNode高可用模式启动流程详解

       临近农历春节之际，年1月日，时光匆匆，我们即将迎来新的一年。在忙碌的节日间隙，回顾过去，虽有收获也有遗憾，但坚信科技以人为本，信息为人类服务。在新的一年里，我们将继续深入解析Hadoop分布式文件系统HDFS，以一系列专题深入探讨其各个方面。正如俗话所说，“好记性不如烂笔头”，让我们从现在开始，记录和分享我们的学习与理解。

       ：详细拆解NameNode高可用模式启动流程

       ：DataNode启动流程剖析

       ：DfsZKFailoverController服务启动原理探讨

       ：JournalNode服务初始化和启动背后的逻辑

       ：深入理解HDFS高可用、高性能和高可靠的核心原理

       ...以此类推，直至：客户端DFSClient类的底层解析

       我们的讲解将基于HDFS-2.7.5版本，Hadoop-2.7.5是一个相对稳定的基础。HDFS的元数据管理是NameNode的核心任务，它将关键数据存储在内存中以提供高效服务，但为确保数据安全，NameNode会周期性进行CheckPoint，将部分元数据写入FSImage文件。EditLog则记录了两次CheckPoint之间的操作，确保数据绝对安全。在HA with QJM架构下，NameNode启动过程分为两阶段：Standby状态等待DataNode报告和通过ZKFC与Zookeeper交互完成抢锁切换到Active状态。每个阶段都有详细的步骤分析，涉及NameNode和ZKFC的源码细节。

       总结来说，NameNode的启动流程复杂而关键，它首先从FSImage和EditLog中恢复元数据，然后进入Standby状态，通过Zookeeper的协调，最终确定为主节点，确保HDFS的正常服务提供。这个过程确保了数据的持久性和高可用性。

redis的哨兵模式第一次主从切换成功,再次进行主从切换就不

       Redis的failover命令，提供手动触发主从切换功能。此操作尤其在主服务器需要进行维护或升级时尤为重要。通过执行failover命令，可实现主节点与从节点的角色转换。一旦升级完成，执行切回操作恢复原主节点状态。

       基本语法与命令使用范例

       Redis源码版本：6.2.5

       主从切换的核心流程包括：执行failover命令启动切换（设置标记位），接着定期检测从节点的数据同步情况，直至同步完成。同步后，旧主节点与准新主节点建立连接并握手，随后发送psync failover指令，实现准新主节点的角色转换成为新主节点。

       主从切换涉及的关键变量

       深入理解主从切换前，首先要熟悉与切换相关的变量。这些变量在具体场景分析中起到关键作用。

       failover命令处理调用链

       综上所述，从节点完成数据同步的检测调用链是主从切换流程中不可或缺的部分。

       主从切换执行过程

       深入调用链分析，能够全面掌握主从切换的执行过程。

       从节点转变为主节点

       当准新主节点接收到psync failover指令，进行合法性检查（replid一致性），若合法一致，则调用replicationUnsetMaster断开与当前主节点的连接，解除副本状态，从而实现角色转换成为新主节点。