1.Odoo框架源码研读二:ORM框架与日志
2.Thrift入门 | Thrift框架分析(源码角度)
3.Bert4keras开源框架源码解析(一)概述
4.Mirror Networking网络框架源码学习
5.腾讯插件化—Shadow源码
6.JSF源码分析(一)
Odoo框架源码研读二:ORM框架与日志
上一期我们带来了关于Odoo框架源码第一期内容(传动门➡《Odoo框架源码研读一:前后端交互》),框架框架让大家对Odoo整体结构和前后端交互有了更深刻的源码源码了解。
而Odoo在实际开发的分享大多数场景都是基于它的ORM框架进行的,所以本期我们将带来Odoo框架源码的什意思第二期内容——ORM和日志。
一、框架框架ORM
Odoo是源码源码天气时钟源码中文通过Controller控制器,来控制前后台的分享交互。上一期我们详细的什意思介绍了如何让请求顺利到达Controller控制器。
那么当请求到达Controller后,框架框架又如何来实现后端的源码源码业务逻辑呢?这就不得不提到Odoo一个非常强大的类——Environment。
通过_loca属性,分享Environment可以直接管理线程中的什意思environments上下文状态,并且包装了ORM相关四个属性:
而且Environment还提供了Model name和Model之间的框架框架映射,通过self.env[ModelName] 就可以直接调用Model的源码源码API ,非常强大。分享
现在,再回头看Controller中的方法,可以看到,通过request.env[model]可以直接获取对应的Model对象,然后直接调用Model的方法。
Odoo中一切都是基于Model编程。即使是前端的menu、action、view,都是也都有对应 Model,和业务数据无异。
创建一个Model ,然后通过简单的视图配置,那么这个Model对应的CRUD基础功能就已经实现,这些都归功于Odoo对于Model的抽象。
Odoo中的model分为三类:AbstractModel、Model、TransientModel;
继承关系如下图 ⬇
从源码中可以看出AbstractModel 是Model 和TransientModel的父类。而这个三者的区别也主要在_auto、_register、_abstract、_transient这四个属性上。
由此可以AbstractModel是抽象类,不会在数据库创建表,Model和TransientModel 不是抽象类,会在数据库建表,但TransientModel建的是临时表,数据会被系统定期清除,这个可以在系统中设置清除频率。买进主图指标源码
由于这种特性的不同,三个Model的用途也不相同。
TransientModel由于存临时表的特性,多用来做wizard向导视图,存储临时缓存数据;
Model多用于做业务的主要Model,AbstractModel多用来抽象做父类,由于不创建表的特性,有时也会用来做向导视图。
新模块中的Model,根据功能需要去继承这三个类,由于这三个父类中丰富的API方法,新建 Model在创建完字段后,功能就已经基本完善,如果有定制化的逻辑,只需要重写父类的方法就可以了。
Model中的Field不是Python的基础类型,而是继承Odoo封装的Field类。
因此,在Model字段赋值的时候,和基础类型字段不同,会调用Field中的API方法,这是容易踩坑的地方。
二、日志
Odoo的日志是在Python的logging基础模块之上,做了定制化的封装和配置。这部份代码主要在odoo/netsvc.py文件中。
Odoo定义了自己的Filter对象、Formatter对象、以及Handler对象。
1)项目启动的时候,配置管理器configmanager初始化,这个时候会去初始化默认的系统配置,包括日志模块。
2)随后,配置管理器会去加载配置文件odoo.conf中的自定义配置覆盖原先的默认配置。
3)最后,处理完配置加载,Odoo会调用日志初始化代码,根据最终的日志配置去设定相关的logger对象。
上图即为Odoo日志的默认配置。
初始化过程:
通过logging.logging.getLogger(_name_)调用前包层级的logger 对象,logging.logging.getLogger() 则返回root logger对象。
本期关于Odoo的跳空选股公式源码ORM和日志就聊到这里,下一期我们会继续聊一下Odoo的异常和流程引擎,感兴趣的小伙伴记得关注我~
Thrift入门 | Thrift框架分析(源码角度)
深入理解Thrift框架,首先需要掌握其基本概念。Thrift是一个用于跨语言通信的框架,其设计初衷是提高开发效率和简化多语言环境下的服务调用。以下是Thrift框架的核心组成部分及其功能概述。 Thrift框架主要包括两个层:Protocol层和Transport层。Protocol层主要负责数据的序列化和反序列化,而Transport层则负责数据流的传输。Protocol层中包含多种序列化协议,常见的有Compact、Binary、JSON等,它们都继承自TProtocol基类,提供读写抽象操作。 以TBinaryProtocol为例,它是一种基于二进制的序列化协议。序列化过程主要包括以下几个关键步骤:writeMessageBegin:用于序列化message的开始部分,包括thrift版本、message名称和seqid等信息。
writeFieldStop:在所有字段序列化完成后,写入T_STOP标识符,表示序列化结束。
writeI、writeString、writeBinary:分别用于序列化整型、字符串和二进制数据。
在读取操作中,这些write操作的逆操作被执行,以实现反序列化。Protocol层的实现细节主要体现在读写函数的调用和抽象上。 Transport层负责数据的实际传输,它提供了一系列抽象方法,如isOpen、open、close、read和write等,用于管理底层连接的打开、关闭和数据读写。常见的Transport层协议包括TFramedTransport和TSocket。TFramedTransport通过缓冲区管理,实现了数据的分帧传输,而TSocket则基于原始的创建虚拟内存源码socket实现网络通信。 为了进一步提高性能,Transport层可能包含缓存和压缩等功能,以优化数据传输效率。Thrift中,TSocket作为底层传输层,负责与原始socket交互,而TFramedTransport等上层Transport则在TSocket的基础上进行扩展,实现数据的高效传输。 总结,Thrift框架通过其Protocol层和Transport层,实现了跨语言、高效的数据传输。深入理解这些组件及其工作原理,对于开发和优化基于Thrift的分布式系统具有重要意义。Bert4keras开源框架源码解析(一)概述
Bert4keras是苏剑林大佬开源的一个文本预训练框架,相较于谷歌开源的bert源码,它更为简洁,对理解BERT以及相关预训练技术提供了很大的帮助。
源码地址如下:
代码主要分为三个部分,分别在三个文件夹中。
在bert4keras文件夹中,实现了BERT以及相关预训练技术的算法模型架构。examples文件夹则是基于预训练好的语言模型进行的一系列fine-tune实验任务。pretraining文件夹则负责从头预训练语言模型的实现。
整体代码结构清晰,主要分为以下几部分:
backend.py文件主要实现了一些自定义组件,例如各种激活函数。这个部分之所以命名为backend(后端),是因为keras框架基于模块化的高级深度学习开发框架,它并不仅仅依赖于一种底层张量库,而是对各种底层张量库进行高层模块封装,让底层库负责诸如张量积、卷积等操作。例如,底层库可能选择TensorFlow或Theano。
在layers.py文件中,实现了自定义层,如embedding层、多头自注意力层等。
optimizers.py文件则实现了优化器的定义。
snippets.py文件包含了与算法模型无关的辅助函数,例如字符串格式转换、文件读取等。java工具包源码
tokenizers.py文件负责分词器的实现。
而model.py文件则是框架的核心,实现了BERT及相关预训练模型的算法架构。
后续文章将详细解析这些代码文件,期待与大家共同进步。
Mirror Networking网络框架源码学习
在游戏开发领域,特别是多人在线游戏的制作,网络框架的选择与理解至关重要。本文将带领大家了解并学习Mirror网络框架,这是UNET的替代品,帮助开发者更好地掌握Unity项目内容。Mirror提供了强大的网络功能,使得客户端和服务端逻辑集成在同一个系统中。
对于Mirror框架,CMD(Command)和RPC(Remote Procedure Call)是核心功能。CMD允许开发者在客户端和服务端之间传递命令,而RPC则允许远程调用服务端方法,实现异步通信。这些标签用于区分客户端与服务端的代码逻辑。
例如在Examples/Chat中,通过设置一个端作为服务器,其他端连接到localhost作为客户端,可以实现基本的聊天功能。值得注意的是,这个案例中的数据同步机制,尤其是SyncVar的作用,对于理解如何在客户端和服务端之间共享和同步数据至关重要。
SyncVar通过编译后处理和Update驱动同步实现数据的实时同步。在编译后处理阶段,通过SerializeSyncVars初始化所有SyncVar,并在逐帧更新中驱动同步过程,确保数据在客户端和服务端保持一致。
在服务器监听部分,以KcpTransport为例,分为初始化绑定、接收更新数据和业务处理。这一流程展示了如何在服务器端接收和处理网络数据,确保游戏逻辑的正确执行。
为了进一步深入学习,推荐查阅以下资源:
- Unity3D-network网络相关(一)_alayeshi的专栏-CSDN博客
- Unity3D-network网络相关(二)_alayeshi的专栏-CSDN博客
- 交大计算机课程(5):计算机网络
- GitHub - vis2k/Mirror: #1 Open Source Unity Networking Library
- Mirror Documentation
- Unity 使用Mirror框架制作多人游戏
- MirrorNetworking
通过这些资源,开发者可以全面了解Mirror网络框架的使用方法,从而在多人游戏开发中获得更多的灵活性和控制力。
腾讯插件化—Shadow源码
腾讯插件化框架Shadow介绍及源码解析 Shadow是一个由腾讯自主研发的Android插件框架,经过线上亿级用户量的检验,其在插件技术领域展现出不俗的实力。Shadow不仅开源分享了关键代码,还全面分享了上线部署所需的设计方案。 与市面上其他插件框架相比,Shadow在技术特点上主要体现在:支持特性编译与开发环境准备:建议使用最新稳定版本的Android Studio,推荐打开工程并选择sample-app或sample-host模块直接运行,体验不同安装情况下的运行效果。
代码结构清晰:所有代码集中在projects目录下的三个子目录中,sample目录为体验Shadow的最佳环境,详细信息可参考README文档。
插件加载与启动流程解析 插件加载是Shadow框架的核心,从loadPlugin作为起点,通过一系列步骤实现插件的动态加载与启动。包括但不限于:本地启动顺序:重点关注启动流程的第一、二步,回溯整个过程最终调用Plugin Manager的DynamicPluginManager.enter方法。
跨进程调用与Activity加载:调用mDynamicPluginLoader.callApplicationOnCreate方法执行插件加载,之后通过FastPluginManager.convertActivityIntent方法启动Activity。
Activity与Service加载机制 在Activity与Service加载机制上,Shadow采用与Android系统自身一致的实现方式:通过修改ClassLoader的parent属性,插入DexClassLoader实现插件apk的加载与Activity的实例化。具体步骤包括:new一个DexClassLoader加载插件apk,从插件ClassLoader中load指定的插件Activity名字,newInstance之后强转为Activity类型使用。 Shell Activity复用与资源管理 为了解决资源复用与访问问题,Shadow通过代理Activity的方式,通过Intent的参数确定构造哪个Activity,令壳子Activity能够复用,实现资源的隔离管理。此外,对同名View与资源的处理也非常关键,通过自定义类加载器与AOP技术,解决此类问题。 组件调用与优化 对于Service、Content Provider与Broadcast Receiver的调用,Shadow提供了优化方案,如通过ShadowContext启动Service、使用ShadowAcpplication注册静态广播等。 总结与学习建议 本文详细解析了插件化框架Shadow的源码与实现机制,深入探讨了其解决插件加载、Activity启动、资源管理等问题的策略。对于深入理解Android插件化技术,实现高效、稳定的插件化解决方案具有重要参考价值。建议对Android核心技术感兴趣的开发者深入阅读《Android核心技术手册》,了解更多关于插件化、热修复等技术的详细内容。JSF源码分析(一)
在深入分析 JSF 框架的源码时,我们首先关注的是核心的功能模块,以帮助我们理解其工作原理。通常,我们从常见的项目 XML 配置文件入手,这些文件包含了 JSF 框架的基本设置。让我们以地址服务的 jsf-provider.xml 文件为例,进行详细的解析。
在 JSF 的配置文件中,虽然没有直接显示注册中心的内容,但作为自研的高性能 RPC 调用框架,高可用的注册中心是其核心功能之一。因此,我们接下来将探索如何在没有提供注册中心地址的情况下,这些标签是如何完成服务的注册和订阅的。
### 配置解析
首先,我们发现配置文件中自定义的 xsd 文件,通过 NamespaceUri 链接到 jsf.jd.com/schema/jsf/j...。随后,基于 SPI(Service Provider Interface)机制,我们在 META-INF 中找到了定义好的 Spring.handlers 文件和 Spring.schemas 文件,这两个文件分别用于配置解析器和 xsd 文件的具体路径。
进一步地,我们查询了继承自 NamespaceHandlerSupport 或实现 NamespaceHandler 接口的类。在 JSF 框架中,JSFNamespaceHandler 通过继承 NamespaceHandlerSupport 实现了对自定义命名空间的解析功能。NamespaceHandler 的主要作用是解析我们自定义的 JSF 命名空间,通过 BeanDefinitionParser 对特定标签进行处理,完成对 XML 中配置信息的具体处理。
### 服务暴露
最终,通过 JSFBeanDefinitionParser 实现了 org.springframework.beans.factory.xml.BeanDefinitionParser,完成 XML 配置的解析。解析的结果会注册到 BeanDefinitionRegistry 对象中,进而触发 Bean 的初始化过程。最终,ProviderBean 实例监听上下文事件,在容器初始化完毕后,调用 export() 方法进行服务的暴露。
### 服务注册与暴露
服务暴露的实现逻辑集中在 ProviderConfig#doExport 方法中。首先,方法会对配置进行基本校验和拦截。随后,获取所有 RegistryConfig,如果获取不到注册中心地址,将使用默认的注册中心地址:“i.jsf.jd.com”。接着,根据 Provider 配置中的 server 相关信息启动 server,并使用默认序列化方式(如 msgpack)进行服务编码。然后,通过 ServerFactory 初始化并启动 Server,调用 ServerTransportFactory 生成对应的传输层,实现与注册中心的通信。最后,服务注册通过 JSFRegistry 类完成,该类连接注册中心,如果没有可用的中心,则使用本地文件并开启守护线程,使用两个线程池进行心跳检测、重试机制和连接状态监控。至此,服务从配置装配到服务暴露的过程完成。
### 消费者配置与初始化
对于消费者端(jsf-consumer.xml),注册中心地址(如“i.jsf.jd.com”)被配置在其中,而 Provider 的配置则在 jsf-provider.xml 中。配置解析过程与 Provider 类似,最终解析为 ConsumerConfig 和 RegistryConfig。通过 ConsumerBean 类实现 FactoryBean 接口,以便通过 getObject() 方法获取代理对象,完成客户端的初始化。在这个过程中,消费者会根据配置订阅相关的 Provider 服务。核心代码在 ConsumerConfig#refer 方法中,该方法通过调用子类的 subscribe() 方法开始订阅过程,连接 Provider 服务。
### 框架流程概述
综上所述,JSF 框架通过 Provider、Consumer 和注册中心(Registry)之间的协同工作,实现了高效的服务注册、订阅和通信。具体流程包括:
1. **Provider 端**:启动服务向注册中心注册,并根据配置初始化相关组件。
2. **Consumer 端**:首次获取实体信息时,通过 FactoryBean 接口获取代理对象,完成初始化并订阅 Provider 服务。
3. **注册中心**:提供异步通知机制,监控服务状态变化。
4. **服务调用**:直接调用服务方法。
5. **监控与治理**:框架内置监控机制,支持服务治理和降级容灾策略。
了解这一过程对于深入理解 JSF 框架的内部机制至关重要,也为后续的模块分析和系统优化提供了基础。
Springboot之分布式事务框架Seata实现原理源码分析
在SpringBoot环境下的分布式事务框架Seata实现原理涉及到了代理数据源、注册代理Bean以及全局事务拦截器等关键环节。下面我们将逐步解析其核心逻辑。
首先,Seata通过GlobalTransactionScanner来注册项目中所有带有@GlobalTransactional注解的方法类。该扫描器是一个实现了BeanPostProcessor接口的类,它能够在Spring容器初始化时进行后置处理,从而实现全局事务的管理。
GlobalTransactionScanner实际上是一个InstantiationAwareBeanPostProcessor,它在实例化Bean前执行postProcessBeforeInstantiation方法,在实例化后执行postProcessAfterInstantiation方法,并在属性填充时执行postProcessProperties方法。尽管GlobalTransactionScanner类本身并未覆盖这3个方法,但在父类的实现中,这些方法用于处理Bean的实例化和属性设置过程。
关键在于postProcessAfterInitialization方法中实现的wrapIfNecessary方法,该方法在GlobalTransactionScanner类中被重写。当方法执行到existsAnnotation方法判断类方法是否带有@GlobalTransactional注解时,如果存在则创建一个GlobalTransactionalInterceptor作为拦截器处理全局事务。
在创建代理数据源时,Seata通过DataSourceProxy对系统默认数据源进行代理处理。通过shouldSkip方法判断当前bean是否需要被代理,如果bean是SeataProxy的子类且不是DataSource的子类且不在excludes集合中,则进行代理,从而代理当前系统的默认数据源对象。
全局事务拦截器主要负责全局事务的发起、执行和回滚。在执行全局事务的方法被代理时,具体的执行拦截器是GlobalTransactionalInterceptor。该拦截器处理全局事务的逻辑,包括获取全局事务、开始全局事务、执行本地业务、提交本地事务、记录undo log、提交数据更新等步骤。其中,提交本地事务时会向TC(Transaction Coordinator)注册分支并提交本地事务,整个过程确保了分布式事务的一致性。
当全局事务中任何一个分支发生异常时,事务将被回滚。参与全局事务的组件在异常发生时执行特定的回滚逻辑,确保事务一致性。在Seata的实现中,异常处理机制确保了事务的回滚能够正确执行。
Seata还提供了XID(Transaction Identifier)的传递机制,通过RestTemplate和Feign客户端进行服务间的调用,确保分布式系统中各个服务能够共享和处理全局事务。RestTemplate在请求头中放置TX_XID头信息,而Feign客户端通过从调用链中获取Feign.Builder,最终通过SeataHystrixFeignBuilder.builder方法实现XID的传递。
在被调用端(通过Feign调用服务),Seata自动配置会创建数据源代理,使得事务方法执行时能够获取到连接对象,而这些连接对象已经被代理成DataSourceProxy。SeataHandlerInterceptor拦截器对所有请求进行拦截,从Header中获取TX_XID,参与者的XID绑定到上下文中,通过ConnectionProxy获取代理连接对象。在数据库操作中,XID绑定到ConnectionContext,执行SQL语句时通过StatementProxy或PreparedStatementProxy代理连接,从而完成全局事务的处理。
综上所述,Seata通过一系列复杂的逻辑和机制,实现了SpringBoot环境下的分布式事务管理,确保了分布式系统中数据的一致性和可靠性。