皮皮网

1.小米开源数据库中间件Gaea实战
2.mycat 高可用
3.JAVA云HIS医院管理系统源码：可医保对接的码分云HIS运维平台源码 SaaS模式
4.数据资产管理平台体系拆解(4):元数据管理
5.Mycat和MySQL的区别
6.SQL抽象语法树及改写场景应用

小米开源数据库中间件Gaea实战

       本文基于dbaplus社群第期线上分享整理。

       Gaea，码分作为一款MySQL数据库中间件，码分兼容MyCAT核心特性，码分提供读写分离、码分分库分表等功能。码分筹码附图指标源码选择使用Go语言实现，码分考虑到Go语言在编写网络应用方面的码分易用性、可靠性，码分以及公司内部以Go语言生态为主的码分技术体系。

       Gaea实现MySQL协议，码分将自己伪装成一个MySQL服务器，码分应用程序通过MySQL客户端访问Gaea，码分向Gaea发起SQL请求，码分Gaea将请求转发至后端MySQL执行，码分再将响应结果返回给客户端。中间件有助于集中管理用户和数据库配置信息，减轻DBA的运维负担。

       Gaea抽象出namespace、user、slice等概念，其中namespace对应业务，是资源划分的基本单位；user等同于MySQL用户，通过username和password连接至Gaea；slice对应MySQL实例资源，包含主库与从库，实现读写分离；namespace中可包含多个slice，通过制定路由规则实现分库分表。

       Gaea配置信息管理由Proxy、CC（中控服务）与Web（管理控制台）三部分组成。Proxy负责MySQL流量接入，CC通过管理接口与Proxy交互进行配置管理和下发。Web提供可视化管理界面，用于DBA管理配置信息和开发工程师查看。配置数据存储在etcd中，Gaea CC与Proxy通过etcd进行交互。

       Gaea主要功能包括快速使用、连接安装与配置、启动Proxy、发送请求、查看监控等。使用简单，源码编译需go 1.，使用go module管理依赖。启动Proxy需配置文件，包括监听端口、日志路径等。发送请求时，使用用户名和密码连接Gaea，执行SQL操作。Gaea提供监控指标，包括SQL请求指标与机器层面指标，方便问题排查与监控。

       Gaea整体架构包含协议解析、会话管理、防泄漏软件源码SQL解析、路由调度与SQL执行等模块。支持MySQL文本协议与二进制prepare协议，SQL执行使用TiDB解析器，配置热加载实现在线修改配置，无需重启。

       性能测试显示，在点查询场景下，Gaea Proxy性能比MyCAT高约%左右。Gaea项目已开源，地址为github.com/XiaoMi/Gaea，欢迎试用、贡献代码与提供反馈。

mycat 高可用

       mycat 高可用

       mycat 可通过 zookeeper 集群进行配置文件管理。

       1.1 搭建 zookeeper 集群

       此处不做 zookeeper集群搭建讲解

       1.2 配置mycat支持zookeeper

       修改 mycat conf 目录下myid.properties

       loadZk=true # zk集群地址，多个用","隔开 zkURL=..3.:,..3.:,..3.: # zk集群内Mycat集群ID clusterId=mycat-cluster-1 # Mycat集群内本实例ID，禁止重复 myid=mycat_fz_ # Mycat集群内节点个数 clusterSize=3 #集群内所有节点的 id clusterNodes=mycat_fz_,mycat_fz_,mycat_fz_ #server booster ; booster install on db same server,will reset all minCon to 1 type=server boosterDataHosts=dataHost1

       1.3 自定义配置

       将需要修改的配置文件替换到 conf 目录中的 zkconf 目录下,只需要在一台机器修改即可,需要注意 conf目录中的 server.xml 中用户名和密码与 zkconf 中的不一致

       1.4 上传配置

       执行修改了配置文件的 mycat 下的bin 目录下的initzkdata.sh,上传配置文件,(在修改了配置文件的机器上执行)

       ./initzkdata.sh

       1.5 启动所有 mycat

       启动后发现其他 mycat conf 下的配置文件已经自动变化为修改的内容,是zookeeper 中下载的

       2. 使用的是 lvs+keepalived 的方式

       此处使用的是 lvs+keepalived 的方式实现mycat高可用负载均衡集群

       2.1 配置环境

       角色 主机IP 主机名 操作系统版本 软件版本

       VIP ..3.

       LVS-DR-Master ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       LVS-DR-Backup ..3. keepalived CentOS6.9 Keepalived v1.2.，LVS 1.2.1

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       mycat-Realserver ..3. mycat CentOS6.9 mycat v1.6.5

       2.2 安装keepalived和ipvsadm

       注意：ipvsadm并不是lvs，它只是lvs的配置工具。在 CentOS1.1 的内核版本中是默认支持的。因此，这里不需要重新安装。使用 yum 的安装方式，分别在 keepalived 和 keepalived 两台主机上安装 keepalived 和 ipvsadm。除了这种简易方式外，也可直接编译官方的源码包。安装步骤可参考文档。

       2.3 配置Keepalived

       2.3.1 master

       vi /etc/keepalived/keepalived.conf

       配置详细内容如下，注意优先级、状态、接口、虚拟IP地址、负载调度算法、服务器节点配置、检查间隔、会话保持时间、协议类型等参数设置。

       2.3.2 backup

       备份机配置与主机一致，除了优先级和状态修改外。

       在配置文件中，特别需要注意的是interface的修改，根据实际情况进行相应的修改。

       2.4 安装配置 mycat

       安装mycat请参考相关文档。

       2.4.1 绑定虚拟 vip

       在mycat服务器上为lo:0绑定VIP地址、抑制ARP广播。

       执行脚本./realserver.sh start在mycat和mycat、mycat三台主机上。

       2.4.2 查看

       运行 ifconfig 查看结果。

       2.5 启动 keeplive

       分别在keepalived和keepalived上启动Keepalived服务。

       2.5.1 查看

       通过ipvsadm -L 查看映射。

       2.5.2 测试

       通过一台装有 mysql的机器连接虚拟 ip 发现可以登录数据库。

       2.5.3 查看转发

       再次在 keepalived 的砍柴网整站源码机器执行ipvsadm -L,发现被转到上面一次。

       2.5.4 负载均衡方式

       与配置相关，多次都指向一个机器，因为我们在 keepalived 的配置文件中persistence_timeout属性指定为，则代表秒内同一个机器来的请求会被 hash 一致性分配。如果想实现严格意义上面的轮询，修改为0即可。

JAVA云HIS医院管理系统源码：可医保对接的云HIS运维平台源码 SaaS模式

       云HIS是专门为中小型医疗健康机构设计的云端诊所服务平台，提供内部管理、临床辅助决策、体检、客户管理、健康管理等全面解决方案。系统集成了多个大系统和子模块，助力诊所和家庭医生在销售、管理和服务等方面提升效率。

       基于SaaS模式的Java版云HIS系统，在公立二甲医院应用三年，经过多轮优化，运行稳定、功能丰富，界面布局合理，操作简单。

       系统融合B/S版电子病历系统，支持电子病历四级，拥有自主知识产权。

       技术细节方面，前端采用Angular+Nginx，后台使用Java+Spring、SpringBoot、SpringMVC、SpringSecurity、MyBatisPlus等技术。数据库为MySQL + MyCat，缓存为Redis+J2Cache，消息队列采用RabbitMQ，任务调度中心为XxlJob。接口技术包括RESTful API、WebSocket和WebService，报表组件为itext、POI和ureport2，数据库监控组件为Canal。

       云HIS系统对接医保流程包括准备阶段、技术对接阶段、业务协同阶段和后续维护与优化阶段。在准备阶段，需了解医保政策和要求，准备系统环境。在技术对接阶段，确定接口规范，开发医保接口，并进行测试和验证。在业务协同阶段，实现业务流程对接和数据同步。分发下载源码在后续维护与优化阶段，监控与故障处理，政策更新与适配，安全与保密工作。

       云HIS系统具有成本节约、高效运维、安全可靠和政策支持等优势，为医疗机构提供便捷、高效的医保服务。无论是大型三甲医院、连锁医疗集团还是中小型医疗机构，云HIS都是实现高效低成本云计算的最佳选择。

数据资产管理平台体系拆解(4):元数据管理

       阅读本文需要分钟，以数据之名，践资产之行。

       1、以数据之名 简介

       2、元数据的基本概念

       2.1 抽象概念

       元数据，简单来说就是描述数据的数据。元数据无处不在，换言之有数据存在，就有其对应元数据。完整、准确的元数据存在，有助于更好地理解数据本体，充分挖掘数据的价值。

       单存的从概念来讲，确实比较抽象，我们对元数据的理解还是很模糊。那么让我们先看一段简历达人"张三"的个人简历。

       这份简历中的"电话"、"工作经验"、"年龄"、"邮箱"、"教育背景"等对于张三本人的关键描述信息，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。这样引用论证的方式，是不是让我们对元数据的概念一瞬间立体起来啦。

       2.2 具体概念

       对于企业应用的具体概念，元数据是企业所使用的物理数据、业务流程、数据结构等有关的信息，描述了数据（如数据库、数据模型）、概念（如业务流程、应用系统、技术架构）以及它们之间的关系。

       元数据管理是对数据采集、存储、加工和展现等数据全生命周期的描述信息，帮助用户理解数据关系和相关属性。

       3、苹果编辑app源码元数据的价值

       通过元数据管理，形成整个系统信息数据资产的精准视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。

       元数据是企业数据资产的基础应用字典和操作指南，元数据管理有利于统一数据口径、标明数据方位、分析数据关系、管理数据变更，为企业级的数据治理提供支持，是企业实现数据自服务、推动企业数据化运营的可行路线。

       4、元数据分类

       4.1 业务元数据

       4.2 管理元数据

       4.3 技术元数据

       描述对象存储的元数据，也是通常"狭义"上的元数据，包括几大类：

       描述离线或实时ETL任务数据计算过程的元数据。

       描述数据质量的一类元数据。

       描述数据是如何进行使用的一类元数据。

       描述系统运维层面的元数据，通常包括以下几类。

       描述数据存储及计算成本的元数据。

       描述数据标准化内容的元数据。

       描述数据安全内容的元数据。

       描述数据是如何共享的部分，通常使用以下几种方式：

       5、元数据管理办法

       5.1 关键活动

       5.2 管理流程

       我们可以采用角色与组织联动，制定一套标准化元数据管理流程体系，贯穿于整个数据采集、管理分析与数据服务端到端的实施过程，来完善整体的元数据管理体系。

       6、元数据管理功能

       6.1 元数据采集

       元数据管理平台通过不同的数据采集适配器，能支持从不同的数据源中采集从生产业务系统、数据中转系统、数据应用系统等端到端应用链路的数据流转过程的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑元数据。同时还能制定采集任务定时采集，减少人工操作的IT成本。

       6.2 元数据访问

       元数据访问服务是元数据管理软件提供的元数据访问的接口服务，一般支持Http、文件、接口库等对接形式。通过元数据访问服务支持企业元数据的共享，是企业数据治理的基础。

       6.3 元数据管理

       实现元数据的模型定义并存储，在功能层包装成各类元数据功能，最终对外提供应用及展现；提供元数据分类和建模、血缘关系和影响分析，方便数据的跟踪和回溯。

       6.4 元数据分析

       元数据的应用一般包括数据地图、数据血缘分析、关联性分析、影响分析、全链分析等，分析出元数据的来龙去脉，快速识别元数据的价值，掌握元数据变更可能造成的影响，以便更有效的评估变化带来的风险，从而帮助用户高效准确的对数据资产进行清理、维护与使用。

       7、元数据管理功能架构

       备注：权限管理中心，走平台统一鉴权SSO

       8、元数据血缘解析

       8.1 血缘解析引擎构建

       基于数据资产开发平台作为开发统一入口的前提，构建元数据血缘引擎服务体系。引擎体系：SQL、Kettle 、Xml、Excel、Interface、Service、Workflow 、Datax等任务体系：DMP（Datax任务、SQL任务、Shell任务、报表任务、监控任务）、KMP（Kettle任务）、DMS（接口和服务）、BMP（工作流和调度器）等目标方向：基于血缘解析引擎解析落地元数据，提供可视化的标准ETL任务元数据血缘查询服务，以及KMP/DMP/BMP三大平台任务关联性和影响性分析服务。

       8.2 血缘解析引擎机制

       基于DMP数据管理开发平台，快速实施个性化报表开发的端到端流程图，其中任务开发、血缘查询和血缘确认环节为开发人员手动实施流程，其余环节为平台系统自动化实施流程，具体如下图所示：

       9、元数据功能预览

       9.1 血缘分析

       9.2 影响分析

       9.3 全链分析

       9.4 关联度分析

       9.5 元数据全文检索

       、数据平台文章集锦

       数据资产管理平台体系拆解(1):“平台概述”

       数据资产管理平台体系拆解(2):“系统分解”

       数据资产管理平台体系拆解(3):“数据模型”

       MySQL死磕到底系列第一篇“围城之困”

       MySQL死磕到底系列第二篇“破冰之旅”

       MySQL死磕到底系列第三篇“踏浪之途”

       MySQL死磕到底系列第四篇“刨根之程”

       MyCAT来生续缘第三篇

       无Hive，不数仓

       基于Hive+HBase双引擎完善数据仓库更新机制

       基于TiDB构建高性能综合数据服务平台

       基于Kettle快速构建基础数据仓库平台

       金融数据仓库之分层命名规范

       一入数据深似海，集市仓库湖中台

       湖不湖实战系列之Hudi构建湖仓一体架构

       湖不湖实战系列之Hudi源码编译

       湖不湖实战系列之Spark2部署升级

       湖不湖实战系列之Spark2构建HDFS到Hudi通路

       湖不湖实战系列之Spark2构建Hive到Hudi通路

       BI选型哪家强，以数据之名挑大梁

       数仓小白快速成长为技术专家视频资料集合

       小编心声 虽小编一己之力微弱，但读者众星之光璀璨。小编敞开心扉之门，还望倾囊赐教原创之文，期待之心满于胸怀，感激之情溢于言表。一句话，欢迎联系小编投稿您的原创文章！ 让我们携手成为技术专家

       参考资料

       [1] 元数据分类参考1: baijiahao.baidu.com/s?...

       [2] 元数据分类参考2: baijiahao.baidu.com/s?...

       [3] 数据资产白皮书5.0:中国信通院

       [4] Markdown模板: product.mdnice.com/arti...

Mycat和MySQL的区别

       Mycat和MySQL的区别：

       å¯ä»¥æŠŠä¸Šå±‚看作是对下层的抽象，例如操作系统是对各类计算机硬件的抽象。那么我们什么时候需要抽象？假如只有一种硬件的时候，我们需要开发一个操作系统吗？

       å†æ¯”如一个项目只需要一个人完成的时候不需要leader，但是当需要几十人完成时，就应该有一个管理者，发挥沟通协调等作用，而这个管理者对于他的上层来说就是对项目组的抽象。

       åŒæ ·çš„，当我们的应用只需要一台数据库服务器的时候我们并不需要Mycat，而如果你需要分库甚至分表，这时候应用要面对很多个数据库的时候，这个时候就需要对数据库层做一个抽象，来管理这些数据库，而最上面的应用只需要面对一个数据库层的抽象或者说数据库中间件就好了，这就是Mycat的核心作用。

       æ‰€ä»¥å¯ä»¥è¿™æ ·ç†è§£ï¼šæ•°æ®åº“是对底层存储文件的抽象，而Mycat是对数据库的抽象。

SQL抽象语法树及改写场景应用

       我们日常编写SQL语句，提交后获取结果集。例如，"select * from t_user where user_id > ;"，目标是从t_user表中筛选出user_id大于的所有记录。这条SQL经历了什么才能生成结果集呢？

       不同数据库如MySQL、Oracle、TiDB、CK，乃至大数据计算引擎Hive、HBase、Spark，通过SQL引擎实现接受SQL并返回结果的功能。SQL引擎的核心执行逻辑大致为：词法分析、语法分析、查询优化、生成逻辑计划、物理计划，最后执行。

       词法分析和语法分析引出了抽象语法树（AST）的概念。AST是对源代码语法结构的抽象表示，以树状形式展现，每个节点代表源码中的一种结构。SQL提交给SQL引擎后，首先经过词法分析，然后利用语法解析器生成AST。

       以"select username,ismale from userInfo where age> and level>5 and 1=1"为例，抽象语法树简单理解为逻辑执行计划，经过查询优化器优化，得到逻辑计划树，实现谓词下推、剪枝等操作。逻辑计划进一步转换为物理计划，如数据扫描、聚合，最后执行。

       ANTLR4工具广泛应用于解析SQL，通过构建G4文件描述语法，实现SQL拆解、封装和内容提取。在Java中，利用ANTLR4解析SQL，获取AST并提取表名。AST解析过程复杂，但通过简单字符串解析理解ANTLR4逻辑，有助于深入理解SQL解析。

       在工业应用中，利用ANTLR4生成并解析AST，虽然提供了基础解析能力，但更深入处理通常需要进一步自定义操作。在Java生态中，Apache Sharding Sphere、Mycat等流行SQL解析工具实现了这一需求。

       获取AST后，可以实现SQL的改写。改写SQL通常涉及添加占位符、正则匹配关键字，这些方法存在局限性和安全风险。基于AST的改写更安全，通过遍历树结构，调整目标节点，实现语法符合的改写。

       利用Druid的SQL解析模块，通过SQLUtils类实现SQL改写，包括新增改写和查询改写。改写过程涉及识别SQL语法结构，如join、sub-query等。

       在数据库数据隔离上，实现动态SQL改写，开发人员无需感知，通过在数据表上增加字段和环境标识，CRUD SQL自动增加标识字段（如flag='预发'、flag='生产'），操作数据仅限于当前应用环境。

云HIS医院管理系统源码，SaaS模式+Java云HIS系统融合B/S版开箱即用

       云HIS医院管理系统源码，SaaS模式+Java云HIS系统融合B/S版开箱即用

       一、云HIS系统简介

       基于SaaS服务的Java版云HIS系统，适用于公立二甲医院，历经三年持续优化，系统稳定、功能全面，界面布局合理、操作简便。采用云端服务形式，用户通过浏览器即可访问，无需关注系统部署、维护、升级等问题。系统采用模板化、配置化、智能化、扩展化设计，覆盖基层医疗机构主要工作流程，与监管系统对接有序，满足未来扩展需求，是基层医院所需的健康云产品。支持病患预约挂号、问诊、电子病历、开药发药、会员管理、统计查询、医生工作站、护士工作站等常规功能，并能与公卫、PACS、HIS等外部系统融合，实现多层机构间的融合管理。

       二、云HIS总体框架

       技术选型包括前后端分离模式，前端选用原生HTML、JS、CSS、Jquery、BootStrap、layui等技术，后端采用SpringBoot框架、Mybatis-Plus、WebSocket、Stomp、Vintage-Engine、Thymeleaf等技术，数据库使用MySQL。系统架构采用Angular+Nginx+ Java+Spring，SpringBoot+ MySQL + MyCat。

       三、云HIS系统亮点

       1. 融合B/S版电子病历系统，支持四级电子病历，拥有自主知识产权。

       2. 全系统云部署，一套系统支持多家医院共用。

       3. 适用于二级医院、基层医疗机构，可作为区域HIS使用，扩展后可用于医联体/医共体。

       4. 提供独立SaaS模式运维管理系统，支持远程运维，运维功能丰富、便捷。

       5. 前后端分离架构，前端用Angular、JavaScript开发，后端使用Java。

       6. 遵循服务化、模块化原则开发，具有强大扩展性，二次开发简便快捷。

       7. 提供全面开发文档和产品文档，助力快速熟悉源码，售后服务完善。

       四、云HIS系统功能模块

       包含系统管理、电子病历、门诊管理、门诊医生工作站、住院管理、住院医生管理、护士工作站、药房管理、药库管理、统计分析、财务管理、病案管理、就诊卡管理、项目收费查询、病历质控、医保结算接口等功能。

       云HIS分为综合管理和业务系统两大模块，综合管理系统面向运营商、开发商和监管机构，提供运营管理、运维管理和综合监管服务；业务系统面向基层医院，支撑医院各类业务运转。

       常规模版包括门诊管理、住院管理、药房管理、药库管理、院长查询、电子处方、物资管理、媒体管理等，为医院管理提供有力支持。HIS系统以财务信息、病人信息和物资信息为主线，通过收集、存储、传递、统计、分析、查询、报表输出和信息共享，为医院领导及各部门管理人员提供全面、准确的数据服务。