1.什么是消费消费零代码应用开发平台
2.有哪些快速开发平台或者零代码开发平台
3.PolarDB-X 源码解读(七):私有协议连接的一生(CN篇)
什么是零代码应用开发平台
尽管市场上也把建站、网店开发、排队排队小程序开发等免代码服务也称为零代码开发,分红分红但因为这些平台面向的源码源码是特定的目的,服务一个专有的消费消费范式,所以一般不将他们划入零代码平台的排队排队抢号 源码范畴之内。真正的分红分红零代码开发平台面向的是广泛和多样的需求,在设计aPaaS产品的源码源码时候,并不确定一个特定的消费消费用户会用它来搭建什么应用。当然,排队排队虽说面向的分红分红需求是广泛的,也不代表aPaaS是源码源码万能的。零代码开发几乎都是消费消费面向企业应用世界,而很难扩展到消费者应用领域,排队排队比如游戏、分红分红社交、工具软件等必然长期属于原生开发的世界。
所以,零代码应用开发平台需要一个比较准确的定义。它是指围绕企业数据和业务管理需求,通过可视化方式设计数据结构,用户交互形式、设置访问权限和定义工作流程的平台。你会发现,即使是原生开发企业软件,大体也是按照以上这几个步骤来进行的。
我用一个相对完整的列表,将零代码开发平台的能力元素和特性描述如下:
1)可视化构筑业务对象数据表(Entity),并支持建立关联。甚至需要支持跨应用的数据表关联。(这是aPaaS未来可能胜出其他方案的关键优势)。
2)为不同的数据场景配置不同类型的视图(View),能够定义数据行和列的过滤,能够设置列表、看板、日历等不同界面形式。
明道云构筑的销售应用数据视图
3)能够定义不同用户角色(Role),并赋予角色不同的数据访问和改写权限(PermissionSet)。权限定义越精细越好。
明道云构筑用户角色和权限组合的界面
4)能够建立针对数据的汇总表和统计图表(Report)
5)能够建立自定义的输入表单(Form),分发给不同角色使用。
6)能够建立自定义的打印报表(FormReport),用于输出各类形式表格,通过Email,短信发送或者打印。
7)能够管理企业用户、部门、组织结构,并将其用于应用逻辑关系,比如应用的分发,角色的赋予和工作流中的流向信息。
8)能够可视化配置工作流(Workflow),支持特定条件下的数据新增,改写,删除等操作,并能够融入数据填写,审批等人工流程节点。工作流的运行能够监控和保存日志。
明道云构筑审批工作流的界面
9)应用能够封装后分发()给不同的用户。
)面向企业内部个人用户的工作台,仪表台等特性,实现个性化使用。
不同的aPaaS产品会有不同的特色和侧重点。所以以上特性并不一定存在于每一个aPaaS产品中。但是,特性越完整的,就越接近一个典型意义上的零代码企业应用开发平台。在以上实现中,有纯粹的零代码模式,也有个别需要用低代码方式来降低产品复杂度,但同时也会让非技术人员难以上手。
所以,aPaaS是SaaS应用和开发工具的混合,说它是SaaS,是因为开发者和终端用户使用的是同一个产品,只是通过权限和分发关系让界面千人千面。说它是开发工具,是因为它用模型模拟的应用搭建思路和原生数据库应用开发是类似的。
软件的应用特点和二次开发能力共存也不是一个新鲜事物。用Excel软件构筑一个个人所得税计算器,让用户可以输入自己的工资,即可得到应缴税额,对于使用者来说是应用,对编制这个Excel文件的人来说是开发工具,但他们用的都是Excel。
为什么企业软件领域可以实现零代码开发?
为什么游戏和社交软件做不到零代码开发,而企业软件市场却出现了零代码工具?是因为企业软件的开发比较简单吗?
当然不是。能够模式化完成一个工作的原因在于这项工作具备可重复性,就像我们会用3D打印制作一两件零件,但如果要生产成千上万个同样的零件,我们宁可花费成本先去制作模具。企业软件可以模式化开发的原因就在于大多数企业管理软件都由非常类似的需求和实现方式来构成,如果不积极利用这些相似性和模型化方法就需要不断重复发明类似的轮子。
当然也并非所有的企业应用都有相似性。在特定行业和职能中总有一些需要专门化设计和开发的应用。但在企业的运营全流程中,围绕客户,供应商,销售订单,产品,供应商,采购订单,制造流程,服务流程等商业对象,企业软件要解决的问题具有很强的相似性。这些相似性,或者使用范式可以被概括为以下环节:
1)围绕上述商业对象(BusinessObjects)的数据搜集和存储,并对数据的有效性进行验证。例如:建立一个采购订单,向特定供应商采购三项商品。
2)数据的移动流量生成源码查询和呈现。例如:运营部门查询处A仓库在今天应该到货的采购订单。财务部门查询货物已经收讫,并且应该在本周付款的采购订单。
3)数据的计算。例如:当采购订单的货物到达特定仓库后,更新相关商品的库存信息。
4)流程的控制。例如:当起草采购订单并准备发出时,根据采购的类别和金额发起不同的审核流程,在审核通过或者拒绝后执行不同的流程内容。
5)信息通知。例如:在采购订单批准后,自动生成采购单并发送给供应商,并通知仓库准备收货。
6)数据的统计和分析。例如:汇总过去一年的采购订单中按照BOM清单的产品金额分布,或者按照供应商的分布。
企业软件的设计和开发人员对以上这些使用范式都非常熟悉,它们经常出现在各种企业软件的开发需求中。实际上,除了以上抽象出的范式,企业软件的其他独特功能点并不太多了,甚至很多属于所有企业级软件共有的模块,比如管理用户和用户组,权限角色等。正是因为这个原因,企业软件的开发存在高度模型化的可能,从而在大部分场景下,摆脱对原生代码开发的依赖。
在云时代之前,除了Aess以外,苹果公司也有FileMaker,Intuit公司也曾经开发过Quickbase(这个名字来源于Intuit公司财务软件产品Quicken),Quickbase后来被剥离,一直到今天都在提供服务。即使在原生开发领域内,企业软件市场也出现了各种现成的开发框架,它们和今天的零代码平台一样,都是为了通过模型化来提高交付效率和质量的办法。
为每个企业的软件需求,都从第一行代码开始写起,单独依靠某种高级语言和集成开发环境建立开发项目,这种做法已经越来越没有必要。正如Gartner的预测,大部分的企业应用将来都会依赖零代码平台,以至于不远的将来,零代码平台并不会刻意保留这个前缀,因为这将成为天经地义的事情,这就像今天为了满足一个通用需求,大多数企业不会去定制开发,甚至零代码平台都不会用,而是直接使用一个标准的SaaS产品。
为什么aPaaS具有难以替代的优势?
用户开始选择aPaaS产品,不仅仅是因为他们可以这样做,更重要的是因为不得不这样做。因为aPaaS与定制开发,以及标准SaaS产品相比有几个难以替代的优势。
1)满足企业的多样化需求
企业软件需求的多样化是定制开发模式的起源。虽然标准SaaS产品能够满足企业应用需求中的共性部分,但是因为行业、规模和产品内在特性的差异,每个企业的管理方式和流程都有自己的特点,而且它还会根据企业的规模阶段不断演变。这种差异在不同职能中程度不一,一般来说,围绕产品设计、制造和服务履行的核心业务流差异度更高,而人事,财务等价值创造的支持环节差异度比较小。
在这种背景下,用户始终在寻求一种既能保持足够的灵活性,又能够控制开发的成本和复杂度的方法。aPaaS基本就是直接针对这个问题而诞生的。
2)从定制开发中需求沟通的痛苦中解脱
企业软件实现过程中的第一痛点还不是贵,而是需求沟通的复杂。有业务需求的人不是开发软件的人,能够开发软件的人对业务痛点并没有切身的体会和经验。于是行业非常依赖专业的企业软件需求分析和实现方法设计能力,但这个能力是非常稀缺的资源。这也难怪企业软件开发需求的提出主体总是五花八门的,他们之间也需要进行复杂的沟通和信息汇总。
更要命的是,很多时候需求在实施之前都无法%确定,企业自己无法提出一个完整的解决方案。这时候,要么需要求助于咨询机构这样的外脑,要么就只能走一步看一步。这两个方案听起来都不令人舒适。前者绝非普通中小企业所能够承受,后者可能会影响系统的开发和实施质量。
aPaaS的出现倒是让走一步看一步的方案变得更加现实。企业可以通过零代码平台渐进地开始实施。如果整个系统过于复杂,可以先从一个具体的环节开始,局部数字化(比如先把订单管起来)。反正用aPaaS搭建的速度足够快,用户甚至可以利用零代码工具来生成企业应用原型,在实际使用中进行验证,确认了终端用户可以掌握,原先识别的问题可以被有效解决之后,再继续推进更完整的实施。
可以这么说,零代码工具可以让开发者和使用者之间的距离充分缩短。在极端情况下,使用者甚至可以自己就是搭建开发者自己。他们可能在一两个小时的搭建后就能够确认这个方案是不是能够有效地解决问题。
3)在企业内部打通数据中台的需求
在企业IT中,还有一个致命痛点存在,那就是不同业务系统之间的数据相互隔离,不能综合使用,python编程平台源码使得企业难以进行跨职能的数据相关性和因果分析,也难以实现跨职能的数据自动化。比如要分析一个价格调整措施对财务报表的影响,这个工作在任何一个孤立的信息系统中是无法完成的,而如果要做到,就至少需要从采购,销售,营销和财务系统中获得数据。同样的道理,企业也很难在遇到财务目标无法达成的情况下,自动做出最优的价格决策。这些都是影响企业运营水平至关重要的问题。近年来,Gartner提出的PacedLayer架构,以及阿里给电商企业提供的中台方案就是针对这种需求的反馈。
大企业当然可以投入专门的资金来打造数据中台性质的系统,但小企业支付不起,并不代表他们不想获得这样的能力。aPaaS平台提供了这个可能性。
首先,因为aPaaS平台管理数据的模型一致,所以它一般能够提供一个标准化程度非常高的编程接口,从外部系统汇合数据变得相对容易很多,这就像路由器一样,不管你有多少联网设备,它们都可以用统一的协议连接在一起。有了集中的数据,各种应用需求都变得容易兑现。哪怕个别系统依然需要通过抽取数据服务后另行原生开发,也比不断重复做数据整合工作要高效很多倍。
甚至,如果用aPaaS平台直接管理业务数据对象,这个数据整合工作都可以免除。用户可以直接在各个职能相关的数据对象中建立关联,建立汇总查询,批量抽取数据到BI平台,建立不同数据之间的自动化。
有关企业数字中台的介绍,建议可以读一下这篇采访文章。
4)突出的成本和效率优势
零代码开发平台和原生代码开发相比到底能够提高多少效率目前还没有精确的计量,但这个效率差至少是倍以上。传统开发模式需要天的,aPaaS一天之内就能够搞定。
更重要的效率差别不仅仅是时间,还包括零代码平台可以免除专业技术人员的参与。虽然它要求搭建者熟悉业务,完成基本的逻辑梳理,但毕竟这和动辄需要和好几位技术人员一起开会沟通需求要高效得多。即便在复杂的应用系统上,也至多只需要2-3人分工就能够完成整个项目的实现。因为简化协作的原因带来的成本节省甚至都不值十倍了。因为所有人都知道找到靠谱的定制软件开发团队几乎就是一件撞大运的事情。
同时,定制开发通常很难提供高品质的软件。软件运行的可靠性,缺陷消除的程度都很难和标准化产品相比,毕竟定制软件只有一个用户。而一个aPaaS平台不仅要同时服务很多终端用户,还要服务五花八门的应用搭建者,它能够做到一次对,次次对;一次缺陷消除,所有用户收益的效果。
5)开箱即用和自己动手的两全
和成型的SaaS应用相比,aPaaS看似有一个缺点,就是依然需要“搭建”。这有点像整体家具系统,摆在样品间很好看,但是实际买回家还需要施工人员来拼装才能达到预期的效果。
实际上,这个问题并不是无解,甚至很好解。aPaaS一开始自然不可能获得各个行业的最佳实践,让每个企业都能够看到“样板间”效果。但是,随着时间的推移,用户企业和集成商的参与,样板间会越来越多,甚至比SaaS产品提供的用例方案更加强大,因为后者提供的是一个固定家具的摆设效果,而前者能够根据不同的房型,提供不同的家具组合方案。
而且,在足够明确的细分市场下(比如金属加工制造流程管理这样的颗粒度),可以在aPaaS平台上开发出完全开箱即用的应用,直接分发给不同企业使用。有了这个能力,aPaaS不仅能够服务好终端用户,还能够催生集成商工作模式的变革,他们不仅可以通过出售IT服务挣钱,还能够在服务中加入解决方案的价值,消除定制开发成本,大幅提高项目服务毛利。
有了开箱即用的能力后,就能够大大加速企业采纳的意愿。而且,才采纳以后,“自己动手”的能力依然存在。就像先进的整体家居系统不仅可以组合,而且可以重新组合。企业软件的适用模式永远和企业阶段有关,比如小型制造业并不见得需要质量管理单元,但当年产值突破一亿元左右后,不仅面临ISO认证的刚性需求,也内在地需要引入全面质量管理。这样的企业可以在软件实施后依照实际需要继续调整、改进和增加软件模块。这个过程同样是低成本和高效率的。
6)平台特征提供的计算能力保证
在数据库应用中,有一个潜在的计算性能问题,尤其是等距时间周期源码在大规模数据表中进行复杂查询和联动计算时。如今,很多行业的企业数据规模都从数千数万条记录增长到百万,千万,甚至电商厂商轻而易举可以达到亿级数据。在制造和物流行业,物联网技术也必然带动更多的联网对象,产生的数据不仅规模巨大,而且计算形式也需要有针对性地加强。
对于定制实施系统来说,要分别通过分布式数据库,流式计算等先进技术来克服性能问题是一件极其昂贵的事情。aPaaS平台虽然为用户提供的是一个应用级的产品,但因为它范式统一,就有机会将这些基础计算隐藏起来,让用户不必关心这些后台事务就能够获得高性能的计算服务。通过aPaaS平台管理的数据表无论规模有多大,读写有多么频繁,实时查询的要求有多高,总有一个计算框架可以胜任。这种平台的扩展性让客户可以真正放心,aPaaS带来的不仅仅是开发效率的提升,还包括一个伸缩自如的基础设施服务。即便企业将来的业务规模成长百倍,也不会需要彻底重建IT系统。实际上,年收入数百亿美元的业务,背后驱动的IT平台极有可能就是Salesforce的force平台搭建的应用,而不需要是独立建立的应用系统。
正是因为以上这些优势,aPaaS在没有得到行业命名之前就已经开始逐步渗透到企业IT服务领域。在最近几年正在悄悄替代大量的定制实施软件项目,也让原先依靠标准SaaS产品的企业找到了新的选择。
aPaaS目前适合什么样的企业?
aPaaS虽然拥有巨大的优势,但也不代表它能够满足所有行业和企业的所有IT需求。下面列出了一些常见的排除项。aPaaS方案对这些性质的需求吸引力不强。
1)行业有明显的专有特征
有些行业本身的专有化程度很高,而且企业之间的差异性不大,这时候垂直的行业应用可能更加合理。
围绕这个特征最典型的例子就是餐饮业和酒店业。所有餐饮业的运营逻辑都是类似的,除了单店和连锁可能使用不同复杂度的方案以外,应用模块都大同小异。而且,这个行业解决问题的方法和范式是有明显的行业特征的,比如餐厅的排队等座系统,点单结账系统等。用零代码工具来构建如此专有的场景反而更加麻烦,而且无法有效提供有行业特色的视图。
2)行业有独立的代码审计要求
金融等行业的核心业务系统因为法规等要求不能使用零代码平台,因为它无法满足代码审计的要求。aPaaS平台不一定能够提供源代码给用户企业,而且即使提供,也无法佐证应用系统处理数据的准确性。这些行业因为监管要求高,本身资金也宽裕,所以不会应用aPaaS方案在核心业务环节。
3)面向顾客的前台系统
这个当然就是指的电商网店平台了。虽然电商零售的基本数据管理和aPaaS的能力并无太大的距离,但是面向消费者的前台系统一般要求更高的灵活性和营销设施的配套,用零代码平台创建不如直接使用专门的电商系统,比如有赞、微盟等开店方案。它们提供的不仅仅是店面功能,还包括围绕顾客的营销服务和支付平台,这些是aPaaS所不擅长的领域。
除此之外的大部分企业IT需求,零代码平台都有足够的优势来胜任。而且,随着软件和服务的界限越来越模糊,很难说未来的aPaaS不能扩展它的领地。企业软件的本质就是生产力工具,aPaaS的核心精神就是围绕企业的数字化运营提供高生产力选项。
在用户渗透的过程中,当前阶段的零代码平台更多满足的还不是普通企业的需求,而是那些有一定的自建IT能力的企业。他们一般拥有若干名信息化专员,能够理解自己企业的核心业务流程和问题,能够和业务部门展开有效的沟通。除了终端企业用户外,行业咨询群体和ISV群体也开始更多关注零代码工具,因为行业咨询者永远都希望拥有属于自己的落地工具集,而他们很难投入做出自己高质量的原生软件产品;而ISV群体则常年面临项目实施成本高,客户需求差异度大的痛点,希望通过某种平台来降低开发服务成本,沉淀自己的方案能力,从而让项目实施具备更多的可复制特点。行业咨询、管理咨询和ISV群体对零代码平台的掌握最终会让这个门类的解决方案走入更多的主流企业用户。
有哪些快速开发平台或者零代码开发平台
什么是零代码应用开发平台尽管市场上也把建站、网店开发、小程序开发等免代码服务也称为零代码开发,但因为这些平台面向的是特定的目的,服务一个专有的范式,所以一般不将他们划入零代码平台的范畴之内。真正的零代码开发平台面向的是广泛和多样的需求,在设计aPaaS产品的时候,并不确定一个特定的用户会用它来搭建什么应用。
当然,虽说面向的需求是广泛的,也不代表aPaaS是万能的。零代码开发几乎都是面向企业应用世界,而很难扩展到消费者应用领域,比如游戏、社交、工具软件等必然长期属于原生开发的世界。
所以,零代码应用开发平台需要一个比较准确的定义。它是指围绕企业数据和业务管理需求,通过可视化方式设计数据结构,源码怎么变网址用户交互形式、设置访问权限和定义工作流程的平台。你会发现,即使是原生开发企业软件,大体也是按照以上这几个步骤来进行的。
我用一个相对完整的列表,将零代码开发平台的能力元素和特性描述如下:
1)可视化构筑业务对象数据表(Entity),并支持建立关联。甚至需要支持跨应用的数据表关联。(这是aPaaS未来可能胜出其他方案的关键优势)。
2)为不同的数据场景配置不同类型的视图(View),能够定义数据行和列的过滤,能够设置列表、看板、日历等不同界面形式。
明道云构筑的销售应用数据视图
3)能够定义不同用户角色(Role),并赋予角色不同的数据访问和改写权限(PermissionSet)。权限定义越精细越好。
明道云构筑用户角色和权限组合的界面
4)能够建立针对数据的汇总表和统计图表(Report)
5)能够建立自定义的输入表单(Form),分发给不同角色使用。
6)能够建立自定义的打印报表(FormReport),用于输出各类形式表格,通过Email,短信发送或者打印。
7)能够管理企业用户、部门、组织结构,并将其用于应用逻辑关系,比如应用的分发,角色的赋予和工作流中的流向信息。
8)能够可视化配置工作流(Workflow),支持特定条件下的数据新增,改写,删除等操作,并能够融入数据填写,审批等人工流程节点。工作流的运行能够监控和保存日志。
明道云构筑审批工作流的界面
9)应用能够封装后分发(Distribution)给不同的用户。
)面向企业内部个人用户的工作台,仪表台等特性,实现个性化使用。
不同的aPaaS产品会有不同的特色和侧重点。所以以上特性并不一定存在于每一个aPaaS产品中。但是,特性越完整的,就越接近一个典型意义上的零代码企业应用开发平台。在以上实现中,有纯粹的零代码模式,也有个别需要用低代码方式来降低产品复杂度,但同时也会让非技术人员难以上手。
所以,aPaaS是SaaS应用和开发工具的混合,说它是SaaS,是因为开发者和终端用户使用的是同一个产品,只是通过权限和分发关系让界面千人千面。说它是开发工具,是因为它用模型模拟的应用搭建思路和原生数据库应用开发是类似的。
软件的应用特点和二次开发能力共存也不是一个新鲜事物。用Excel软件构筑一个个人所得税计算器,让用户可以输入自己的工资,即可得到应缴税额,对于使用者来说是应用,对编制这个Excel文件的人来说是开发工具,但他们用的都是Excel。
为什么企业软件领域可以实现零代码开发
为什么游戏和社交软件做不到零代码开发,而企业软件市场却出现了零代码工具是因为企业软件的开发比较简单吗
当然不是。能够模式化完成一个工作的原因在于这项工作具备可重复性,就像我们会用3D打印制作一两件零件,但如果要生产成千上万个同样的零件,我们宁可花费成本先去制作模具。企业软件可以模式化开发的原因就在于大多数企业管理软件都由非常类似的需求和实现方式来构成,如果不积极利用这些相似性和模型化方法就需要不断重复发明类似的轮子。
当然也并非所有的企业应用都有相似性。在特定行业和职能中总有一些需要专门化设计和开发的应用。但在企业的运营全流程中,围绕客户,供应商,销售订单,产品,供应商,采购订单,制造流程,服务流程等商业对象,企业软件要解决的问题具有很强的相似性。这些相似性,或者使用范式可以被概括为以下环节:
1)围绕上述商业对象(BusinessObjects)的数据搜集和存储,并对数据的有效性进行验证。例如:建立一个采购订单,向特定供应商采购三项商品。
2)数据的查询和呈现。例如:运营部门查询处A仓库在今天应该到货的采购订单。财务部门查询货物已经收讫,并且应该在本周付款的采购订单。
3)数据的计算。例如:当采购订单的货物到达特定仓库后,更新相关商品的库存信息。
4)流程的控制。例如:当起草采购订单并准备发出时,根据采购的类别和金额发起不同的审核流程,在审核通过或者拒绝后执行不同的流程内容。
5)信息通知。例如:在采购订单批准后,自动生成采购单并发送给供应商,并通知仓库准备收货。
6)数据的统计和分析。例如:汇总过去一年的采购订单中按照BOM清单的产品金额分布,或者按照供应商的分布。
企业软件的设计和开发人员对以上这些使用范式都非常熟悉,它们经常出现在各种企业软件的开发需求中。实际上,除了以上抽象出的范式,企业软件的其他独特功能点并不太多了,甚至很多属于所有企业级软件共有的模块,比如管理用户和用户组,权限角色等。正是因为这个原因,企业软件的开发存在高度模型化的可能,从而在大部分场景下,摆脱对原生代码开发的依赖。
在云时代之前,除了Access以外,苹果公司也有FileMaker,Intuit公司也曾经开发过Quickbase(这个名字来源于Intuit公司财务软件产品Quicken),Quickbase后来被剥离,一直到今天都在提供服务。即使在原生开发领域内,企业软件市场也出现了各种现成的开发框架,它们和今天的零代码平台一样,都是为了通过模型化来提高交付效率和质量的办法。
为每个企业的软件需求,都从第一行代码开始写起,单独依靠某种高级语言和集成开发环境建立开发项目,这种做法已经越来越没有必要。正如Gartner的预测,大部分的企业应用将来都会依赖零代码平台,以至于不远的将来,零代码平台并不会刻意保留这个前缀,因为这将成为天经地义的事情,这就像今天为了满足一个通用需求,大多数企业不会去定制开发,甚至零代码平台都不会用,而是直接使用一个标准的SaaS产品。
为什么aPaaS具有难以替代的优势
用户开始选择aPaaS产品,不仅仅是因为他们可以这样做,更重要的是因为不得不这样做。因为aPaaS与定制开发,以及标准SaaS产品相比有几个难以替代的优势。
1)满足企业的多样化需求
企业软件需求的多样化是定制开发模式的起源。虽然标准SaaS产品能够满足企业应用需求中的共性部分,但是因为行业、规模和产品内在特性的差异,每个企业的管理方式和流程都有自己的特点,而且它还会根据企业的规模阶段不断演变。这种差异在不同职能中程度不一,一般来说,围绕产品设计、制造和服务履行的核心业务流差异度更高,而人事,财务等价值创造的支持环节差异度比较小。
在这种背景下,用户始终在寻求一种既能保持足够的灵活性,又能够控制开发的成本和复杂度的方法。aPaaS基本就是直接针对这个问题而诞生的。
2)从定制开发中需求沟通的痛苦中解脱
企业软件实现过程中的第一痛点还不是贵,而是需求沟通的复杂。有业务需求的人不是开发软件的人,能够开发软件的人对业务痛点并没有切身的体会和经验。于是行业非常依赖专业的企业软件需求分析和实现方法设计能力,但这个能力是非常稀缺的资源。这也难怪企业软件开发需求的提出主体总是五花八门的,他们之间也需要进行复杂的沟通和信息汇总。
更要命的是,很多时候需求在实施之前都无法%确定,企业自己无法提出一个完整的解决方案。这时候,要么需要求助于咨询机构这样的外脑,要么就只能走一步看一步。这两个方案听起来都不令人舒适。前者绝非普通中小企业所能够承受,后者可能会影响系统的开发和实施质量。
aPaaS的出现倒是让走一步看一步的方案变得更加现实。企业可以通过零代码平台渐进地开始实施。如果整个系统过于复杂,可以先从一个具体的环节开始,局部数字化(比如先把订单管起来)。反正用aPaaS搭建的速度足够快,用户甚至可以利用零代码工具来生成企业应用原型,在实际使用中进行验证,确认了终端用户可以掌握,原先识别的问题可以被有效解决之后,再继续推进更完整的实施。
可以这么说,零代码工具可以让开发者和使用者之间的距离充分缩短。在极端情况下,使用者甚至可以自己就是搭建开发者自己。他们可能在一两个小时的搭建后就能够确认这个方案是不是能够有效地解决问题。
3)在企业内部打通数据中台的需求
在企业IT中,还有一个致命痛点存在,那就是不同业务系统之间的数据相互隔离,不能综合使用,使得企业难以进行跨职能的数据相关性和因果分析,也难以实现跨职能的数据自动化。比如要分析一个价格调整措施对财务报表的影响,这个工作在任何一个孤立的信息系统中是无法完成的,而如果要做到,就至少需要从采购,销售,营销和财务系统中获得数据。同样的道理,企业也很难在遇到财务目标无法达成的情况下,自动做出最优的价格决策。这些都是影响企业运营水平至关重要的问题。近年来,Gartner提出的PacedLayer架构,以及阿里给电商企业提供的中台方案就是针对这种需求的反馈。
大企业当然可以投入专门的资金来打造数据中台性质的系统,但小企业支付不起,并不代表他们不想获得这样的能力。aPaaS平台提供了这个可能性。
首先,因为aPaaS平台管理数据的模型一致,所以它一般能够提供一个标准化程度非常高的编程接口,从外部系统汇合数据变得相对容易很多,这就像路由器一样,不管你有多少联网设备,它们都可以用统一的协议连接在一起。有了集中的数据,各种应用需求都变得容易兑现。哪怕个别系统依然需要通过抽取数据服务后另行原生开发,也比不断重复做数据整合工作要高效很多倍。
甚至,如果用aPaaS平台直接管理业务数据对象,这个数据整合工作都可以免除。用户可以直接在各个职能相关的数据对象中建立关联,建立汇总查询,批量抽取数据到BI平台,建立不同数据之间的自动化。
有关企业数字中台的介绍,建议可以读一下这篇采访文章。
4)突出的成本和效率优势
零代码开发平台和原生代码开发相比到底能够提高多少效率目前还没有精确的计量,但这个效率差至少是倍以上。传统开发模式需要天的,aPaaS一天之内就能够搞定。
更重要的效率差别不仅仅是时间,还包括零代码平台可以免除专业技术人员的参与。虽然它要求搭建者熟悉业务,完成基本的逻辑梳理,但毕竟这和动辄需要和好几位技术人员一起开会沟通需求要高效得多。即便在复杂的应用系统上,也至多只需要2-3人分工就能够完成整个项目的实现。因为简化协作的原因带来的成本节省甚至都不值十倍了。因为所有人都知道找到靠谱的定制软件开发团队几乎就是一件撞大运的事情。
同时,定制开发通常很难提供高品质的软件。软件运行的可靠性,缺陷消除的程度都很难和标准化产品相比,毕竟定制软件只有一个用户。而一个aPaaS平台不仅要同时服务很多终端用户,还要服务五花八门的应用搭建者,它能够做到一次对,次次对;一次缺陷消除,所有用户收益的效果。
5)开箱即用和自己动手的两全
和成型的SaaS应用相比,aPaaS看似有一个缺点,就是依然需要“搭建”。这有点像整体家具系统,摆在样品间很好看,但是实际买回家还需要施工人员来拼装才能达到预期的效果。
实际上,这个问题并不是无解,甚至很好解。aPaaS一开始自然不可能获得各个行业的最佳实践,让每个企业都能够看到“样板间”效果。但是,随着时间的推移,用户企业和集成商的参与,样板间会越来越多,甚至比SaaS产品提供的用例方案更加强大,因为后者提供的是一个固定家具的摆设效果,而前者能够根据不同的房型,提供不同的家具组合方案。
而且,在足够明确的细分市场下(比如金属加工制造流程管理这样的颗粒度),可以在aPaaS平台上开发出完全开箱即用的应用,直接分发给不同企业使用。有了这个能力,aPaaS不仅能够服务好终端用户,还能够催生集成商工作模式的变革,他们不仅可以通过出售IT服务挣钱,还能够在服务中加入解决方案的价值,消除定制开发成本,大幅提高项目服务毛利。
有了开箱即用的能力后,就能够大大加速企业采纳的意愿。而且,才采纳以后,“自己动手”的能力依然存在。就像先进的整体家居系统不仅可以组合,而且可以重新组合。企业软件的适用模式永远和企业阶段有关,比如小型制造业并不见得需要质量管理单元,但当年产值突破一亿元左右后,不仅面临ISO认证的刚性需求,也内在地需要引入全面质量管理。这样的企业可以在软件实施后依照实际需要继续调整、改进和增加软件模块。这个过程同样是低成本和高效率的。
6)平台特征提供的计算能力保证
对于定制实施系统来说,要分别通过分布式数据库,流式计算等先进技术来克服性能问题是一件极其昂贵的事情。aPaaS平台虽然为用户提供的是一个应用级的产品,但因为它范式统一,就有机会将这些基础计算隐藏起来,让用户不必关心这些后台事务就能够获得高性能的计算服务。通过aPaaS平台管理的数据表无论规模有多大,读写有多么频繁,实时查询的要求有多高,总有一个计算框架可以胜任。这种平台的扩展性让客户可以真正放心,aPaaS带来的不仅仅是开发效率的提升,还包括一个伸缩自如的基础设施服务。即便企业将来的业务规模成长百倍,也不会需要彻底重建IT系统。实际上,年收入数百亿美元的业务,背后驱动的IT平台极有可能就是Salesforce的平台搭建的应用,而不需要是独立建立的应用系统。
正是因为以上这些优势,aPaaS在没有得到行业命名之前就已经开始逐步渗透到企业IT服务领域。在最近几年正在悄悄替代大量的定制实施软件项目,也让原先依靠标准SaaS产品的企业找到了新的选择。
aPaaS目前适合什么样的企业
aPaaS虽然拥有巨大的优势,但也不代表它能够满足所有行业和企业的所有IT需求。下面列出了一些常见的排除项。aPaaS方案对这些性质的需求吸引力不强。
1)行业有明显的专有特征
有些行业本身的专有化程度很高,而且企业之间的差异性不大,这时候垂直的行业应用可能更加合理。
围绕这个特征最典型的例子就是餐饮业和酒店业。所有餐饮业的运营逻辑都是类似的,除了单店和连锁可能使用不同复杂度的方案以外,应用模块都大同小异。而且,这个行业解决问题的方法和范式是有明显的行业特征的,比如餐厅的排队等座系统,点单结账系统等。用零代码工具来构建如此专有的场景反而更加麻烦,而且无法有效提供有行业特色的视图。
2)行业有独立的代码审计要求
金融等行业的核心业务系统因为法规等要求不能使用零代码平台,因为它无法满足代码审计的要求。aPaaS平台不一定能够提供源代码给用户企业,而且即使提供,也无法佐证应用系统处理数据的准确性。这些行业因为监管要求高,本身资金也宽裕,所以不会应用aPaaS方案在核心业务环节。
3)面向顾客的前台系统
这个当然就是指的电商网店平台了。虽然电商零售的基本数据管理和aPaaS的能力并无太大的距离,但是面向消费者的前台系统一般要求更高的灵活性和营销设施的配套,用零代码平台创建不如直接使用专门的电商系统,比如有赞、微盟等开店方案。它们提供的不仅仅是店面功能,还包括围绕顾客的营销服务和支付平台,这些是aPaaS所不擅长的领域。
除此之外的大部分企业IT需求,零代码平台都有足够的优势来胜任。而且,随着软件和服务的界限越来越模糊,很难说未来的aPaaS不能扩展它的领地。企业软件的本质就是生产力工具,aPaaS的核心精神就是围绕企业的数字化运营提供高生产力选项。
读完这段,如果你对零代码平台有兴趣,明道云提供直接的使用体验,你可以自助注册试用。
PolarDB-X 源码解读(七):私有协议连接的一生(CN篇)
通过前文的介绍,大家基本了解了一条SQL在polardbx-sql中的解析和执行流程。由于polardbx-sql是无状态的计算节点,真正数据需要从存储节点传输到计算节点,这部分工作由私有协议完成。本文将详细介绍从发送请求到存储节点,接收返回数据的完整流程,重点在于私有协议连接的生命周期和关键代码解析。
概述
为了提高数据节点本地计算能力,同时减少网络数据传输量,计算节点会尽可能下推计算内容。一个逻辑表可能需要多个物理分片,因此计算节点与存储节点的请求会话数量会随着分片数增加而增加。传统MySQL协议+连接池架构已不能满足PolarDB-X的需求,因此私有协议在这一需求场景下应运而生。
如图所示,私有协议采用连接与会话分离的RPC协议设计理念,支持多个会话在同一个TCP通道中并行运行,具备流控机制、全双工响应式工作模式和高吞吐、可扩展等特性。
更多关于私有协议解决上述问题的设计详情,可以参考《PolarDB-X私有协议设计》一文。本文主要从代码层面详细描述私有协议的工作流程。
我们将从计算节点和存储节点两个角度完整解析私有协议连接的生命周期。篇幅限制,本文仅关注计算节点上私有协议的处理,存储节点部分将在后续文章中详细说明。
计算节点
计算节点作为私有协议的客户端,负责发送下推请求,并接收返回的数据。
网络层框架
PolarDB-X私有协议网络层采用定制化Reactor框架实现,基于Java的NIO,改进自polardbx-sql中的Reactor框架。网络层初始化时,设置CPU核心数的2倍(上限为)作为NIOProcessor,每个Reactor使用独立的堆外内存池作为收发包缓冲,总缓冲内存大小限制为堆内存大小的%。
NIO接收的包直接调用注册的处理函数,发送数据仅写入send buf,网络写入由单独线程完成。线程优先写入TCP send buf,当无法写入时,注册OP_WRITE事件等待可写后再写入剩余内容。
数据包的编码和解码在NIOClient中实现。为实现最佳性能,解包流程直接在堆外内存上进行,使用protobuf对流直接解析,将结果放入堆内。堆外内存被切分为KB chunk,每个Reactor独占一个chunk,连续解析和复用,最大化接收、解析效率。对于特大包,额外构造堆内大buffer接收和解析,回退标志在定时任务中重置,连续s无超大包时释放堆内内存,恢复高性能堆外KB buffer接收。
请求发送集成在NIOClient中,writer优先尝试写入发送缓冲队列尾部的buffer,不足时新申请buffer填充并追加到队尾。buffer来自预分配的堆外缓冲池,超过chunk大小时分配堆内buf进行序列化。
同时,NIOClient负责TCP连接的建立和断开资源释放,作为独立的底层网络资源管理实现。
连接及会话
网络层之后,我们聚焦连接与会话分离的具体实现。通过剥离连接及收发包的具体实现,连接和会话的管理变得更加清晰简洁。
首先,一个TCP连接的逻辑抽象结构在XClient中实现,为避免误解,取名为client与JDBC中的Connection区别。该类管理TCP连接和并行运行的会话,负责TCP完整生命周期的管理、认证鉴权,并维护公共信息。其中,workingSessionMap记录了连接上并行运行的所有会话映射关系,可快速通过会话ID找到对应的会话抽象结构XSession。
XSession提供了所有会话相关的请求函数和信息存储,包括执行计划请求、SQL查询请求、SQL更新请求、TSO请求、会话变量处理、数据包处理及异步唤醒等。
连接池及全局单例管理器
为了提高性能,TCP连接和会话的复用必不可少。由于连接和会话的解绑,连接池不仅缓存了到计算节点的TCP连接,也缓存了到计算节点的会话。
XClientPool管理到一个存储节点的连接池,通过IP,端口,用户名三元组唯一确定目标存储节点,同时存储该节点的全部TCP连接(XClient)和建立的会话(XSession)。
XClientPool实现存储节点会话获取,对应JDBC接口中的getConnection,同时实现连接和会话生命周期管理、连接探活、会话预分配等功能。实现单个存储节点连接池后,XConnectionManager维护目标存储节点三元组到实例连接池的映射,管理定时任务线程池,实现定时探活、会话&连接最长生命控制以及连接池预热等功能。
JDBC兼容层
新的SQL协议层对上层使用者要求较高,为了提高开发效率,私有协议提供兼容JDBC的使用方法,实现从JDBC平滑切换至私有协议,并支持协议热切换。
JDBC兼容层代码目录在compatible目录下,Connection继承在XConnection文件中。提供包括DataSource、Connection、Statement、PreparedStatement、ResultSet、ResultSetMetaData在内的大部分常用接口函数实现,不支持的函数会明确抛出异常避免误用。
整体关系
至此,私有协议计算节点端的大部分结构已说明完成。给出一个整体的关系图。
私有协议连接的一生(CN视角)
了解了私有协议各层实现后,我们以发到存储节点的请求为例,完整梳理执行流程。绕开计算节点复杂流程,直接运行代码示例(注:需将com.alibaba.polardbx.rpc.XConfig#GALAXY_X_PROTOCOL设置为true)。
直接运行playground看到预期的select 1的结果。接下来,我们深入跟踪说明。
数据源初始化
要使用私有协议,需要初始化对应存储节点的XDataSource。构造过程中,XDataSource会到XConnectionManager注册新的实例连接池,已存在的连接池引用计数加一。
获取Connection
当需要执行查询时,首先获取会话。无论是显式开启事务还是使用auto commit事务,会话都是执行请求的最小上下文。通过XDataSource的getConnection方法获取到对应存储节点的会话。XDataSource根据存储的IP,端口,用户名三元组查找到XConnectionManager中的连接池,在最高并发检查后,会话获取逻辑在XClientPool实现。首先尝试在空闲会话池中拿会话,通过重置检查和初始化后返回给调用者。大部分场景下,ConcurrentLinkedQueue提供较好的并发性能。
在代码场景下,数据源刚新建,后台定时任务未运行,流程进入连接创建流程。会有一把大锁锁住连接池,在TCP连接未达上限且没有超时的情况下,快速新建一个XClient占坑。若超限,则进入busy waiting循环。真正的TCP connect(waitChannel)在锁外被调用,首先client以阻塞模式带超时方式connect,然后切换为非阻塞模式,round robin策略注册到NIOProcesser上,返回时,TCP连接已建立。
为了兼顾安全和性能,连接鉴权在TCP建连后只用做一次,会话创建不需要鉴权。鉴权在initClient中完成,发送SESS_AUTHENTICATE_START_VALUE包,后续校验由回调完成。认证采用标准的MySQL认证流程,server端返回challenge值,库名、用户名和加盐hash后的密码返回给MySQL即可完成认证。
至此,到存储节点的TCP连接已建立,创建会话是一个异步流程。在创建新XClient时,XConnection已new好,通过下断点跟进去可看到newXSession流程,分配session id,设置状态为init,将XSession绑定到XConnection上。
最后,XConnection经过初始化(重置auto commit状态)、重置默认DB、默认字符集(lazy操作)和统计信息记录,返回给用户使用。
发送查询请求
拿到初始化好的兼容JDBC的Connection,为了简化流程,直接调用XConnection中的execQuery。XConnection的execQuery包装了XSession的execQuery,执行前执行了设置流式模式。
首先记录调用信息进行统计,进入关键的initForRequest流程。XSession初始化流程lazy,仅分配session id,设置状态为Init,真正创建session时发送SESS_NEW给server,绑定新session和session id。如果session已复用,则状态为Ready。
执行字符集更改的lazy操作,session可能在其他请求中切换字符集,根据目标字符集和当前字符集对比,决定是否发送额外的字符集更改请求。
经过一系列变量设置、lazy DB设置和protobuf包构造,请求发送到存储节点执行。发送后,同步生成XResult负责结果解析,同时XResult按照请求顺序依次拉链表,确保结果与请求一一对应。
请求流水线结构如下图所示,处理完成前序请求后,才能解析后续结果。
接收结果集
请求已发送到存储节点执行,拿到XResult,通过XResult收集查询结果集。XResult与发送请求一一对应,存储节点处理也是在会话上排队进行,不会影响流水线上其他请求的返回,保证流水线正常工作。
首先,查看结果集处理的状态机,主要状态包括获取元数据、获取数据行、获取额外信息等,顺序固定,根据请求类型,部分环节可能被省略。报错处理贯穿整个状态机,任何报错信息都会导致状态机进入错误处理环节。
对于非流式数据读取,请求结束时主动调用finishBlockMode将所有数据读出并缓存到rows中。对于流式执行的情况,结果集状态机消费数据包队列由XResult的next函数推动,内部函数internalFetchOneObject递归调用前序XResult,消费前序请求结果,从数据包队列中消费并推动状态机流转。
对于查询,首先收到RESULTSET_COLUMN_META_DATA包,表示返回数据列定义,一个包表示一列。元数据包后,收到包含数据行的RESULTSET_ROW包,一个包对应一行。数据行传输完成后,server端发送RESULTSET_FETCH_DONE标示数据发送完成。请求结束前,NOTICE包用于告知客户端rows affected等信息。最后,SQL_STMT_EXECUTE_OK包标示请求结束。
至此,完整请求处理完成,控制台应显示查询结果。
总结
本文详细描述了私有协议连接流程中的关键点和关键数据结构,相信通过本文描述,大家掌握了私有协议连接流程的基本点,在调试和修改使用中能够更加得心应手。虽然本文篇幅较长,但实际使用中涉及更多高级特性的使用,如多请求流水线、流控、执行计划传输、chunk结果集传输等。通过本文,我们对私有协议连接流程有了深入理解,为在实际场景中应用提供坚实基础。