皮皮网

1.go语言适合做什么项目(go语言适合做什么项目工作)
2.15 位新兴开源项目背后的明星创始人
3.GitLab在CockroachDB和YugabyteDB上的兼容性对比（二）-读写场景测试
4.cockroachDB分布式事务优化：事务管道与并行提交
5.CockroachDB: 弹性、地理分布式SQL 数据库

go语言适合做什么项目(go语言适合做什么项目工作)

       go语言适合做什么

       Go语言主要用作服务器端开发。

       其定位是用来开发“大型软件”的，适合于需要很多程序员一起开发，并且开发周期较长的大型软件和支持云计算的网络服务。

       Go语言融合了传统编译型语言的新手怎么选源码高效性和脚本语言的易用性和富于表达性，不仅提高了项目的开发速度，而且后期维护起来也非常轻松。

       编译器

       当前有两个Go编译器分支，分别为官方编译器gc和gccgo。官方编译器在初期使用C写成，后用Go重写从而实现自举。Gccgo是一个使用标准GCC作为后端的Go编译器。

       官方编译器支持跨平台编译（但不支持CGO），允许将源代码编译为可在目标系统、架构上执行的二进制文件。

       go语言之所以能成为我国最火的语言，是因为编写服务端高并发程序的优势。我大中华区但凡pv，日活高点的网站，应用，谁没点这个需求。

       这个领域中最优的几个:golang,erlang,rust。日常生活中人类社交是当今社会上的必然性，人们也伴随着科技时代的发展，智能电子产品的使用中也必然少不了语言输入，文字的编辑，语言转换的便利都均可来源于go语音输入法。

go是什么编程语言？主要应用于哪些方面？

       Go语言由Google公司开发，并于年开源，相比Java/Python/C等语言，Go尤其擅长并发编程，性能堪比C语言，开发效率肩比Python，wsock32.dll 源码被誉为“世纪的C语言”。

       Go语言在云计算、大数据、微服务、高并发领域应用应用非常广泛。BAT大厂正在把Go作为新项目开发的首选语言。

       Go语言能干什么?

       1、服务端开发：以前你使用C或者C++做的那些事情，用Go来做很合适，例如日志处理、文件系统、监控系统等;

       2、DevOps：运维生态中的Docker、K8s、prometheus、grafana、open-falcon等都是使用Go语言开发;

       3、网络编程：大量优秀的Web框架如Echo、Gin、Iris、beego等，而且Go内置的net/mit阶段，当SQL发出“commit”指令时，系统检查事务记录，若无“abort”状态，则将其标记为“commit”；cleanup阶段，根据事务记录，系统异步清理已完成事务的write intent。

       在深入探讨优化策略之前，我们需要了解事务执行“慢”的原因。简化模型中，不考虑从存储读写的延迟时间，延迟模型计算了客户端从输入SQL到收到回应的202行樱花飘落源码总延迟：L_txn = L_prep + L_commit，其中L_commit的代价为提交阶段的RPC网络开销，而L_prep则由读和写请求的数量决定。由于CockroachDB的读操作直接从leaseholder（可视为raft leader）本地读取，因此L_r接近于零，简化后的延迟模型为L_txn = R * L_r + W * L_w。由于分布式共识是同步操作，L_prep与写操作的数量成线性关系。

       为优化这一过程，CockroachDB引入了事务管道（Transactional Pipelining）机制，这是一种异步共识的实现方式。在没有事务管道之前，一个put的kv操作需要先在range的leaseholder上获取锁存器，然后进行raft共识写入write intent，待共识成功后返回。事务管道机制则允许put发送给raft状态机后直接返回，通过异步方式完成共识过程。此机制仅适用于不关注返回结果的语句，确保在commit之前所有异步共识都成功即可。

       事务管道的一大挑战是高效证明写意图已成功写入。CockroachDB在put操作返回后，后台启动gorouting异步验证写意图。理想情况下，验证过程应在commit之前结束，否则commit请求将同步验证，确保在commit之前所有写操作都成功复制。然而，实现这一目标并非易事，若在每个写操作返回后立即启动验证协程，可能导致资源耗尽；若只有一个验证协程，则速度会减慢。此外，如果commit请求在写操作后立即发出，会导致同步验证已完成的qq名片赞iapp源码写操作，造成无效且冗余的操作。目前，CockroachDB官方尚未提供完整解决方案，持续关注此问题的进展。

       另一优化策略是“Read your write”原则，该原则指事务中的读依赖之前的写操作，管道机制无法保证之前写操作已成功共识。因此，在事务协调者阶段需记录所有需要确认的写操作，称为inflight-write，当存在依赖读时需要等待write intent成功写入。尽管这导致了管道之前的同步等待，但这是必要的。

       并行提交是CockroachDB在commit阶段的优化策略，旨在减少RPC延迟时间。在引入事务管道优化的基础上，我们分析了传统的两阶段提交（2PC）延迟模型，并提出并行提交策略。2PC至少需要两轮分布式共识后返回客户端提交成功，而并行提交策略则将commit阶段的功能前置至prepare阶段与写请求并行执行，将两轮共识减少为一轮。

       并行提交引入了staging状态，表示prepare和committed/abort之间的中间状态。当事务协调者发现有commit请求时，会并行发送EndTxn请求，将事务记录置为staging状态，同时包含所有未确认的inflight-write，等待所有inflight-write成功写入后，EndTxn成功返回，客户端接收到提交成功信息。随后，后台进程异步将staging状态改为committed。

       staging状态的接放单平台源码设计巧妙之处在于记录了所有未确认的inflight-write（由于事务管道异步确认write intent，此集合不会过大），如果事务记录处于staging状态，并且观察者可以证明其事务记录中列出的所有写入已成功达成共识，则该事务被视为已提交。因此，并行提交不需要等待committed请求发出即可返回客户端提交成功。

       然而，staging状态较为“脆弱”，需要采取措施确保一致性。当staging状态的事务被另一冲突事务发现并被标记为废弃时，虽然可以写入write intent，但会将key上的时间戳推大，以阻止未来事务恢复后继续写入。这确保了staging状态不会破坏一致性。

       总结起来，事务管道和并行提交是CockroachDB在分布式事务优化中采用的两种策略，分别在prepare阶段和commit阶段对延迟进行了优化。两者结合将事务延迟降低至L_txn = w * L_w + L_c，将时间复杂度从O(n)优化至O(1)，显著提高了事务处理速度。CockroachDB在工程层面实施了大量工作，对于深入理解这些优化的同学，建议直接阅读源码。

       

参考资料：

       1. cockroachlabs.com/blog/...

       2. cockroachlabs.com/blog/...

       3. cockroachDB paper

CockroachDB: 弹性、地理分布式SQL 数据库

       现代 OLTP 负载正迅速地跨越地域分布，这使得跨国公司必须构建可扩展的应用系统并根据法律法规细粒度地控制数据存放位置。在这种背景下，CockroachDB（CRDB）应运而生，它是一个可扩展的 SQL 数据库管理系统，旨在支持全球性的 OLTP 负载的同时，保持高可用性和强一致性。

       CRDB 从头构建，支持在普通商用硬件上实现跨地域的分布式事务，并且能够像蟑螂一样抵御灾难。其创新的事务模型、容错机制和高性能特性使其成为跨国公司理想的选择。此外，CRDB 还提供了 SQL 接口和自动根据数据库集群规模进行伸缩的能力，以满足数据存储和管理的需求。

       为了满足跨国公司的需求，CRDB 重点关注以下几个特性：合规性、容错性和高性能。它具有前沿的查询优化器和分布式 SQL 执行引擎，支持在线模式更改、备份和恢复、快速导入、JSON 支持以及与外部分析系统的集成等功能。此外，CRDB 的源码已入驻 GitHub，且从 BSL 许可转为 Apache 开源 2.0 协议，用户无需依赖第三方 SQL 扩展专利或受制于云供应商宕机风险，避免了供应商锁定问题。

       本文将详细介绍 CRDB 的各个组成部分，包括架构、复制和数据分布机制、事务模型、时间戳排序、SQL 数据模型、执行和模式变化、性能评估和案例学习、经验总结、相关著作以及结论与展望。接下来，我们将从系统架构角度深入剖析 CRDB 的设计与实现。

       系统架构概述

       CRDB 使用无共享架构（share-nothing），所有的节点都同时提供存储和计算能力，集群可以包含任意数量的节点，这些节点可以在同一数据中心或分布于全球。客户端可以连接集群中的任何一个节点。

       CRDB 的架构可以分为以下几层：

       SQL 层

       最顶层是 SQL 层，它是所有用户与数据库交互的接口。它包括解析器、优化器和 SQL 执行引擎，该引擎将高级 SQL 语句转换为底层 key-value (KV) 存储的低级读写请求。

       通常，SQL 层并不了解数据是如何分区或分布的，因为下面的层抽象了一个单体的 KV 存储。然而，在第 5 节中，我们将详细介绍某些查询如何打破这种抽象，以实现更高效的分布式 SQL 计算。

       事务 KV 层

       来自 SQL 层的请求被传递到事务 KV 层，该层确保跨越多个 KV 对的原子性更改。它在很大程度上对 CRDB 的隔离保障负有责任。这些原子性和隔离保证将在第 3 节和第 4 节中详细描述。

       数据分布层

       这一层抽象了按 key 排序的单体逻辑键空间。在这个键空间中，所有数据都是可寻址的，无论是系统数据（用于内部数据结构和元数据）还是用户数据（SQL 表和索引）。

       CRDB 对 key 进行范围分区，将数据分成连续有序的，大小约为 MB 的块，我们把这些块叫做“Ranges”。这些 Ranges 之间的排序由一个两层索引结构维护，保存在一系列系统级别 Rranges 里面，并被预缓存以支持快速的按 key 查询。本层负责确定查询的某个子集应该由哪个 Range 处理，并合理路由。

       MB 的 Range 足够小，可以允许快速迁移，又足够大，足以保存一块连续的经常一起被访问的数据。Ranges 的初始状态为空，随着尺寸变化，经历分割、合并。Ranges 分割还可以根据负载进行，以减少 CPU 热点与资源不平衡。

       数据复制层

       默认情况下，每个 Range 保存 3 个副本，每个副本存储在不同的节点上。在第 2.2 节中，我们将描述复制层如何使用基于共识的复制确保修改的持久性。

       存储层

       这是最底层，代表一个本地磁盘支持的 KV 存储。它提供了高效的写和范围扫描，以支持高性能的 SQL 执行。在撰写本文时，我们依赖的是 RocksDB，它在其他地方有详细的记录，本论文中将其作为黑盒处理。

       容错和高可用性

       使用RAFT复制

       一个 Range 的所有副本组成一个 Raft group，其中一个副本是持久的 leader，协调所有发给这个 Raft group 的写操作，其他副本是 follower。复制的单元是命令，代表要存储层处理的一个编辑序列。Raft 在每个 Range 的所有副本范围内，维护一个一致的、排序的更新日志，每个副本各自按顺序在其本地存储引擎里应用那些已经声明被提交的日志。

       CRDB 使用 Range 层面上的租约，其中一个副本（通常是 Raft group leader）承担 leaseholder 角色，因此是唯一允许提供权威最新读取或提交写请求给 Raft group leader 的副本。所有写操作都经过了 leaseholder，因此所有的读都可以在不牺牲一致性的情况下绕过 Raft 所需的网络往返成本。

       用户级 Ranges 的租约和 leaseholder 所在节点的存活性绑定，存活性通知通过节点每 4.5 秒发送一个特殊心跳到系统级 Range 实现。系统级 Range 转而使用基于到期的租约，必须每 9 秒更新一次。如果某个节点探测到 leaseholder 不存活了，它就尝试自己获取租约。

       为了确保每个时间点只有一个副本拥有租约，租约获取在现有的 Raft 框架内完成，提交一个特殊的获取租约日志记录。每个租约获取请求包含一个它在请求时认为合法的租约数据，两个副本的请求内的租约不重叠就可以达成这个保证。在第 4 节中，我们还会讨论租约不重叠是 CRDB 隔离机制的前提。

       成员变化与自动负载（再）平衡

       集群运行中，节点可能加入或离开该集群，也可能暂时或永久失败。CRDB 使用相同的方法应对这些场景：在最新的存活节点中间重新分配负载。

       节点短暂失败，而多数节点仍然可用的情况下，CRDB 可以持续运行。如果失败的是 Raft group 的 leader，Raft 保证新 leader 的选举。失败节点上先后可以重新加入原来的 group，同伴们帮它追赶错失的更新操作。方法包括：1）发送全量 Range 数据快照给它 2）发送错失的 Raft log 记录集合给它。具体选择根据该副本节点不可用期间错失的操作量作出。

       节点长时间失败，CRDB 自动根据存活的副本为复制等级不够的 Ranges 创建出新的足够的副本。其存放位置由下一节描述选择。决策依赖的相关数据比如，存活节点信息、集群监测指标使用点对点的 Gossip 协议分发。

       副本存放

       支持手动和自动选择。

       手动选择需要用户为每个节点配置属性，比如节点特性（特殊硬件、RAM、硬盘类型...）、节点位置（国家、地区、可用 zone...）。还可以在表模式里指定限制、偏好，比如指定 region 列，可以用来帮助分区，和把分区映射到特定地理区域。

       自动选择根据用户制定的规则和不同的启发式算法自动跨失败域分布副本，容错不同程度的失败（硬盘级、机架级、数据中心级、区域级别）。

       数据存放策略

       CRDB 的副本存放和 leaseholder 存放机制支持广泛的数据存放策略，用户可以借此做到数据合规，并在性能和容错间合理取舍。以下是一些多区域模式。

       本文篇幅较长，将分为三篇发布。