1.qr code是源码什么？
2.Kafka源码分析(五) - Server端 - 基于时间轮的延时组件

qr code是什么？

       基础知识

       首先，我们先说一下二维码一共有个尺寸。源码官方叫版本Version。源码Version 1是源码 x 的矩阵，Version 2是源码 x 的矩阵，Version 3是源码卡美美源码的尺寸，每增加一个version，源码就会增加4的源码尺寸，公式是源码：(V-1)*4 + （V是版本号） 最高Version ，(-1)*4+ = ，源码所以最高是源码 x 的正方形。

       下面我们看看一个二维码的源码样例：

       定位图案

       Position Detection Pattern是定位图案，用于标记二维码的源码矩形大小。这三个定位图案有白边叫Separators for Postion Detection Patterns。源码之所以三个而不是源码四个意思就是三个就可以标识一个矩形了。

       Timing Patterns也是用于定位的。原因是二维码有种尺寸，尺寸过大了后需要有根标准线，不然扫描的时候可能会扫歪了。

       Alignment Patterns 只有Version 2以上（包括Version2）的二维码需要这个东东，同样是为了定位用的。

       功能性数据

       Format Information 存在于所有的尺寸中，用于存放一些格式化数据的。

       Version Information 在 >= Version 7以上，需要预留两块3 x 6的区域存放一些版本信息。

       数据码和纠错码

       除了上述的那些地方，剩下的地方存放 Data Code 数据码 和 Error Correction Code 纠错码。

       数据编码

       我们先来说说数据编码。QR码支持如下的编码：

       Numeric mode 数字编码，从0到9。如果需要编码的数字的个数不是3的倍数，那么，最后剩下的1或2位数会被转成4或7bits，则其它的输入密码进入网页源码每3位数字会被编成 ，，bits，编成多长还要看二维码的尺寸（下面有一个表Table 3说明了这点）

       Alphanumeric mode 字符编码。包括 0-9，大写的A到Z（没有小写），以及符号$ % * + – . / : 包括空格。这些字符会映射成一个字符索引表。如下所示：（其中的SP是空格，Char是字符，Value是其索引值） 编码的过程是把字符两两分组，然后转成下表的进制，然后转成bits的二进制，如果最后有一个落单的，那就转成6bits的二进制。而编码模式和字符的个数需要根据不同的Version尺寸编成9, 或个二进制（如下表中Table 3）

       Byte mode, 字节编码，可以是0-的ISO--1字符。有些二维码的扫描器可以自动检测是否是UTF-8的编码。

       Kanji mode 这是日文编码，也是双字节编码。同样，也可以用于中文编码。日文和汉字的编码会减去一个值。如：在0X to 0X9FFC中的字符会减去，在0XE到0XEBBF中的字符要减去0XC，然后把结果前两个进制位拿出来乘以0XC0，然后再加上后两个进制位，最后转成bit的编码。如下图示例：

       Extended Channel Interpretation (ECI) mode 主要用于特殊的字符集。并不是所有的扫描器都支持这种编码。

       Structured Append mode 用于混合编码，也就是说，这个二维码中包含了多种编码格式。

       FNC1 mode 这种编码方式主要是驾校门户网站源码给一些特殊的工业或行业用的。比如GS1条形码之类的。

       简单起见，后面三种不会在本文 中讨论。

       下面两张表中，

       Table 2 是各个编码格式的“编号”，这个东西要写在Format Information中。注：中文是

       Table 3 表示了，不同版本（尺寸）的二维码，对于，数字，字符，字节和Kanji模式下，对于单个编码的2进制的位数。（在二维码的规格说明书中，有各种各样的编码规范表，后面还会提到）

       下面我们看几个示例，

       示例一：数字编码

       在Version 1的尺寸下，纠错级别为H的情况下，编码：

       1. 把上述数字分成三组:

       2. 把他们转成二进制: 转成 ； 转成 ； 转成 。

       3. 把这三个二进制串起来:

       4. 把数字的个数转成二进制 (version 1-H是 bits ): 8个数字的二进制是

       5. 把数字编码的标志和第4步的编码加到前面:

       示例二：字符编码

       在Version 1的尺寸下，纠错级别为H的情况下，编码: AC-

       1. 从字符索引表中找到 AC- 这五个字条的索引 (,,,4,2)

       2. 两两分组: (,) (,4) (2)

       3.把每一组转成bits的二进制:

       (,) *+ 等于 转成 (,4) *+4 等于 转成 (2) 等于 2 转成

       4. 把这些二进制连接起来：

       5. 把字符的个数转成二进制 (Version 1-H为9 bits ): 5个字符，5转成

       6. 在头上加上编码标识 和第5步的个数编码:

       结束符和补齐符

       假如我们有个HELLO WORLD的字符串要编码，根据上面的示例二，我们可以得到下面的编码，

       编码

       字符数

       HELLO WORLD的编码

       我们还要加上结束符：

       编码

       字符数

       HELLO WORLD的编码

       结束

       按8bits重排

       如果所有的编码加起来不是8个倍数我们还要在后面加上足够的0，比如上面一共有个bits，所以，我们还要加上2个0，然后按8个bits分好组：

       补齐码（Padding Bytes）

       最后，如果如果还没有达到我们最大的bits数的限制，我们还要加一些补齐码（Padding Bytes），Padding Bytes就是仿千图网源码程序重复下面的两个bytes： （这两个二进制转成十进制是和，我也不知道为什么，只知道Spec上是这么写的）关于每一个Version的每一种纠错级别的最大Bits限制，可以参看QR Code Spec的第页到页的Table-7一表。

       假设我们需要编码的是Version 1的Q纠错级，那么，其最大需要个bits，而我们上面只有个bits，所以，还需要补个bits，也就是需要3个Padding Bytes，我们就添加三个，于是得到下面的编码：

       上面的编码就是数据码了，叫Data Codewords，每一个8bits叫一个codeword，我们还要对这些数据码加上纠错信息。

       纠错码

       上面我们说到了一些纠错级别，Error Correction Code Level，二维码中有四种级别的纠错，这就是为什么二维码有残缺还能扫出来，也就是为什么有人在二维码的中心位置加入图标。

       错误修正容量

       L水平 7%的字码可被修正

       M水平 %的字码可被修正

       Q水平 %的字码可被修正

       H水平 %的字码可被修正

       那么，QR是怎么对数据码加上纠错码的？首先，我们需要对数据码进行分组，也就是分成不同的Block，然后对各个Block进行纠错编码，对于如何分组，我们可以查看QR Code Spec的第页到页的Table-到Table-的定义表。注意最后两列：

       Number of Error Code Correction Blocks ：需要分多少个块。

       Error Correction Code Per Blocks：每一个块中的code个数，所谓的code的个数，也就是有多少个8bits的字节。

       举个例子：上述的Version 5 + Q纠错级：需要4个Blocks（2个Blocks为一组，共两组），文华震荡交易系统源码头一组的两个Blocks中各个bits数据 + 各 9个bits的纠错码（注：表中的codewords就是一个8bits的byte）（再注：最后一例中的（c, k, r ）的公式为：c = k + 2 * r，因为后脚注解释了：纠错码的容量小于纠错码的一半）

       下图给一个5-Q的示例（因为二进制写起来会让表格太大，所以，我都用了十进制，我们可以看到每一块的纠错码有个codewords，也就是个8bits的二进制数）

       组

       块

       数据

       对每个块的纠错码

       1 1 6 6

       2 7 7 6

       2 1 7 6 7

       2 6 5 2

       注：二维码的纠错码主要是通过Reed-Solomon error correction（里德-所罗门纠错算法）来实现的。对于这个算法，对于我来说是相当的复杂，里面有很多的数学计算，比如：多项式除法，把1-的数映射成2的n次方（0<=n<=）的伽罗瓦域Galois Field之类的神一样的东西，以及基于这些基础的纠错数学公式，因为我的数据基础差，对于我来说太过复杂，所以我一时半会儿还有点没搞明白，还在学习中，所以，我在这里就不展开说这些东西了。还请大家见谅了。（当然，如果有朋友很明白，也繁请教教我）

       最终编码

       穿插放置

       如果你以为我们可以开始画图，你就错了。二维码的混乱技术还没有玩完，它还要把数据码和纠错码的各个codewords交替放在一起。如何交替呢，规则如下：

       对于数据码：把每个块的第一个codewords先拿出来按顺度排列好，然后再取第一块的第二个，如此类推。如：上述示例中的Data Codewords如下：

       块 1 6 6

       块 2 7 7 6

       块 3 7 6 7

       块 4 6

       我们先取第一列的：， ， ，

       然后再取第二列的：， ， ， ， ，， ，

       如此类推：， ， ， ， ，， ， ……… ……… ，，6，，，7，

       对于纠错码，也是一样：

       块 1

       块 2

       块 3

       块 4 5 2

       和数据码取的一样，得到：，，，，，，，，…… …… ，，，

       然后，再把这两组放在一起（纠错码放在数据码之后）得到：

       , , , , , , , , , , , , , 7, , , , , , , , , 7, 6, , , , , , 7, , , , , , , , , , , 6, , , , , , 6, , 6, , , , , , , , , 6, , , 7, , , , , , , , , , , , , 5, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , 2, , , , , , , , , , , , , , , ,

       这就是我们的数据区。

       Remainder Bits

       最后再加上Reminder Bits，对于某些Version的QR，上面的还不够长度，还要加上Remainder Bits，比如：上述的5Q版的二维码，还要加上7个bits，Remainder Bits加零就好了。关于哪些Version需要多少个Remainder bit，可以参看QR Code Spec的第页的Table-1的定义表。

       画二维码图

       Position Detection Pattern

       首先，先把Position Detection图案画在三个角上。（无论Version如何，这个图案的尺寸就是这么大）

       Alignment Pattern

       然后，再把Alignment图案画上（无论Version如何，这个图案的尺寸就是这么大）

       关于Alignment的位置，可以查看QR Code Spec的第页的Table-E.1的定义表（下表是不完全表格）

       下图是根据上述表格中的Version8的一个例子（6，，）

       Timing Pattern

       接下来是Timing Pattern的线（这个不用多说了）

       Format Information

       再接下来是Formation Information，下图中的蓝色部分。

       Format Information是一个个bits的信息，每一个bit的位置如下图所示：（注意图中的Dark Module，那是永远出现的）

       这个bits中包括：

       5个数据bits：其中，2个bits用于表示使用什么样的Error Correction Level， 3个bits表示使用什么样的Mask

       个纠错bits。主要通过BCH Code来计算

       然后个bits还要与做XOR操作。这样就保证不会因为我们选用了的纠错级别和的Mask，从而造成全部为白色，这会增加我们的扫描器的图像识别的困难。

       下面是一个示例：

       关于Error Correction Level如下表所示：

       关于Mask图案如后面的Table 所示。

       Version Information

       再接下来是Version Information（版本7以后需要这个编码），下图中的蓝色部分。

       Version Information一共是个bits，其中包括6个bits的版本号以及个bits的纠错码，下面是一个示例：

       而其填充位置如下：

       数据和数据纠错码

       然后是填接我们的最终编码，最终编码的填充方式如下：从左下角开始沿着红线填我们的各个bits，1是黑色，0是白色。如果遇到了上面的非数据区，则绕开或跳过。

       掩码图案

       这样下来，我们的图就填好了，但是，也许那些点并不均衡，如果出现大面积的空白或黑块，会告诉我们扫描识别的困难。所以，我们还要做Masking操作（靠，还嫌不复杂）QR的Spec中说了，QR有8个Mask你可以使用，如下所示：其中，各个mask的公式在各个图下面。所谓mask，说白了，就是和上面生成的图做XOR操作。Mask只会和数据区进行XOR，不会影响功能区。（注：选择一个合适的Mask也是有算法的）

       其Mask的标识码如下所示：（其中的i,j分别对应于上图的x,y）

       下面是Mask后的一些样子，我们可以看到被某些Mask XOR了的数据变得比较零散了。

       Mask过后的二维码就成最终的图了。

       好了，大家可以去尝试去写一下QR的编码程序，当然，你可以用网上找个Reed Soloman的纠错算法的库，或是看看别人的源代码是怎么实现这个繁锁的编码。

Kafka源码分析(五) - Server端 - 基于时间轮的延时组件

       Kafka内部处理大量的延时操作，例如，在接收到PRODUCE请求后，副本可以等待一个timeout的时间再响应客户端。下面我们来探讨一个问题：为什么Kafka要自己实现一个延时任务组件，而不是直接使用Java的java.util.concurrent.DelayQueue呢？我们可以从以下两个方面来分析这个问题。

       1.1 DelayQueue的能力

       DelayQueue相关的接口/类如下所示：

       相应地，DelayQueue提供的能力如下：

       1.2 Kafka的业务场景

       Kafka的业务背景具有以下特点：

       相应地，Kafka对延时任务组件有以下两点要求：

       这两点要求都无法通过直接应用DelayQueue的方式得到满足。

       二. 组件接口

       让我们来看看Kafka的延时任务组件对外提供的接口，从而了解其提供的能力和使用方式。

       如下所示：

       左边的两个类定义了"延时操作"，右边的DelayedOperationPurgatory类定义了一个维护DelayOperaton的容器，其核心操作如下：

       三. 实现

       以下是关于"延时"实现方式的介绍。

       3.1 业务模型

       时间轮延时组件的思路如下：

       接下来，通过一个具体的例子来说明这种映射逻辑：

       首先关注上图中①号时间轮。圆环中的每一个单元格表示一个TimerTaskList。单元格有其关联的时间跨度；下方的"1s x "表示时间轮上共有个单元格，每个单元格的时间跨度为1秒。有一个指针指向了"当前时间"所对应的单元格。顺时针方向为时间流动方向。

       当收到一个延迟时间在0-1s的TimerTask时，会将其追加到①号时间轮的橙色单元格中。当收到一个延迟时间在3-4s的TimerTask时，会将其追加到①号时间轮的**单元格中。以此类推。

       现在有一个问题：①号时间轮能表示的最大延迟时间是秒，那如果收到了延迟秒的任务该怎么办？这时该用到②号时间轮了，我们称②号为①号的"溢出时间轮"。②号时间轮的特点如下：

       如此，延迟时间在-s的TimerTask会被追加到②号的紫色单元格，延迟时间在-s的TimerTask会被追加到②号的绿色单元格中。③号时间轮同理。

       刚刚是按①->②->③的顺序来分析时间轮的逻辑，反过来也可以得到有用的想象手里有一个"放大镜"，其实③号时间轮的蓝色单元格"放大"后是②号时间轮；②号时间轮的蓝色单元格"放大"后是①号时间轮；蓝色单元格并不实际存储TimerTask。

       3.2 数据结构

       DelayedOperationPurgatory有一个Timer类型的timeoutTimer属性，用于维护延时任务。实际使用的是Timer的实现类：SystemTimer。该类用于维护延时任务的核心属性有两个：delayQueue和timingWheel。TimingWheel表示单个时间轮，接下来我们来看看其类图：

       各属性含义如下：

       3.3 算法

       3.3.1 添加任务

       添加任务的入口是DelayedOperationPurgatory.tryCompleteElseWatch，其核心逻辑分为如下两步：

       SystemTimer.add直接调用了addTimerTaskEntry方法，后者逻辑如下：

       TimingWheel.add的逻辑也很清晰，分如下4种场景处理：

       3.3.2 尝试提前触发任务

       入口是DelayedOperationPurgatory.checkAndComplete：

       接下来看Watchers.tryCompleteWatched方法的内容：

       DelayedOperation.maybeTryComplete方法最终调用了DelayedOperation.tryComplete；

       DelayedOperation的子类需要在后者中实现自己的"触发条件"检查逻辑；若满足了提前触发的条件，则调用forceComplete方法执行事件触发场景下的业务逻辑。

       3.3.3 任务到期自动执行

       DelayedOperationPurgatory中维护了一个expirationReaper线程，其职责就是循环调用kafka.utils.timer.SystemTimer#advanceClock来从时间轮中获取已超时的任务，并更新时间轮的"当前时间"指针。

       四. 总结

       才疏学浅，未能窥其十之一二，随时欢迎各位交流补充。若文章质量还算及格，可以点赞收藏加以鼓励，后续我继续更新。

       另外，也可以在目录中找到同系列的其他文章：

       感谢阅读。