皮皮网

1.bitmapȥ?去重?Դ??
2.BitMap原理与实现

bitmapȥ??Դ??

       数据去重的Clickhouse探索

       在大数据面试中，数据去重是源码一个常考问题。虽然很多博主已经分享过相关知识，去重但本文将带您深入理解Hive引擎和Clickhouse在去重上的源码差异，尤其是去重桃源码头怎么回头后者如何通过MergeTree和高效的数据结构优化去重性能。

       Hive去重

       Hive中，源码kafka源码剖析豆瓣distinct可能导致数据倾斜，去重而group by则通过分布式处理提高效率。源码面试时，去重理解MapReduce的源码数据分区分组是关键。然而，去重对于大规模数据，源码Hive的去重编译ubuntu内核源码处理速度往往无法满足需求。

       Clickhouse的源码登场

       面对这个问题，Clickhouse凭借其列存储和MergeTree引擎崭露头角。去重MergeTree的高效体现在它的数据分区和稀疏索引，以及动态生成和合并分区的安卓ble源码能力。

       Clickhouse：Yandex开源的实时分析数据库，每秒处理亿级数据

       MergeTree存储结构：基于列存储，通过合并树实现高效去重

       数据分区和稀疏索引

       Clickhouse的分区策略和数据组织使得去重更为快速。稀疏索引通过标记大量数据区间，如何查看外挂源码极大地减少了查询范围，提高性能。

       优化后的去重速度

       测试显示，Clickhouse在去重任务上表现出惊人速度，特别是通过Bitmap机制，去重性能进一步提升。

       源码解析与原则

       深入了解Clickhouse的底层原理，如Bitmap机制，对于优化去重至关重要，这体现了对业务实现性能影响的深度理解。

       总结与启示

       对于数据去重，无论面试还是日常工作中，深入探究和实践是提升的关键。不断积累和学习，即使是初入职场者也能在大数据领域找到自己的位置。

BitMap原理与实现

        比较经典的问题是： 在只能够使用2G的内存中，如何完成以下操作：

        ①：对亿个不重复的整数进行排序。

        ②：找出亿个数字中重复的数字。

        无论是排序还是找重复的数字都需要将这亿个数字加入到内存中在去进行操作，很明显，题目给出的2G内存限制说明了在这样的场景下是不能够将所有数都加入到内存中的

        * 4/（* * ） = 3.G

        那么这时候就需要用到 BitMap结构了

        bitMap使用一个bit为0/1作为map的value来标记一个数字是否存在,而map的key值正是这个数字本身。

        相比于一般的数据结构需要用4个byte去存储数值本身，相当于是节省了 4*8：1 = 倍的内存空间

        bitMap不一定要用bit数组,可以使用 int,long等等的基本数据类型实现，因为其实质都是在bit位上存数据，用哪种类型只是决定了最终实现出来的BitMap的内置数组中单个元素存放数据的多少

            例如：java中的BitSet使用Long数组

        BitMap的实现当然少不了位运算，先来明确几个常见位运算，这是实现BitMap的基础：

        set(bitIndex): 添加操作

            1 .确定该数处于数组中的哪个元素的位上

             int wordIndex = bitIndex >> 5;

        因为我用的是int[]实现，所以这里右移 5 位（2^5 = ）

            2 .确定相对于该元素中的位置偏移

             int bitPosition = bitIndex & ((1 << 5) - 1);

        这里相当于是 bitIndex % （1<<5）的取模运算，因为当取模运算的除数是2的次幂，所以可以使用以下的位运算来计算，提升效率（对比HashMap的容量为什么总是2的幂次方的问题，HashMap求下标时也是使用 hash&(n-1)）

        tips: 位运算的优先级是低于+,-等等的，所以要加上括号,防止发生不可描述的错误

            3 .将该位置1

             bits[wordIndex] |= 1 << bitPosition;

        相当于是将指定位置处的bit值置1，其他位置保持不变，也就是将以这个bitIndex为key的位置为1

        tips: 这里是参考了网上的各位大佬的文章,取余 + 按位或，又对比了下BitSet的源码：

             words[wordIndex] |= (1L << bitIndex);

        没有取余操作，直接|，这两个一样吗？答案当然是一样的

        举个栗子：

             1 << == 1<<     

             1L << ==1L<<

        即对于int和long型数据，直接左移其位数相当于是附带了对其的取模操作

        总结：使用Bit-map的思想，我们可以将存储空间进行压缩，而且可以对数字进行快速排序、去重和查询的操作。

        Bloom Fliter是Bit-map思想的一种扩展，它可以在允许低错误率的场景下，大大地进行空间压缩，是一种拿错误率换取空间的数据结构

        当一个元素加入布隆过滤器中的时候，会进行哪些操作：

        当我们需要判断一个元素是否存在于布隆过滤器的时候，会进行哪些操作：

        然后，一定会出现这样一种情况：不同的字符串可能哈希出来的位置相同（可以适当增加位数组大小或者调整我们的哈希函数来降低概率）,因此：布隆过滤器可能会存在误判的情况

        总结来说就是： 布隆过滤器说某个元素存在，小概率会误判。布隆过滤器说某个元素不在，那么这个元素一定不在。

        Bloom Filter的应用: 常用于解决缓存穿透等场景。