皮皮网

1.kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
2.要成为一名大数据开发工程师必备哪些技能？
3.深入理解条件变量Condition
4.kafka marking the coordinator (id rack null) dead for group

kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境

       在探索Kafka源码的码阅过程中，决定搭建本地环境进行实际运行，码阅以辅助理解和注释。码阅由于日常开发中常使用Kafka 2.7版本，码阅选择了在MacBook Pro M1笔记本上搭建此版本的码阅源码环境。搭建过程中，码阅网站源码位置记录了遇到的码阅障碍，方便未来再次搭建时不必从头开始。码阅

       搭建Kafka 2.7源码环境需要准备以下基础环境：

       一、码阅Zulu JDK1.8

       在MacBook Pro M1笔记本上，码阅基本都已安装JDK，码阅版本不同而已。码阅使用的码阅是Zulu JDK1.8版本，通过下载.dmg格式的码阅一键安装，环境自动配置，码阅安装路径通常在 /Library/Java/JavaVirtualMachines。

       二、Scala 2..1

       并未在系统里安装Scala，而是直接利用IDEA。按照Preferences -> Plugins -> Scala安装。选择IDEA的不同Scala JDK版本。

       三、rrdtool 源码包下载安装Gradle6.6

       通过官网gradle.org/releases/下载Gradle6.6版本。如国内下载速度较慢，可直接从百度网盘下载安装包。安装完成后，解压并放置在目录/Users/helloword/software/gradle-6.6，通过mac终端执行指令配置环境。

       四、Zookeeper3.4.6安装

       直接从百度网盘下载zookeeper-3.4.6.tar.gz包，解压后放置在三台机器的/app目录下。在每个目录中创建data子目录，并建立myid文件，按照特定数字填写。在zoo.cfg文件中进行配置并复制至其他机器。

       五、Kafka2.7源码部署

       从官网下载Kafka 2.7源码，或从百度网盘获取。解压至目录/Users/helloword/software/kafka/kafka-2.7.0-src，并通过Gradle构建环境。在mac终端执行指令，生成gradle-wrapper.jar，配置依赖。新概念互助源码将源码导入IDEA，加载Gradle构建的项目。

       六、源码运行

       确保源码运行打印日志，需将log4j.properties复制到core的 resources目录，并在build.gradle中添加log4配置。修改config/server.properties配置，包括zookeeper路径和broker的ip。配置server、consumer、producer三个进程，确保Kafka服务、消费者和生产者能够正常工作。

       整个Kafka 2.7版本源码的本地搭建步骤完成。后续计划撰写系列文章总结阅读源码的经验。关注公众号写代码的朱季谦，获取更多分类归纳的博客。

要成为一名大数据开发工程师必备哪些技能？

       首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

       大数据

       Java ：只要了解一些基础即可，项目排期源码做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

       Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

       Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

       Zookeeper：这是ftpclient.c源码个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

       Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

       Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

       Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

       Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

       Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

       Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

       Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

深入理解条件变量Condition

       深入理解条件变量Condition

       在并发编程中，条件变量（Condition）是管理线程等待和通知的一种重要工具，尤其在使用可重入锁（ReentrantLock）时，Condition提供了更加灵活的等待和唤醒机制。相比于synchronized关键字的内置等待/唤醒机制，Condition允许线程在特定条件满足时再继续执行，提高了代码的可读性和可维护性。

       让我们通过一个简单的Demo来了解Condition的基本用法。假设我们有两个线程：一个负责等待特定条件，另一个负责通知条件满足。在使用Condition时，我们通常将等待线程调用`await()`方法，进入等待状态，直到另一个线程调用`signal()`方法通知条件满足，等待线程才会被唤醒。

       Condition与ReentrantLock的结合使我们能够实现更高级的同步控制。比如，在Java的并发工具包中，ArrayBlockingQueue就利用了Condition来管理队列的空/满状态。通过两个条件变量：一个用于检测队列是否为空，另一个用于检测队列是否已满，队列的入队和出队操作会根据当前队列状态调用相应的Condition，实现线程间的高效同步。

       此外，Condition在Kafka的BufferPool中也有应用。BufferPool管理内存分配和回收时，也需要确保线程间的同步。Condition在此场景下的使用，保证了内存操作的正确顺序，避免了竞态条件，提高了系统的稳定性和性能。

       接下来，我们深入分析Condition的实现细节。Condition的核心实现基于可重入锁（ReentrantLock），其内部类ConditionObject封装了Condition的主要功能。通过`await()`和`signal()`方法，ConditionObject实现了等待和通知机制。在等待时，调用线程会释放锁，进入等待队列；当有线程调用`signal()`方法时，等待队列中的线程会被唤醒，并重新获得锁，继续执行。

       在Linux环境下，条件变量机制同样用于实现线程间同步，其基本原理与Java中的Condition相似。在等待条件满足时，线程会原子地释放锁，进入等待状态，直到其他线程通过适当的机制（如信号量、事件等）通知它，线程才会被唤醒并重新获取锁。

       如果你想更深入地了解Condition的实现以及相关原理，可以阅读以下资源：

       1. **可重入锁 ReentrantLock 源码阅读**：深入理解ReentrantLock的实现，包括ConditionObject的细节。

       2. **pthread_cond_wait**：了解Linux环境下条件变量的使用方法。

       3. **《Unix高级环境编程》**：书中关于线程和同步机制的章节提供了丰富的理论背景。

kafka marking the coordinator (id rack null) dead for group

       flink kafka 设置自动offset 提交

        kafka-client 0..0.2

        kafka-broker 1.1.1

        隔一段时间老报错如下

        marking the coordinator (id rack null) dead for group

        通过阅读源码

        org.apache.kafka.clients.consumer.internals.AbstractCoordinator

        通过源码发现导致问题的原因是client连接kafka brocker coordinator 超时引起

        阅读源码中发现如上报错信息只有client 0..0.2版本中才会有，可以选择升级客户端client版本

        或者调整session超时时长，调整心跳超时时长，调整连接重试时长默认ms调整为3s