1.Kafka与Pulsar概述、源码对比
2.升级到 Pulsar3.0 后深入了解 JWT 鉴权
3.聊聊 Pulsar： Pulsar 的源码核心概念与基础架构
4.95 后新生代 Committer 贺张俭：谈谈年轻人的开源观
5.python多少个框架(2023年最新分享)

Kafka与Pulsar概述、对比

       本章主要概述了Kafka与Pulsar这两个分布式消息流平台的源码起源、特性以及关键概念。源码作为本书后续内容的源码基础，我们将深入探讨它们的源码python获取源码异同与核心功能。

       Kafka，源码由LinkedIn开源于年，源码以Scala和Java编写，源码因其高吞吐量、源码持久化、源码可扩展和流数据处理能力而广受欢迎。源码它采用发布/订阅模式，源码允许生产者发送消息，源码消费者接收并处理。源码Kafka强调的是消息驱动的架构，且提供了Kafka Connect模块用于构建实时数据管道，Kafka Streams则支持流计算应用。

       Pulsar，由雅虎开发的云原生平台，于年开源，集消息、存储和轻量级函数式计算于一体。Pulsar采用计算与存储分离的设计，支持多租户、跨区域复制，具有强一致性、高吞吐和低延迟。其Pulsar IO模块可构建数据管道，Pulsar Functions则处理流数据计算。

       尽管两者都具备高吞吐、低延迟、持久化和高可扩展性，但它们的设计和实现有所差异。Kafka使用ZooKeeper进行元数据管理，而Pulsar则提供KRaft支持。通过对比Kafka和Pulsar的基础概念，如消息偏移量和ZooKeeper在Kafka中的作用，读者将对这两种平台有更深的理解。

       《深入理解Kafka与Pulsar》这本书深入剖析了这两个平台，对初学者来说是快速入门和深入学习的理想资源。作者的新书《Redis核心原理与实践》和《深入理解Kafka与Pulsar》已上市，近期有抽奖赠书活动，关注公众号binecy，参与活动赢取书籍。感谢您的支持！

升级到 Pulsar3.0 后深入了解 JWT 鉴权

       在将Pulsar 2..2 升级到 3.0.1 的测试过程中，遇到了一个关于JWT鉴权的问题，这促使我深入理解了Pulsar的鉴权机制。

       Pulsar的鉴权机制以Namespace和Topic级别为主，生产环境中通常选择topic级别，以确保消息安全，防止未经授权的应用访问。创建topic时，会绑定特定的应用，只有这个应用才能发送消息，其他尝试发送的请求将收到鉴权异常。

       订阅者也类似，通过关联特定应用，限制只有指定应用才能消费消息。Spyder 显示源码这些功能主要通过Pulsar的admin-API实现，关键在于角色（通常为应用的AppId）的设定，确保唯一性。

       鉴权流程涉及生成公私钥、使用私钥生成token、subject（与role相同）授权以及客户端使用token连接broker。在3.0版本之前，这些步骤通常无误，但在升级后，由于对proxyRole的处理变化，客户端连接问题出现。升级后的Pulsar对proxyRole进行了更严格的校验，要求在broker配置中指定，以确保只有经过proxyRole的Proxy才能访问。

       在遇到问题后，我发现客户端使用proxy-admin角色尝试连接时，与proxyRoles冲突，导致鉴权失败。通过源码和社区讨论，了解到客户端不能使用与proxyRole相同的角色，这可能是导致问题的原因之一。解决方案是更换一个超级角色，比如admin，即使在生产环境中，由于应用角色与proxyRole不同，这不会构成问题。

       另一个疑惑是关于token的生成，发现使用不同工具（Java vs Helm）生成的admin token存在差异。经过解码分析，发现是header部分的不同，而Go工具在生成token时会自带一个额外的header。这解释了为何看似不同的token仍然能通过鉴权。

       因此，了解Pulsar 3.0的JWT鉴权机制，特别是proxyRole的处理和token生成细节，对于解决此类问题至关重要。在升级过程中，确保正确配置和理解这些变化，能帮助避免潜在的连接问题。

聊聊 Pulsar： Pulsar 的核心概念与基础架构

       探索Pulsar：云原生消息流平台的核心理念与架构解析

       Apache Pulsar，作为Apache基金会的明星项目，是一款专为云时代打造的分布式消息流平台。它凭借其独特的多租户、存储分离、高可用性和可扩展性，为企业提供了强大的消息传递解决方案。Pulsar的特性亮点包括跨机房复制、极致低延迟、海量topic支持，以及丰富的多语言API，如生产者、订阅模式、持久化存储、Pulsar Functions和Pulsar IO，这些都是其在DevOps、微服务和容器化世界中大放异彩的关键。

       核心概念

       在Pulsar的世界里，消息是其核心组件，每个消息默认大小为5MB，炒期货 源码但可根据需求进行配置。生产者则是消息的发布者，它们将消息发送到broker。发送模式可以选择同步或异步，以满足不同场景的需求。访问模式、压缩（如LZ4）和批处理分块（独占/灾备）等选项，确保了消息的高效传输和一致性，特别适合大规模、低延迟的应用场景。

       配置与细节

       消息和生产者拥有详细的配置选项，如最大消息大小、压缩类型、批处理大小和分块处理策略。Pulsar通过严格的确认机制，确保消息在大规模流传输中的准确性。消费者接收消息时，可以选择顺序或无序模式，并通过监听接口（如Java的MessageListener）来处理，消息处理需要确认，支持单条或累积确认。

       主题是Pulsar的核心发布/订阅通道，分为持久和非持久两种类型。持久主题提供了消息持久化功能，而非持久主题则追求速度，但可能面临消息丢失的风险。为了提高吞吐量，Pulsar支持分区主题，通过独立的路由模式和哈希函数实现消息的高效路由。

       订阅模式的多样性

       Pulsar的四种订阅模式——独占、灾备、共享和key_shared，分别对应不同的使用场景和容错策略。独占模式适合单消费者，灾备模式确保消息有序，共享模式允许多消费者同时消费，而key_shared模式则根据消息的key进行分发，确保相同key的消息归同一消费者处理。

       消息管理与去重

       Pulsar的默认消息管理策略是确认删除，未确认的消息会被保存。此外，支持消息保留和设置TTL（Time To Live），满足不同业务需求。去重方面，生产者通过幂等性保证消息不重复，利用sequenceID和PendingMessage队列实现去重。

       延迟消息传递与多租户设计

       Pulsar支持延迟消息传递，消费者可以选择在需要时接收，共享模式下尤为有效。多租户模式下，通过Tenant和Namespace的逻辑分隔，提供了资源隔离和更好的集群管理。

       统一消息模型与扩展性

       Pulsar结合队列和流模型，支持数据多次消费和事务保证。Segmented Streams技术处理无界数据，分散存储降低成本，同时提供无限视图。Geo Replication确保消息在不同集群间的高可用性。

       Pulsar的《stl源码剖析架构由broker、BookKeeper和ZooKeeper构成，broker负责消息处理和负载均衡，BookKeeper提供持久化存储和一致性，ZooKeeper负责元数据管理。Broker作为无状态服务，利用Managed Ledger进行消息缓存，BookKeeper的Ledger设计保证了数据持久性和一致性。

       分层存储和代理机制让Pulsar在扩展性上超越了传统架构。Pulsar IO和Functions则进一步扩展了数据处理能力，实现了与其他系统的无缝集成和轻量级计算。

       总的来说，Apache Pulsar凭借其强大的功能和灵活的架构，成为现代分布式消息传递的首选平台，为企业提供了高效、可扩展和可靠的解决方案。无论是数据流处理、消息持久化，还是高可用性，Pulsar都能满足你的所有需求。

后新生代 Committer 贺张俭：谈谈年轻人的开源观

       在云原生时代，Apache Pulsar 成为消息队列和流融合系统领域的佼佼者，提供统一的消费模型，支持消息队列和流场景，兼顾企业级读写服务质量和强一致性保障，以及高吞吐、低延迟特性。存储计算分离的架构，使其支持大集群、多租户、百万级 Topic、跨地域数据复制、持久化存储、分层存储、高可扩展性等企业级和金融级功能。GitHub 地址：github.com/apache/pulsa...

        年初，贺张俭，华为云 IoT 高级工程师，成为 Apache Pulsar 社区的年轻 Committer， 年出生的他，是继张勇之后的第二位最年轻的 Committer。他从物联网领域的需求出发，与团队开始接触 Pulsar 及其社区。自 年 4、5 月份开始，他们参与 TGIP-CN，不断熟悉代码，解决 Pulsar 2.5 版本的问题，提出第一个 PR，这标志着贺张俭开始系统地参与开源。

       第一个 PR 合并后的喜悦，源于他知道，这项功能将被数万人使用，被数万人看到，这是开源社区带来的独特成就感。贺张俭投入时间最长、花费精力较多的 Pulsar 社区，成为他规模化社区参与的起点。

       在 Pulsar 社区，贺张俭主要贡献于 Java Client 和 Broker 的python script 源码可靠性，同时在 Pulsar Go Client 贡献诸多 PR。他关注 DFX（即 Desgin for Failure），华为注重软件可靠性和安全性，因此他在社区围绕可靠性和安全性相关的特性做贡献。

       与工作环境相比，开源社区的 Volunteer 模式让他需要更加注重问题描述的完整性和上下文的清晰性。社区内的互助和问题解答基于热心和自愿，这要求他养成完整描述问题的习惯，以提高沟通效率。在测试方面，开源社区在提交 PR 时缺乏完整的功能测试和大规模的集成性测试，但在单元测试方面，% 的问题修复通过单元测试覆盖，这对他和团队的影响很大。

       代码编写规范在社区内相对宽松，已有代码保持原样，而代码提交和 review 风格则要求 PR 主题清晰，代码量少、Git 记录优雅，便于发现存在的问题，及时获得反馈。

       社区为贺张俭提供了丰富的经验，他意识到 Pulsar 项目的 bug 修复工作难度在增加，社区发展与升级使得主要场景修复越来越完善。加入 Committer 后，他的社区归属感和责任感更强，通过处理 issue 和进行微信群答疑，他的态度得到质的提升。

       贺张俭分享了三个入门学习 Pulsar 的建议，并强调了社区的活力和开放性，以及贡献带来的自我认同价值。作为 Committer，他鼓励更多人加入社区，通过参与社区来促进个人发展和影响力提升。

       加入 Apache Pulsar 社区，可以获得公司及社区内外的认可，结交志同道合的小伙伴，提高个人影响力，参与开源项目是每个人都能参与的活动，不仅限于代码编写，社区、文档等各方面都有机会发挥个人专长。

       目前，Apache Pulsar 拥有 名贡献者、.5K+ Star、2.7K+ Fork，为参与开源提供了一个开放、有活力的平台。社区欢迎更多小伙伴的加入，共同推动 Apache Pulsar 项目的不断进步。

python多少个框架(年最新分享)

       导读：很多朋友问到关于python多少个框架的相关问题，本文首席CTO笔记就来为大家做个详细解答，供大家参考，希望对大家有所帮助！一起来看看吧！

Python几种主流框架比较

       从GitHub中整理出的个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。\x0d\\x0d\Django:PythonWeb应用开发框架\x0d\Django应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。\x0d\\x0d\Diesel：基于Greenlet的事件I/O框架\x0d\Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。\x0d\\x0d\Flask：一个用Python编写的轻量级Web应用框架\x0d\Flask是一个使用Python编写的轻量级Web应用框架。基于WerkzeugWSGI工具箱和Jinja2\x0d\模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数\x0d\据库、窗体验证工具。\x0d\\x0d\Cubes：轻量级PythonOLAP框架\x0d\Cubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregateddata）等工具。\x0d\\x0d\Kartograph.py：创造矢量地图的轻量级Python框架\x0d\Kartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。\x0d\\x0d\Pulsar：Python的事件驱动并发框架\x0d\Pulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。\x0d\\x0d\Web2py：全栈式Web框架\x0d\Web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容GoogleAppEngine。\x0d\\x0d\Falcon：构建云API和网络应用后端的高性能Python框架\x0d\Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。\x0d\\x0d\Dpark：Python版的Spark\x0d\DPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。\x0d\\x0d\Buildbot：基于Python的持续集成测试框架\x0d\Buildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。\x0d\\x0d\Zerorpc：基于ZeroMQ的高性能分布式RPC框架\x0d\Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和Zerorpc一起使用的ServiceAPI被称为zeroservice。Zerorpc可以通过编程或命令行方式调用。\x0d\\x0d\Bottle:微型PythonWeb框架\x0d\Bottle是一个简单高效的遵循WSGI的微型pythonWeb框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。\x0d\\x0d\Tornado：异步非阻塞IO的PythonWeb框架\x0d\Tornado的全称是ToradoWebServer，从名字上看就可知道它可以用作Web服务器，但同时它也是一个PythonWeb的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。\x0d\\x0d\webpy:轻量级的PythonWeb框架\x0d\webpy的设计理念力求精简（Keepitsimpleandpowerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。\x0d\\x0d\Scrapy：Python的爬虫框架\x0d\Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。

Python中的爬虫框架有哪些呢？

       实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？

       一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。

       1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知urlpattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML,XML源数据选择及提取的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即ItemLoaders)，对智能处理爬取数据提供了内置支持。

       2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

       3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。

       4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持多种语言并且所有的都是unicode编码。

       5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。

       6、BeautifulSoup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.BeautifulSoup会帮你节省数小时甚至数天的工作时间。BeautifulSoup的缺点是不能加载JS。

       7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。

       8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个Selenium的插件，可以方便地实现Web界面的测试.Selenium支持浏览器驱动。Selenium支持多种语言开发，比如Java，C，Ruby等等，PhantomJS用来渲染解析JS，Selenium用来驱动以及与Python的对接，Python进行后期的处理。

       9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。

       、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。

python都有哪些框架？

       1、Django

       谈到Python框架，我们第一个想到的应该就是Django。Django作为一个Python

       Web应用开发框架，可以说是一个被广泛使用的全能型框架。Django的目的是为了让开发者能够快速地开发一个网站，因此它提供了很多模块。另外，Django最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。它与其他框架最大的区别就是，鲜明独特的特性，支持orm，将数据库的操作封装成为Python，对于需要适用多种数据库的应用来说是个比较好的特性。

       2、Flask

       Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。基于他的这个特性使用者可以花很少的成本就能够开发一个简单的网站。因此，从这个角度来讲，Flask框架非常适合初学者学习。Flask框架学会以后，我们还可以考虑学习插件的使用。

       3、Scrapy

       Scrapy是一个轻量级的使用Python编写的网络爬虫框架，这也是它与其他Python框架最大的区别。因为专门用于爬取网站和获取结构数据且使用起来非常的方便，Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等等。

       4、Diesel

       Diesel是基于Greenlet的事件I/O框架，它提供一个整洁的API来编写网络客户端和服务器。它与其他Python框架最大的区别是支持TCP和UDP。

       5、Cubes

       Cubes作为一个轻量级PythonOLAP框架，包含了OLAP、多维数据分析和浏览聚合数据等工具。

       6、Pulsar

       Pulsar是Python的事件驱动并发框架。有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。

       7、Tornado

       Tornado全称是ToradoWebServer，仅仅从它的名字上我们就可以知道它可以用作Web服务器，但同时它也是一个Python

       Web的开发框架。Tornado和现在的主流Web服务器框架和大多数Python框架有着明显的区别，它是非阻塞式服务器，而且速度相当快。而其他框架不支持异步处理。

Python有哪些好的Web框架

       常见的5种Web框架：

       第一个：Django

       Django是一个开源的Web应用框架，由Python写成，支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。

       第二个：Flask

       Flask是一个轻量级的Web应用框架，使用Python编写。基于WerkzeugWSGI工具箱和JinJa2模板引擎，使用BSD授权。

       Flask也被称为microframework，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而Flask保留了扩增的弹性，可以用Flask-extension加入这些功能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术。

       第三个：Web2py

       Web2py是一个用Python语言编写的免费的开源Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩展、安全以及可移植的数据库驱动的应用，遵循LGPLv3开源协议。

       Web2py提供一站式的解决方案，整个开发过程都可以在浏览器上进行，提供了Web版的在线开发，HTML模板编写，静态文件的上传，数据库的编写的功能。其他的还有日志功能，以及一个自动化的admin接口。

       第四个：Tornado

       Tornado即是一个Webserver，同时又是一个类web.py的micro-framework，作为框架的Tornado的思想主要来源于web.PY，大家在web.PY的网站首页也可以看到Tornado的大佬Bret

       Taylor的这么一段话：“[web.pyinspiredthe]WebframeworkweuseatFriendFeed[and]thewebappframeworkthatshipswithAppEngine…”，因为这层关系，后面不再单独讨论Tornado。

       第五个：CherryPy

       CherryPy是一个用于Python的、简单而非常有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码连接，其功能包括内置的分析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能，可运行在最新版本的Python、Jython、android上。

       结语：以上就是首席CTO笔记为大家介绍的关于python多少个框架的全部内容了，希望对大家有所帮助，如果你还想了解更多这方面的信息，记得收藏关注本站。