皮皮网

1.LuaJIT源码分析（二）数据类型
2.PostgreSQL · 源码分析 · 回放分析（一）
3.Python数据分析系列多个dataframe写入同一个excel文件（案例源码）
4.Python数据分析系列将循环生成的数据数据实DataFrame写入同一个Excel文件不同工作表（案例+源码）
5.源码编译和安装 DataEase 开源数据可视化分析工具
6.Python数据分析实战-对DataFrame（Excel）某列的数值进行替换操作（附源码和实现效果）

LuaJIT源码分析（二）数据类型

       LuaJIT，作为Lua的分析分析高性能版本，其源码分析中关于数据类型处理的源码源码细节颇值得研究。它在数据结构的数据数据实定义上与Lua 5.1稍有不同，通过通用的分析分析数据结构TValue来表示各种Lua数据类型，但其复杂性体现在了内含的源码源码手机html源码获取若干宏上，增加了理解的数据数据实难度。这些宏如LJ_ALIGN、分析分析LJ_GC、源码源码LJ_ENDIAN_LOHI、数据数据实LJ_FR2等，分析分析分别用于内存对齐、源码源码GC模式的数据数据实选择、大小端判断以及浮点数编码格式的分析分析选择。

       LJ_ALIGN宏用于确保struct内存对齐，源码源码以提高内存访问效率。LJ_GC宏在当前平台为位且无强制禁用的情况下生效，表明LuaJIT支持位GC（垃圾回收）模式。LJ_ENDIAN_LOHI宏则根据平台的字节顺序来确定结构的布局，而x平台采用小端序。

       对于TValue结构的定义，通过处理宏后可以简化为一个位的结构体，包含一个union，用于统一表示Lua的各种数据类型。这种设计利用了NaN Boxing技术，即通过在浮点数编码中预留空间来实现不同类型数据的紧凑存储。每个类型通过4位的itype指针来标识，使得数据的解析与存储变得高效。

       对于number数据类型，其值被存储在一个double中，而其他类型如nil、true、false等则利用剩余的空间来标识其类型。这种设计允许LuaJIT在内存中以一种紧凑且高效的方式存储各种数据类型，同时通过简单的位操作就能识别出具体的数据类型。

       对于GC对象（如string、table等），LuaJIT通过特定的itype值来区分它们与普通数据类型，以及与值类型（如nil和bool）和轻量级用户数据的小猪智慧社区源码差异。通过宏判断，LuaJIT能够快速识别出TValue是否为GC对象，以及具体是哪种类型的GC对象。

       在开启LJ_GC模式下，GC对象的地址被存储在TValue的特定字段gcr中，提供位的地址支持。虽然前位用于标识数据类型，但实际使用时仅利用了低位的地址空间，对于大多数实际应用而言，这部分内存已经绰绰有余。

       在GCobj数据结构中，通过union的特性实现不同类型对象的共通性与特定性。GChead提供了通用的接口来获取对象的通用信息，而nextgc、marked等字段用于实现垃圾回收机制。通过gct字段，LuaJIT能够将一个GCObj转换为实际的类型对象，进一步增强了内存管理的灵活性。

       对于整数类型，默认情况下LuaJIT使用double进行存储以确保精度，但在实际应用中，频繁使用的整数通过宏LJ_DUALNUM启用，以int类型存储，提高了数据处理的效率。此时，TValue的i字段用于保存int值，同时通过位移操作确保了数据的正确存储与解析。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，主力监控指标 源码利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，react native 直播源码加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，jstorm task 源码解析以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

Python数据分析系列多个dataframe写入同一个excel文件（案例源码）

       本文演示如何使用Python的pandas库将多个DataFrame写入同一个Excel文件中，每个DataFrame作为独立的sheet。通过以下步骤实现：

       首先，创建两个DataFrame df1 和 df2。然后指定Excel文件路径为"dataframes.xlsx"。使用pd.ExcelWriter()创建ExcelWriter对象，通过to_excel()方法将df1和df2写入Excel文件的不同sheet中，分别命名为Sheet1和Sheet2。最后，运行代码后，会在指定路径下生成包含两个sheet的"dataframes.xlsx"文件。

       运行示例代码，你将看到在指定路径下生成的"dataframes.xlsx"文件，该文件包含df1和df2的数据。

       本文由一位在读研期间发表6篇SCI数据算法相关论文的作者撰写，目前在某研究院从事数据算法研究工作。作者致力于只做原创，以简单易懂的方式分享Python、数据分析、特征工程、机器学习、深度学习和人工智能等基础知识与案例。关注公众号"数据杂坛"，获取更多内容。

       原文链接：Python数据分析系列多个dataframe写入同一个excel文件（案例源码）

Python数据分析系列将循环生成的DataFrame写入同一个Excel文件不同工作表（案例+源码）

       本文将探讨如何在Python数据分析中，通过循环生成DataFrame，并将其存储在同一个Excel文件的不同工作表中。以下是具体实现的步骤和一个实例。

       案例与代码实现

       首先，假设你有一个数据处理循环，每次循环都会生成一个新的DataFrame。要将这些DataFrame写入名为"output.xlsx"的Excel文件的不同工作表，可以按照以下代码进行操作:

       python

       import pandas as pd

       # 假设你的DataFrame生成函数是generate_df

       for i in range(1, 6): # 假设你有5次循环

        df = generate_df(i) # 每次生成一个新DF

        df.to_excel('output.xlsx', sheet_name=f'Sheet{ i}', index=False) # 将DF写入指定工作表

       这段代码会将每次生成的DataFrame分别写入output.xlsx的Sheet1到Sheet5工作表中。

       作者简介

       作为一名数据算法研究者，我曾在读研期间发表过6篇SCI论文，目前致力于数据分析相关工作。我分享的内容以简单易懂的方式涵盖了Python、数据分析、机器学习等领域的基础知识和案例。如果你需要数据和源码，欢迎关注并与我联系，获取更多实用教程和分享。

源码编译和安装 DataEase 开源数据可视化分析工具

       DataEase 是一款开源的数据可视化分析工具，它助力用户高效分析数据，洞察业务趋势，进而优化业务。这款工具支持众多数据源连接，用户可以轻松拖拽制作图表，并实现便捷的资源共享。本文将介绍如何通过源码编译的方式，安装 DataEase 1..0 版本。

       首先，连接安装好的 MySQL 数据库，为 DataEase 创建数据库和用户。请注意，MySQL 8 默认不允许客户端获取公钥，因此在内网环境下，您可以通过配置 allowPublicKeyRetrieval=true 来绕过此限制。

       您可以使用以下命令验证数据库和用户创建成功：

       接下来，克隆 DataEase 源码。DS 的源码地址为 github.com/dataease/dat...，您可以将源码 Fork 到自己的 Git repositories 中，以维护个人项目。

       Fork 成功后，使用 git clone 命令克隆 DataEase 项目到您的本地，并切换到 main 分支。

       使用 Intelli IDEA 打开克隆好的 DataEase 项目。DataEase 采用前后端分离的开发模式，后端服务和前端页面可独立部署。以下为三个重要的目录介绍：

       修改 pom.xml 文件。在 backend/pom.xml 文件中，将 mysql-connector-java 的 runtime 删除。因为我们使用 MySQL 8 作为 DataEase 元数据库，需要使用 mysql-connector-java 这个 jar 包连接 MySQL。

       编译运行。切换到 backend 目录下，使用 IDEA 执行 Maven 命令进行编译。成功后，会在 backend/target/ 目录下生成后端服务 jar 文件：backend-1..0.jar。执行相应命令运行后端服务，并使用 jps 命令验证服务启动成功。

       编译前端。切换到 frontend 目录下，执行编译命令。编译移动端。切换到 mobile 目录下，执行编译命令。编译完成后，各自 target 目录下会生成编译好的 dist 目录。

       使用安装好的 Nginx 进行部署。修改 Nginx 配置文件 nginx.conf，并启动 Nginx。

       通过浏览器登录 DataEase，默认用户名/密码为：demo/dataease。

       参考文档：dataease.io/docs/dev_ma... toutiao.com/article/...

Python数据分析实战-对DataFrame（Excel）某列的数值进行替换操作（附源码和实现效果）

       实现功能：

       本文将展示如何在Python中使用pandas库对DataFrame（Excel）中的某列数值进行替换操作，并提供相关源码和实现效果，旨在帮助您掌握数据处理技巧。

       代码分为以下两种情况：

       1、将A列的数值进行直接替换，例如将A列中的1替换为，3替换为，4替换为

       代码示例：

       python

       import pandas as pd

       # 加载Excel文件

       df = pd.read_excel('data.xlsx')

       # 直接替换A列数值

       df['A'] = df['A'].replace({ 1:, 3:, 4:})

       # 保存替换后数据

       df.to_excel('updated_data.xlsx', index=False)

       2、将A列的数值进行替换为新的数值（新建新的一列），例如新建E列，将A列中替换为1

       代码示例：

       python

       import pandas as pd

       # 加载Excel文件

       df = pd.read_excel('data.xlsx')

       # 创建新列并替换A列数值

       df['E'] = df['A'].replace({ :1})

       # 保存替换后数据

       df.to_excel('updated_data.xlsx', index=False)

       实现效果：

       上述代码执行后，将对原始数据文件进行处理，将指定列的特定数值替换为新的数值，并生成更新后的数据文件。通过替换操作，您可以快速调整数据，满足数据分析和处理需求。

Flink深入浅出：JDBC Connector源码分析

       大数据开发中，数据分析与报表制作是日常工作中最常遇到的任务。通常，我们通过读取Hive数据来进行计算，并将结果保存到数据库中，然后通过前端读取数据库来进行报表展示。然而，使用FlinkSQL可以简化这一过程，通过一个SQL语句即可完成整个ETL流程。

       在Flink中，读取Hive数据并将数据写入数据库是常见的需求。本文将重点讲解数据如何写入数据库的过程，包括刷写数据库的机制和原理。

       以下是本文将讲解的几个部分，以解答在使用过程中可能产生的疑问：

       1. 表的定义

       2. 定义的表如何找到具体的实现类（如何自定义第三方sink）

       3. 写入数据的机制原理

       （本篇基于1..0源码整理而成）

       1. 表的定义

       Flink官网提供了SQL中定义表的示例，以下以oracle为例：

       定义好这样的表后，就可以使用insert into student执行插入操作了。接下来，我们将探讨其中的技术细节。

       2. 如何找到实现类

       实际上，这一过程涉及到之前分享过的SPI（服务提供者接口），即DriverManager去寻找Driver的过程。在Flink SQL执行时，会通过translate方法将SQL语句转换为对应的Operation，例如insert into xxx中的xxx会转换为CatalogSinkModifyOperation。这个操作会获取表的信息，从而得到Table对象。如果这个Table对象是CatalogTable，则会进入TableFactoryService.find()方法找到对应的实现类。

       寻找实现类的过程就是SPI的过程。即通过查找路径下所有TableFactory.class的实现类，加载到内存中。这个SPI的定义位于resources下面的META-INFO下，定义接口以及实现类。

       加载到内存后，首先判断是否是TableFactory的实现类，然后检查必要的参数是否满足（如果不满足会抛出异常，很多人在第一次使用Flink SQL注册表时，都会遇到NoMatchingTableFactoryException异常，其实都是因为配置的属性不全或者Jar报不满足找不到对应的TableFactory实现类造成的）。

       找到对应的实现类后，调用对应的createTableSink方法就能创建具体的实现类了。

       3. 工厂模式+创建者模式，创建TableSink

       JDBCTableSourceSinkFactory是JDBC表的具体实现工厂，它实现了stream的sinkfactory。在1..0版本中，它不能在batch模式下使用，但在1.版本中据说会支持。这个类使用了经典的工厂模式，其中createStreamTableSink负责创建真正的Table，基于创建者模式构建JDBCUpsertTableSink。

       创建出TableSink之后，就可以使用Flink API，基于DataStream创建一个Sink，并配置对应的并行度。

       4. 消费数据写入数据库

       在消费数据的过程中，底层基于PreparedStatement进行批量提交。需要注意的是提交的时机和机制。

       控制刷写触发的最大数量 'connector.write.flush.max-rows' = ''

       控制定时刷写的时间 'connector.write.flush.interval' = '2s'

       这两个条件先到先触发，这两个参数都是可以通过with()属性配置的。

       JDBCUpsertFunction很简单，主要的工作是包装对应的Format，执行它的open和invoke方法。其中open负责开启连接，invoke方法负责消费每条数据提交。

       接下来，我们来看看关键的format.open()方法：

       接下来就是消费数据，执行提交了

       AppendWriter很简单，只是对PreparedStatement的封装而已

       5. 总结

       通过研究代码，我们应该了解了以下关键问题：

       1. JDBC Sink执行的机制，比如依赖哪些包？（flink-jdbc.jar，这个包提供了JDBCTableSinkFactory的实现）

       2. 如何找到对应的实现？基于SPI服务发现，扫描接口实现类，通过属性过滤，最终确定对应的实现类。

       3. 底层如何提交记录？目前只支持append模式，底层基于PreparedStatement的addbatch+executeBatch批量提交

       4. 数据写入数据库的时机和机制？一方面定时任务定时刷新，另一方面数量超过限制也会触发刷新。

       更多Flink内容参考：

Python数据分析实战-实现T检验（附源码和实现效果）

       T检验是一种用于比较两个样本均值是否存在显著差异的统计方法。广泛应用于各种场景，例如判断两组数据是否具有显著差异。使用T检验前，需确保数据符合正态分布，并且样本方差具有相似性。T检验有多种变体，包括独立样本T检验、配对样本T检验和单样本T检验，针对不同实验设计和数据类型选择适当方法至关重要。

       实现T检验的Python代码如下：

       python

       import numpy as np

       import scipy.stats as stats

       # 示例数据

       data1 = np.array([1, 2, 3, 4, 5])

       data2 = np.array([2, 3, 4, 5, 6])

       # 独立样本T检验

       t_statistic, p_value = stats.ttest_ind(data1, data2)

       print(f"T统计量：{ t_statistic}")

       print(f"显著性水平：{ p_value}")

       # 根据p值判断差异显著性

       if p_value < 0.:

        print("两个样本的均值存在显著差异")

       else:

        print("两个样本的均值无显著差异")

       运行上述代码，将输出T统计量和显著性水平。根据p值判断，若p值小于0.，则可认为两个样本的均值存在显著差异；否则，认为两者均值无显著差异。

       实现效果

       根据上述代码，执行T检验后，得到的输出信息如下：

       python

       T统计量：-0.

       显著性水平：0.

       根据输出结果，T统计量为-0.，显著性水平为0.。由于p值大于0.，我们无法得出两个样本均值存在显著差异的结论。因此，可以判断在置信水平为0.时，两个样本的均值无显著差异。