皮皮网

1.pg集群搭建几种方式
2.如何在Linux下调试PostgreSQL
3.PostgreSQL内核Trigger的源码研究一生
4.干货 | PostgreSQL数据表文件底层结构布局分析
5.PostgreSQL-源码学习笔记(5)-索引
6.怎样安装PGP

pg集群搭建几种方式

       两种。根据查询CSDN博客官网显示：

       1、源码研究Pgpool：位于应用程序和PG服务端之间，源码研究可以搭建在已经存在的源码研究任意版本的PG主从结构上。

       2、源码研究PostgresXL：在PG源代码的源码研究31wan源码基础上增加新功能实现，将PG的源码研究SQL解析层的工作和数据存取层的工作分离到不同的两种节点上搭建。

如何在Linux下调试PostgreSQL

        由于工作关系，需要调试postgreSQL源码，恰好同事写了这样一个文档，贴出来共享。在Linux下面调试Postgres，需要进行如下几个步骤

       ç”±äºŽå·¥ä½œå…³ç³»ï¼Œéœ€è¦è°ƒè¯•postgreSQL源码，，恰好同事写了这样一个文档，贴出来共享。

       åœ¨Linux下面调试Postgres，需要进行如下几个步骤：

       1. 安装Linux操作系统

       æ³¨æ„æŠŠgdb、Emacs或DDD这些开发工具都安装上。如果是在虚拟机上安装，依然需要设置Linux系统的网络环境；另外需要设置文件共享，方便windows下面的postgreSQL源码能在Linux下面访问到。

       2. 安装PostgreSQL

       useradd postgre

       ï¼ˆè‡ªåŠ¨å»ºç«‹ postgre 组；设计人员为了安全考虑，PostgreSQL 不能以root 用户运行，所以必须建立对应的用户和组。）

       è§£åŽ‹åˆ° /usr/local/src

       tar xvfz postgresql-8.4.tar.gz

       cd postgresql-8.4

       ./configure --prefix=/usr/local/pgsql --enable-debug --enable-assert --without-readline --without-zlib

       make

       make install

       chown -R postgre.postgre /usr/local/pgsql

       3. 设置Postgres环境变量（非必须）

       vi ~postgre/.bash_profile

       æ·»åŠ ï¼š

       PGLIB=/usr/local/pgsql/lib

       PGDATA=$HOME/data

       PATH=$PATH:/usr/local/pgsql/bin

       MANPATH=$MANPATH:/usr/local/pgsql/man

       export PGLIB PGDATA PATH MANPATH

       4. 建立数据库

       ä»¥ postgres 用户登录：

       su postgre

       å»ºç«‹æ•°æ®åº“目录：

       mkdir data

       å¯åŠ¨æ•°æ®åº“引擎：

       initdb _D “数据库目录”

       ä¹‹åŽå¯ä»¥æ ¹æ®æç¤ºï¼Œé€šè¿‡psql进入数据库

       5. 构造PostgreSQL调试环境

       å…ˆ psql template1进去，然后

       select pg_backend_pid();

       èŽ·å¾—id，就是gdb后面用到的数字

       gdb /usr/local/pgsql/bin/postgres (pid的数字)

       å¦‚果只使用gdb，全部是命令行界面；而Emac、DDD分别是彩色、黑白用户交互式图形界面。

       6. 使用gdb进行调试

PostgreSQL内核Trigger的源码研究一生

       本文简要介绍 PostgreSQL 数据库的 Trigger 从创建、存储、源码研究触发、源码研究执行、源码研究修改到删除的源码研究过程，贯穿 Trigger 的源码研究一生。

       文中引用的源码研究函数、结构体来源于 PG 源码，源码研究分支为 REL__STABLE，对应的 commit id 如下。此外还引用了 PG 官方文档。

       触发器简介

       Trigger 即触发器，它可以在特定事件发生时，对数据库中的对象执行特定操作：

       根据触发事件的不同，PG 的触发器分为两类：

       不同数据库中触发器的分类有所不同，比如 Oracle 分为 DML Trigger 和 System Trigger，SQL Server 分为 DML Trigger、DDL Trigger 和 Login Trigger，不论其如何划分，多数都可以与 PG 的触发器对应上。

       创建触发器语法

       首先介绍创建触发器的 SQL 和 PLpgSQL 语法。

       Trigger

       根据 PG 官方文档，创建 Trigger 的语法如下：

       下面以表 t1、t2 为例创建一个简单的触发器示例。表的定义如下：

       触发器定义如下，是表 t1 上的行级触发器，对 t1 进行 INSERT 之后会触发，并执行 insert_into_t2 函数，将插入到 t1 的数据也插入到 t2。

       insert_into_t2 函数定义如下，牛来了源码修复其中引用了上下文信息 NEW，表示插入到 t1 的数据，并将其插入到 t2。

       Event Trigger

       创建 Event Trigger 的语法如下，相比 Trigger 的语法要简单很多

       以下是 PG 官方文档中的一个简单示例，该 Event Trigger 可以在任何 DDL 语句执行之前触发，并抛出异常，禁止执行任何 DDL 语句。

       创建流程

       简单介绍创建触发器时 PG 内核中的函数调用流程。

       Trigger

       CREATE TRIGGER 命令都属于 DDL 语句，所以会进入 DDL 的处理流程，关键的调用路径为： ProcessUtilitySlow-->CreateTrigger-->CreateTriggerFiringOn，CreateTriggerFiringOn 函数代码超过 行，因此只介绍其中的关键步骤：

       Event Trigger

       CREATE EVENT TRIGGER 的关键调用路径为： standard_ProcessUtility-->CreateEventTrigger，该函数流程相对简单很多：

       触发器的存储

       用户创建的触发器必须持久化到数据库中，具体的存储位置是触发器相关的系统表中。

       Trigger

       Trigger 存储在 pg_trigger 系统表中，表中的关键字段如下，包含触发器所在的表、触发器名、触发器调用的函数、是否可推迟等属性。总之，通过 CREATE TRIGGER 创建触发器时指定的任何信息都会存储到系统表中。

       pg_trigger 系统表的各个字段在内存中用Trigger 结构体表示，定义如下，可见其成员变量与 pg_trigger 的属性是一一对应的。

       在内存中的 relcache（表缓存）中也同样保存有 Trigger 的信息：

       Event Trigger

       Event Trigger 存储在 pg_event_trigger 系统表中，关键字段如下，包含触发器名、调用的函数等信息。与 Trigger 不同的是，这里并不包含触发器所在的表，因为 Event Trigger 不属于任何一个表。

       触发过程

       触发器会在特定事件场景下被触发，它识别这些事件的怎么读游戏源码方式也很简单，就是在对应事件的代码处调用触发器函数。

       Trigger

       对于普通的触发器，触发时机是 INSERT、UPDATE、DELETE 等操作之前或者之后，所以在 PG 的执行器阶段触发，多数在 ProcessQuery-->ExecutorRun-->ExecModifyTable 函数中

       我们将执行触发操作的函数称为“触发器的执行函数”，各类触发器的执行函数命名格式比较统一，在此列举几种：

       以ExecBRInsertTriggers 为例说明触发过程：

       Event Trigger

       事件触发器支持的事件仅有 ddl_command_start、ddl_command_end、table_rewrite 和 sql_drop 这四类，分别对应四个执行函数，其触发时机说明如下：

       以 EventTriggerDDLCommandStart 为例说明触发过程：

       调用功能函数

       用户在创建触发器的 EXECUTE { FUNCTION | PROCEDURE } function_name 语句中指定了该触发器要执行的功能函数。在触发器被触发后，会执行该函数。

       Trigger

       在执行器阶段触发时，ResultRelInfo 结构体中存有表上的各项信息，其中就包括表上的触发器、函数等，所以直接从中就可以拿到触发器信息。关键结构体为 ResultRelInfo、TriggerDesc、Trigger，其嵌套关系如下：

       将ResultRelInfo 中获取的 Trigger 结构体的全部内容都填充到 TriggerData 结构体，ExecCallTriggerFunc 函数再从 TriggerData 中获取函数 oid，并执行该函数。

       TriggerData 结构体定义如下，其中除了 Trigger 以外还保存了各种执行上下文信息，heap 表信息等，与函数的执行有关。

       TriggerData 最终会保存到PLpgSQL_execstate 中，这是 PLpgSQL 执行过程中的一个重要结构体：

       触发器的功能函数执行的方法与普通的 PLpgSQL 函数、存储过程执行方法是类似的，关键调用路径是： ExecCallTriggerFunc-->plpgsql_call_handler-->plpgsql_exec_trigger-->exec_toplevel_block-->exec_stmt_block-->…………

       Event Trigger

       对于事件触发器，在触发阶段的EventTriggerCommonSetup 函数中，通过 EventCacheLookup 从缓存中查找触发器功能函数，主机测评网源码然后在 EventTriggerInvoke 中根据触发器函数的 oid 进行调用。

       EventTriggerCommonSetup 中还会填充 EventTriggerData 结构体，其中保存了调用过程中的一些关键信息：

       与普通触发器的 TriggerData 结构一样，EventTriggerData 结构体也会保存到PLpgSQL_execstate 中，在 PLpgSQL 执行过程中使用：

       事件触发器的功能函数实际执行步骤与普通触发器也基本相同，关键调用路径为： ExecCallTriggerFunc-->plpgsql_call_handler-->plpgsql_exec_event_trigger-->exec_toplevel_block-->exec_stmt_block-->…………

       修改触发器

       使用 ALTER 语句修改触发器的定义

       Trigger

       根据 PG 官方文档，ALTER TRIGGER 的语法如下：

       仅支持重命名和修改依赖的插件。

       重命名触发器的关键调用流程为：standard_ProcessUtility-->ExecRenameStmt-->renametrig，基本原理也是读取 pg_trigger 系统表的信息，修改以后写回系统表。

       修改触发器依赖插件的关键调用流程为：standard_ProcessUtility-->ExecAlterObjectDependsStmt，会修改 pg_depend 系统表。

       Event Trigger

       根据 PG 官方文档，ALTER EVENT TRIGGER 语法为：

       支持对事件触发器进行重命名、禁用、启用、修改 owner 的操作。

       ALTER TRIGGER 的关键函数是AlterEventTrigger，其内容较为简单：

       删除触发器

       使用 DROP 语句删除触发器

       Trigger

       PG 文档中 DROP TRIGGER 语法如下：

       删除触发器的关键函数是RemoveTriggerById，调用流程如下： ProcessUtilitySlow-->ExecDropStmt-->RemoveObjects-->performMultipleDeletions-->deleteObjectsInList-->deleteOneObject-->doDeletion-->RemoveTriggerById

       RemoveTriggerById 函数流程：

       Event Trigger

       PG 文档中 DROP EVENT TRIGGER 语法如下：

       删除事件触发器的关键函数是DropObjectById，这是一个公用的函数，可以删除多种类型的对象。

       调用流程如下： ProcessUtilitySlow-->ExecDropStmt-->RemoveObjects-->performMultipleDeletions-->deleteObjectsInList-->deleteOneObject-->doDeletion-->DropObjectById

干货 | PostgreSQL数据表文件底层结构布局分析

       PostgreSQL提供了稳定、可靠的数据存储与管理功能，用户无需深究其底层原理，只需完成建库、建表、插入数据等基本操作，数据即可被持久化于PostgreSQL数据库中。然而，对于数据存储在磁盘上的位置、形式以及格式，我们充满好奇。本文旨在通过源码分析与实践操作，深入解析PostgreSQL底层数据的存储方式。

       在PostgreSQL中，unity点击跳跃源码每个表由一个或多个堆文件表示，每个文件默认为1GB大小。当文件达到1GB后，PostgreSQL会创建新的堆文件。文件命名遵循特定规则：表OID加上序号ID（从1开始递增）。例如，一个名为student的表对应的堆文件名是。

       数据库和表文件名由OID命名，定义在postgres_ext.h文件中。当数据被存储在PostgreSQL中时，用户插入的数据会依次存储在常规文件中，这些文件被称为堆文件。堆文件有四种类型：普通堆文件、临时堆文件、序列堆文件和TOAST表堆文件。其中，普通堆文件用于常规数据存储。

       在研究表文件之前，需知晓PostgreSQL的数据目录位置，即PGDATA。通过psql命令SHOW DATA_DIRECTORY可以获取。对于关系型数据库，所有表都按数据库进行管理，即表属于特定数据库。

       在没有数据时，文件大小为0字节。插入数据后，文件大小会增加至8KB。PostgreSQL在向表中插入数据时，以8KB为单位进行管理。文件大小达到1GB后，创建新文件，继续上述过程。

       堆表文件由页组成，页的默认大小为8KB。每个页包含页头、行指针和堆元组。页头数据结构包括页的最后更改的LSN、校验和、位标志、空闲空间的开始和结束位置、特殊空间起始偏移量、页面大小及版本号、可删除的旧XID、行指针数组。

       行指针数组用于索引元组，数组元素个数取决于页中元组的数量。元组结构分为普通数据元组和TOAST元组，用于存储变长数据。普通元组包含堆元组头部、位图和用户存储的数据。头部结构包含事务ID、事务ID、命令ID、元组表示符和元组状态信息。

       为了查看堆表文件的详细信息，PostgreSQL提供扩展功能如pageinspect，可通过SQL命令创建使用。使用page_header()、get_raw_page()、heap_page_items()等函数可获取页头信息、元组头部信息和数据信息。

       借助工具如hexdump和od，可以将二进制文件转换为十六进制编码，便于分析堆表文件的数据内容。通过分析页头、行指针和元组结构，可以深入了解PostgreSQL表文件的底层布局。

PostgreSQL-源码学习笔记(5)-索引

       索引是数据库中的关键结构，它加速了查询速度，尽管会增加内存和维护成本，但效益通常显著。在PG中，索引类型丰富多样，包括B-Tree、Hash、GIST、SP-GIST、GIN和BGIN。所有索引本质上都是独立的数据结构，与数据表并存。

       查询时，没有索引会导致全表扫描，效率低下。创建索引可以快速定位满足条件的元组，显著提升查询性能。PG中的索引操作函数，如pg_am中的注册，为上层模块提供了一致的接口，这些函数封装在IndexAmRoutine和IndexScanDesc中。

       B-Tree索引采用Lehman和Yao的算法，每个非根节点有兄弟指针，页面包含"high key"，用于快速扫描。PG的B-Tree构建和维护流程涉及BTBuildState、spool、元页信息等结构，包括创建、插入、扫描等操作。

       哈希索引在硬盘上实现，支持故障恢复。它的页面结构复杂，包括元页、桶页、溢出页和位图页。插入和扫描索引元组时，需要动态管理元页缓存以提高效率。

       GiST和GIN索引提供了更大的灵活性，支持用户自定义索引方法。GiST适用于通用搜索，而GIN专为复合值索引设计，支持全文搜索。它们在创建时需要实现特定的访问方法和函数。

       尽管索引维护有成本，但总体上，它们对提高查询速度的价值不可忽视。了解并有效利用索引是数据库优化的重要环节。

怎样安装PGP

       如果要你安装的是 gnome 介面的 pgp :

       sudo apt-get install gpgp

       如果你只是想安装console版的pgp:

       sudo apt-get install gnupg

       或者你可以先search 一下， 看看你要安那一个软体

       apt-cache search pgp

       之后会例出一堆有关pgp的包。

       用

       sudo apt-get install **软体名称

       来安装

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。