皮皮网

1.PostgreSQL · 源码分析 · 回放分析（一）
2.[转载] 细说jbd （journal-block-device）& 源码分析
3.运维基础（10）linux被删数据恢复方法
4.记一次血淋淋的数据数据MySQL崩溃修复案例

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，恢复恢复如断电、原理源码原理源码崩溃。数据数据这些情况可能导致数据异常或丢失，恢复恢复影响业务。原理源码原理源码分销源码怎么对接为了在数据库重启时恢复到崩溃前状态，数据数据确保数据一致性和完整性，恢复恢复我们引入了WAL（Write-Ahead Logging）机制。原理源码原理源码WAL记录数据库事务执行过程，数据数据当数据库崩溃时，恢复恢复利用这些记录恢复至崩溃前状态。原理源码原理源码

       WAL通过REDO和UNDO日志实现崩溃恢复。数据数据REDO允许对数据进行修改，恢复恢复UNDO则撤销修改。原理源码原理源码REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，梦想cad源码回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。mybatis 源码事务在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，金融分红源码复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

[转载] 细说jbd （journal-block-device）& 源码分析

       文章探讨了journal-block-device (jbd)在ext4文件系统中的应用，虽然以ext3的jbd2分析为主，但其设计思想相似。jbd的核心目标是解决文件系统中事务的原子性和数据恢复问题。它通过将内存中的事务数据记录在单独的日志空间，确保操作的原子性，并能在系统故障后从日志恢复数据。以下是关键概念和操作的概述：

       1. 通过将文件系统操作抽象为原子操作，jbd将多个操作组成事务，确保数据的一致性。

       2. 日志模式的.net abp源码划分和管理是jbd的重要组成部分，包括journal_start, journal_stop等基本操作。

       3. 数据结构如handle_t, transaction_t和journal_t被用于存储和管理事务信息。

       4. jbd涉及元数据和数据缓冲区处理流程，以及journal_recover函数在恢复阶段的角色，如PASS_SCAN, PASS_REVOKE和PASS_REPLAY。

       5. 提交事务时，kjournald负责关键步骤，如journal_commit_transaction, journal_write_metadata_buffer等。

       6. 日志恢复是整个机制的核心环节，确保在系统崩溃后能正确恢复数据和元数据。

       文章详细介绍了这些概念和操作，展示了jbd如何在ext3和ext4中扮演关键角色，确保数据安全和完整性。通过深入理解这些原理，我们可以更好地理解文件系统的可靠性和性能优化。

运维基础（）linux被删数据恢复方法

       源代码托管网站sourceforge.net提供了一个名为extundelete的工具，用于Linux系统中被删除数据的恢复。extundelete具有多种参数和动作，帮助用户在不同场景下恢复丢失的数据。

       在使用extundelete之前，首先需要安装必要的软件包。通过命令行操作，依次执行#cd /usr/local/src，#yum install gcc-c++，#yum install e2fsprogs-devel e2fsprogs，#wget zy-res.oss-cn-hangzhou.aliyuncs.com，#tar -jxvpf extundelete-0.2.4.tar.bz2，#cd extundelete-0.2.4，#./configure ; make ; make install。这一步确保了extundelete的安装和配置。

       在数据恢复阶段，首先需要确认文件系统挂载情况。以sdb1和sdb2作为示例，分别在mnt1和mnt2目录下存放了文件1.file和2.file。通过#cd /mnt1，执行#rm -rvf 1.file删除文件，然后#cd /#umount /mnt1确保磁盘挂载安全解除，避免数据丢失。执行#extundelete /dev/sdb1 --inode 2命令恢复特定inode编号的文件，确保恢复过程正确无误。

       对于目录恢复，使用#extundelete /dev/sdb1 --restore-directory tmp命令，其中tmp是被删除目录的路径。通过恢复目录结构，用户可以迅速恢复丢失的数据组织。

       extundelete的强大之处在于，它无需依赖特定的文件格式进行恢复。其工作流程包括：首先通过文件系统的inode信息（根目录inode通常为2）获取文件系统的文件信息，包括已存在和已删除文件的详细信息，如文件名和inode；然后利用inode信息结合日志查询文件所在的block位置，包括直接块、间接块等信息；最后，通过dd命令备份这些信息，完成数据恢复。

       为了确保数据恢复的安全性，建议使用umount命令解除磁盘挂载。未解除挂载直接运行恢复命令可能导致数据丢失风险。在恢复操作后，通过#ls /mnt1/1.file命令验证文件恢复成功。

       欢迎关注微信公众号厦门微思网络，获取更多专业IT认证培训信息，包括思科、华为、红帽、ORACLE、VMware、CISP、PMP等课程。通过往期回顾，了解运维基础系列内容，包括Nginx、实用工具篇、备份篇、流量监控工具篇、Ansible、CI / CD、Ansible Tower、shell脚本以及Linux性能调优三大系统。

记一次血淋淋的MySQL崩溃修复案例

       本文提供了一次MySQL数据库崩溃后的修复案例，旨在帮助读者在遇到类似问题时能够迅速且有效地解决问题，无需担心“删库跑路”的风险。

       首先，问题描述指出，研究MySQL源代码、调试时，MySQL出现崩溃，并且损坏了InnoDB文件。幸运的是，此情况发生在调试环境下。通过查看日志，可以发现是innodb引擎出现问题。进一步分析日志，找到强制恢复的方法。在my.cnf配置文件中，需要添加`innodb_force_recovery=1`，然后重启MySQL。若该设置无效，可以尝试其他值，例如2-6。重启后，使用mysqldump或pma导出数据，执行修复操作，最后将`innodb_force_recovery`参数恢复默认值0。

       配置文件中的`innodb_force_recovery`参数负责影响整个InnoDB存储引擎的恢复状况。默认值为0，表示执行所有恢复操作，可能导致无法启动MySQL并记录错误日志。而设置值为1-6则允许执行更多操作，如对表进行select、create、drop操作，但不允许执行insert、update或delete操作。

       本文提供了三种修复MySQL崩溃的方案：

       第一种方法

       1. 建立一张新表，导入数据，删除原表，重启MySQL，重命名数据库，最后改回存储引擎。

       第二种方法

       1. 使用mysqldump将表格导出，再导入到InnoDB表中。备份导出数据脚本，并在需要时导入。

       第三种方法

       1. 配置my.cnf，设置`innodb_force_recovery`值，重启MySQL。

       2. 导出数据脚本，备份数据库。

       3. 删除关键文件（ib_logfile0、ib_logfile1、ibdata1），备份后删除。

       4. 重新配置my.cnf，删除或修改`innodb_force_recovery`值，重启MySQL。

       5. 将数据导入MySQL数据库。

       在执行任何操作时，请确保数据备份成功，并注意处理过程中可能出现的特定注意事项。通过本文提供的步骤和方法，读者可以更直观地了解如何处理MySQL崩溃问题，确保数据库的稳定运行。