皮皮网

1.xfs文件系统：layout与架构、志文志文源码分析
2.xfs是系件系什么？
3.XFS文件系统简介 Linux中使用XFS文件系统的配置方法
4.日志式文件系统linux环境下的几种日志文件
5.XFS是什么?
6.xfs文件系统-设计原理1

xfs文件系统：layout与架构、源码分析

       本文由腾讯工程师aurelian撰写，统源统原深入解析Linux内核中xfs文件系统的码日layout与架构，结合源码剖析其工作原理。志文志文首先，系件系矩阵算法源码xfs的统源统原layout包括超级块、AGF管理（空闲空间追踪）、码日AGI管理（inode管理）、志文志文AGFL（空闲链表）以及B+树结构等组成部分，系件系每个部分都有其特定功能，统源统原如超级块用于存储关键信息，码日B+树用于快速查找空间。志文志文

       在文件操作方面，系件系xfs支持iops、统源统原fops和aops三个操作集，分别负责inode元数据、内存级读写和磁盘级读写。创建文件时，会检查quota并预留空间，通过一系列函数如xfs_trans_reserve_quota和xfs_dir_ialloc进行操作。分配inode时，会依据agi信息和ag的空闲情况动态分配，并通过xfs_iget确保inode在核心内存中可用。

       磁盘级inode分配涉及agi信息的获取和B+树的查找，xfs_ialloc_ag_alloc会根据空闲inode情况完成连续或非连续的分配。写操作涉及内存和磁盘级别，buffer io通过page cache管理，直接io和DAX write则有特定的处理方式。xfs的映射关系和data区域树管理对于高效读写至关重要。

       工具方面，mkfs.xfs用于格式化，xfs_fsr、xfs_bmap、xfs_info等用于维护和监控文件系统，xfs_admin和xfs_copy用于系统参数调整和数据复制，xfs_db则是用于调试的工具。希望本文能帮助读者理解xfs的复杂性，如需了解更多详情，可关注鹅厂架构师公众号。

xfs是什么？

       xfs是一种日志文件系统。

       xfs文件系统是一种高性能的日志文件系统，它在许多方面表现出色，特别是在大规模数据存储和高并发访问的环境中。以下是关于xfs的

xfs的特点

       1. 日志功能：xfs具备强大的日志功能，能够记录文件系统的所有变更。这一特性使得系统在崩溃后能够快速地恢复数据，提高了数据的安全性和系统的稳定性。

       2. 可扩展性：xfs能够支持大规模的存储空间，具有出色的扩展性。无论是几百TB还是数PB的数据量，xfs都能提供稳定高效的性能表现。

       3. 高性能：xfs针对性能优化做了很多设计，特别适合在大数据处理和存储的在线安装ipa源码环境中应用。它能提供很高的读写速度，支持高并发的访问请求。

       4. 灵活性和兼容性：xfs支持多种不同的磁盘配置和文件系统挂载选项，用户可以根据需求调整配置。同时，它也能在不同的操作系统平台上运行，具有良好的兼容性。

xfs的应用场景

       由于xfs文件系统的上述特点，它常被应用于需要处理大量数据的场景，如云计算、数据中心、大型数据库等。此外，在需要高可靠性和高性能的存储解决方案的企业级应用中，xfs也常被选用。

总结

       xfs作为一种日志文件系统，以其高性能、高可靠性、灵活性和可扩展性等特点，广泛应用于大数据处理、存储和企业级应用中。它的日志功能、对大规模存储的支持以及高性能表现，使其成为许多场合下的理想选择。

XFS文件系统简介 Linux中使用XFS文件系统的配置方法

       XfS文件系统是SGI开发的高级日志文件系统，XFS极具伸缩性，非常健壮。所幸的是SGI将其移植到了Linux系统中。在linux环境下。目前版本可用的最新XFS文件系统的为1.2版本，可以很好地工作在2.4核心下。

一、XFS文件系统简介

       主要特性包括以下几点：

数据完全性

       采用XFS文件系统，当意想不到的宕机发生后，首先，由于文件系统开启了日志功能，所以你磁盘上的文件不再会意外宕机而遭到破坏了。不论目前文件系统上存储的文件与数据有多少，文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。

传输特性

       XFS文件系统采用优化算法，日志记录对整体文件操作影响非常小。XFS查询与分配存储空间非常快。xfs文件系统能连续提供快速的反应时间。笔者曾经对XFS、JFS、Ext3、ReiserFS文件系统进行过测试，XFS文件文件系统的性能表现相当出众。

可扩展性

       XFS 是一个全-bit的文件系统，它可以支持上百万T字节的存储空间。对特大文件及小尺寸文件的支持都表现出众，支持特大数量的目录。最大可支持的微擎打包源码文件大小为 = 9 x = 9 exabytes，最大文件系统尺寸为 exabytes。

           XFS使用高的表结构(B+树)，保证了文件系统可以快速搜索与快速空间分配。XFS能够持续提供高速操作，文件系统的性能不受目录中目录及文件数量的限制。

传输带宽

       XFS 能以接近裸设备I/O的性能存储数据。在单个文件系统的测试中，其吞吐量最高可达7GB每秒，对单个文件的读写操作，其吞吐量可达4GB每秒。

二、XFS文件系统的使用

1．下载与编译内核

       下载相应版本的内核补丁，解压补丁软件包，对系统核心打补丁

           下载地址：ftp://oss.sgi.com/projects/xfs/download/Release-1.1/kernel_patches/xfs-1.1-2.4.-all.patch.bz2

           对核心打补丁，下载解压后，得到一个文件：xfs-1.1-2.4.-all.patch文件。

           对核心进行修补如下：

       复制代码

           

       代码如下:

       # cd /usr/src/linux

           # patch -p1 /path/to/xfs-1.1-2.4.-all.patch

       修补工作完成后，下一步要进行的工作是编译核心，将XFS编译进Linux核心可中。

       首先运行以下命令，选择核心支持XFS文件系统：

       复制代码

           

       代码如下:

       #make menuconfig

       在“文件系统“菜单中选择：

       * SGI XFS filesystem support ##说明：将XFS文件系统的支持编译进核心

           或

           M SGI XFS filesystem support ##说明：以动态加载模块的方式支持XFS文件系统

           另外还有两个选择： Enable XFS DMAPI##说明：对磁盘管理的API，存储管理应用程序使用

           Enable XFS Quota##说明：支持配合Quota对用户使用磁盘空间大小管理

           完成以上工作后，退出并保存核心选择配置

           之后，然后编译内核，安装核心:

       复制代码

           

       代码如下:

       #make bzImage

           #make module

           #make module_install

           #make install

       如果你对以上复杂繁琐的工作没有耐心或没有把握，那么可以直接从SGI的站点上下载已经打好补丁的核心，其版本为2.4.。它是一个rpm软件包，你只要简单地安装即可。SGI提交的核心有两种，分别供smp及单处理器的机器使用。

           2．创建XFS文件系统

       完成对核心的编译后，还应下载与之配套的XFSprogs工具软件包，也即mkfs.xfs工具。不然我们无法完成对分区的格式化:即无法将一个分区格式化成XFS文件系统的格式。要下载的软件包名称：xfsprogs-2.0.3。

       将所下载的XFSProgs工具解压，安装，mkfs.xfs自动安装在/sbin目录下。

       复制代码

           

       代码如下:

       #tar –xvf xfsprogs-2.0.3.src.tar.gz

           #cd xfsprogs-2.0.3src

           #./configure

           #make

           #make install

       使用mkfs.xfs格式化磁盘为xfs文件系统，方法如下：

       复制代码

           

       代码如下:

       # /sbin/mkfs.xfs /dev/sda6 ＃说明：将分区格式化为xfs文件系统,以下为显示内容：

           meta-data=/dev/sda6 isize= agcount=8, agsize= blks

           data = bsize= blocks=, imaxpct=

           = sunit=0 swidth=0 blks, unwritten=0

           naming =version 2 bsize=

           log =internal log bsize= blocks=

           realtime =none extsz= blocks=0, rtextents=0

       格式化磁盘时，如果mkfs.xfs提示你分区原本已被格式化为其它文件系统，可以使用参数 –f 强行格式化：

       复制代码

           

       代码如下:

       #/sbin/mkfs.xfs –f /dev/sda6

3．加载XFS文件系统

       复制代码

           

       代码如下:

       #mount –t xfs /dev/sda6 /xfs ##其中/xfs是主分区/下的一个目录。

       最后，为了让系统启动后就自动加载，应该更改/etc/fstab，这样系统启动后就会自动加载xfs分区而不必每次都手工加载。

           要说明的一点是目前的xfs由于受linux内存页限制，在x版本中，只能实现文件系统的块尺寸为4K。另外，XFS文件系统可以不同的方式 mount，即允许文件系统以读方式加载，广告联盟源码视频也允许以读写方式加载。这是因为xfs文件系统用作根文件系统时，为了安全要以只读方式加载。

三、文件系统的迁移

       要使得系统中的其它分区使用XFS文件系统，还有一步是迁移文件系统。建议在迁移文件系统时，首先将磁盘上的数据、文件先备份，以免发生不可挽回的损失，在进行文件系统转换之间，最好能将整个系统进行完全备份。这一步有很多种方法，本文仅就笔者的迁移方法加以描述。各位可以按照自己习惯的方式去完成 。

       如果你想得到一个纯的xfs系统(系统的所有文件系统均采用XFS文件系统)话，还得将根文件系统也格式化为xfs文件系统。这实际上是比较繁杂的一步。因为根文件系统不能被umount，所以，必须首先创建一个分区，其文件系统为ext2文件系统，然后将目前的根分区上的所有文件与目录，原原本本地复制到这一个分区，然后更改/etc/fstab文件，替换原来的根分区。

       方法如下：

       复制代码

           

       代码如下:

       $ mkfs -t ext2 /dev/hda4

           $ mkdir /mnt/temp

           $ mount -t ext2 /dev/hda4 /mnt/temp

           $ cd /

           $ tar lcvf - .|(cd /mnt/temp; tar xpvf - )

       以上操作是将根分区上的所有文件打包，复制到新建立的分区。当然，你也可以直接使用以下命令复制文件。

       复制代码

           

       代码如下:

       # cp –dpR / /mnt/temp

       接着，将下次启动的根分区更改到/dev/hda4分区，更改/etc/fstab文件及/etc/lilo.conf ，然后，运行 lilo.

       重新启动后，新的根分区就已经为/dev/hda4。

       接下来，创建一个xfs文件系统的分区：

       复制代码

           

       代码如下:

       $ mkfs -t xfs /dev/hda2

       加载此分区，采用两样的方法，将根分区的内容复制到此分区

       复制代码

           

       代码如下:

       $ mount -t xfs /dev/hda2 /mnt/temp

       在根分区下，运行

       复制代码

           

       代码如下:

       $ cd /

           $ tar lcvf - .|(cd /mnt/temp; tar xpvf - )

       再次更改/etc/fstab、/etc/lilo.conf，用新建的xfs分区替换原来的ext2主分区。如下所示：

       复制代码

           

       代码如下:

       /dev/hda2 / xfs defaults 1 1

       将新建的xfs分区用作根分区，保存以上设置。再次检查配置文件内容，确认无误后再重新启动系统。如果你的设置全部正确，那么系统成功启动后，你就拥有一个纯XFS文件系统的系统了。

日志式文件系统linux环境下的几种日志文件

       几种日志文件系统在Linux环境下的特点

       1. SGI的XFS文件系统:

       SGI的XFS 1.0是Linux 2.4.x核心的兼容版本，尤其在Red Hat上表现良好，拥有先进的收款码合并 源码位技术，支持超大文件和高性能3D数据处理。

       其可升级性使其适应快速变化的存储需求，能动态分配索引空间并支持大型文件系统。

       具有优秀的I/O性能，支持大型磁盘阵列，能在意外中断后迅速恢复，减少磁盘检查时间。

       2. ReiserFS文件系统:

       首次公开于年，ReiserFS以平衡树结构提供快速的搜索和高效空间利用，尤其在大型文件系统中表现突出。

       先进的日志机制确保数据完整性，即使在系统崩溃后也能快速恢复。

       支持海量磁盘，尽管升级需要格式化，但因其高效性能在大型应用中具有优势。

       3. IBM的JFS文件系统:

       JFS由AIX的开发团队开发，移植到Linux后，被证明是可靠且性能出色的。

       通过异步日志技术减少性能损耗，提供更好的系统稳定性。

       4. ext3fs（ext2的后继者）:

       ext3fs作为ext2的升级版，支持异步日志，兼容性好，可能在性能上优于ext2，但需要注意硬盘限额问题。

       新版本的ext3已针对kernel 2.4.8优化，并在一些Linux发行版中启用。

扩展资料

       日志文件（Log files）是包含系统消息的文件，包括内核、服务、在系统上运行的应用程序等。不同的日志文件记载不同的信息。日志文件系统比传统的文件系统安全，因为它用独立的日志文件跟踪磁盘内容的变化。

XFS是什么?

       XFS是一种高性能的日志文件系统，专为UNIX和类UNIX操作系统设计，如Linux。

       XFS最初是由Silicon Graphics, Inc. (SGI)开发的，它利用了现代计算机硬件的特性，如大容量内存和高速CPU，来提供出色的文件存储性能。XFS是SGI IRIX操作系统的默认文件系统，并在之后的岁月里，由于其出色的性能和稳定性，逐渐被其他操作系统，如Linux，所采纳。

       XFS具有许多先进的特性，如支持超大数据卷（可以达到数十亿个文件和数百TB的数据量）、强大的日志恢复机制、连续的数据块分配策略以及实时性能调整等。这些特性使得XFS在需要处理大量数据和高并发访问的场景中表现出色，如大型数据库服务器、文件服务器、视频和图像处理工作站等。

       举个例子，XFS的连续数据块分配策略意味着在写入大量小文件时，它不会像某些其他文件系统那样产生大量的碎片，从而保持了磁盘的高效率。此外，XFS的日志恢复机制可以在系统崩溃后迅速恢复数据，保证了数据的完整性和可用性。

       总的来说，XFS是一种非常优秀的高性能文件系统，特别适用于需要处理大量数据和高并发访问的场景。它的稳定性和高性能使得它在许多关键业务场景中成为首选的文件系统。

xfs文件系统-设计原理1

       揭示XFS的奥秘：深入理解其设计原理与高级特性

       作为标准Unix接口的杰出代表，XFS以其高效和可靠性而著称。它由基础元素——目录、文件、符号链接和设备——构建，每个对象都有独特的标识，通过inode编号确保独一无二。文件系统结构巧妙地划分成块，每个分配组(AG)独立管理元数据，文件则由属性fork和数据fork这两部分组成，紧密连接着文件系统块。

       然而，对于PB级文件系统，元数据的完整性是至关重要的挑战。XFS V5通过升级元数据头部，引入了强大的保护措施。每个元数据块都包含了魔术数字、UUID、所有者信息、精确的块编号、LSN（逻辑顺序编号）以及CRCc校验和，确保数据的准确性和错误检测。这一扩展的元数据验证覆盖了所有关键区域，如inodes和AG块，为数据的保护提供了坚实的基础。

       自描述元数据机制解决了识别和验证块位置的问题，但它并非万能的纠错工具，定期备份仍是必要的。元数据完整性检查在PB级文件系统扩展中扮演着决定性角色，它确保了系统的健壮性，使得错误的早期检测和处理成为可能。

       为了确保数据的准确性和错误易见性，XFS在元数据设计中注重细节。例如，每个元数据块都包含明确的标识符，如XFS的魔术数字，以及写入时间，这对于取证分析至关重要。读取和写入操作前都会进行实时验证，尽管这无法捕捉所有类型的损坏，但通过在主代码体中集成有状态检查，系统能够持续监控并发现潜在问题。

       在处理磁盘I/O时，XFS特别关注EFSCORRUPTED错误的处理。验证过程涉及魔术数字、CRC校验、位置信息和元数据一致性。读取时首先验证，写入时则在写入前进行广泛验证并附加CRC。磁盘结构的核心是基础信息，如magic、CRC、UUID、所有者和位置，元数据的内部结构如B树块和目录/属性节点则更为复杂。

       验证器的实现，如静态函数xfs_foo_verify和xfs_foo_write_verify，展示了这种细致入微的验证过程。它们检查关键元素的正确性，如魔法号、uuid、块号和所有者，确保数据的一致性和完整性。而具体的对象验证逻辑则根据操作类型动态调整，确保高效且精确。

       元数据的验证与对象处理同样严谨，如inodes和Dquots，它们在读取或写回时，对基本标识、CRC和标识符进行单独校验。验证器的设计与实际操作紧密耦合，确保了XFS的稳健性和性能。

       总结来说，XFS的设计巧妙地平衡了标准接口的易用性与PB级文件系统的元数据完整性。通过严格的验证机制，XFS确保了数据的安全，即使在面对大规模存储挑战时，也能提供强大的错误检测和恢复能力。

关于XFS文件系统概述

       目前XFS已成为Linux主流的文件系统，了解其数据结构和原理变得尤为重要。

       XFS文件系统是一种日志型文件系统，即使在断电或操作系统崩溃的情况下也能保证数据的一致性。它最初是为IRIX操作系统开发的，后来被移植到Linux上，如今已成为CentOS 7的默认文件系统。随着XFS的普及，掌握其数据结构和原理变得至关重要。更多官方信息可参考xfs.org/docs/xfsdocs-xm...

       本文将介绍XFS的关键概念，如分配组、超级块和inode等，并结合xfs_db（XFS提供的信息输出工具）展示实时数据。

       分配组（Allocation Group）

       XFS将空间划分为若干个分配组，每个分配组大小相等（最后一个可能不等）。每个分配组都包含超级块、inode管理和剩余空间管理等，可以看作是一个独立的文件系统。正是这种设计，使得XFS具备并行IO的能力。在单个分区上使用XFS无法体现这种能力，但若文件系统跨越多个物理硬件（如Ceph），并行IO将大幅提升吞吐量利用率。

       上图为分配组的结构图，重点关注前四个扇区，从上到下分别为超级块、空闲块信息、inode信息和内部空闲列表。

       超级块（superblock）

       超级块位于分配组的第一个扇区，包含分配组和文件系统的全部元数据信息。由于结构体较大，此处不再列举，可参考官方文档。要查看超级块内容，使用xfs_db -r /dev/xxx（xxx为XFS所在分区），输入sb再输入p即可（输出因篇幅原因省略）。

       超级块的核心元数据包括：blocksize（块大小，一般为4KB）、dblocks（一个分配组含有的块数目）、agcount（整个文件系统含有的分配组数目）、sectsize（扇区大小，一般为B）、inodesize（inode节点大小，一般为B）、icount（整个文件系统目前已分配的inode数目）、ifree（整个文件系统空闲的inode数目，动态值）。

       空闲块信息（AG free block info）

       位于分配组的第二个扇区，主要描述两个空闲空间B+树和剩余空间信息。核心成员包括：agf_roots（XFS_BTNUM_AGF为2，指明2棵空闲空间B+树所在的block）、agf_levels（树高）、agf_freeblks（分配组目前空闲block数目）。

       空闲空间B+树

       空闲块信息包含两颗空闲空间B+树，分别以block序号和block数目为关键字，满足不同需求。B+树贯穿XFS，了解其运作原理至关重要。网上有很多关于B+树的资料，请自行查阅。本文仅描述核心概念。

       B+树是一种多叉平衡排序树，有m个关键字的中间节点有m个子节点，中间节点只含关键字不含数据，叶子节点含有所有关键字和数据，叶子节点含有左右节点指针，形成有序链表。

       接下来将通过xfs_db探索这两棵树的内容。从agf的打印信息可知bnoroot=1和cntroot=2，分别指明了以block序号和block数目为关键字的B+树的根节点所在的block序号。

       Inode B+树信息

       位于分配组的第三个扇区，主要描述inode B+树的根block、已构造的inode个数以及空闲个数。核心成员包括：agi_root（inode B+树的根block）、agi_level（树高）、agi_count（已构造的inode数目）、agi_freecount（空闲的inode数目）。

       Inode信息

       每个文件或目录都对应一个inode，用于描述文件的基本信息，除了目录或链接，inode不携带文件数据。inode分为三部分：xfs_dinode_core_t（固定信息，描述文件类型、属性、访问时间等）、data fork（存放数据位置信息）、extended attribute fork（存放扩展数据位置信息）。

       Inode Core

       描述文件的基本信息，具体定义如下：di_mode（指定文件类型和访问权限）、di_format（指定data fork的数据格式）、di_uid（拥有者id）、di_gid（拥有者的组id）、di_atime、di_mtime、di_ctime（访问时间、修改时间、修改属性时间）、di_size（数据大小）、di_forkoff（data fork和extended attribute fork的分界线）。

       Inode number

       Inode有个唯一身份标识的number，有两种格式：相对格式（位）和绝对格式（位）。绝对格式比相对格式多了AG number部分，中间部分为block序号，右侧部分为inode在该block内的序号。

       计算inode所在位置的方法：

       假设block序号为A，inode序号为B，AG number为C，每个分配组的block数目为D，Inode大小为E，block大小为F（这些值可以计算或通过超级块得到）

       则inode所在的block序号 x = C D + A，inode地址为 y = x F + E * B

       data fork

       不同文件类型的data fork形式有所不同，本文将一一描述。

       普通文件

       普通文件的数据不会放在data fork中，视extent数目大小，有两种数据形式：Extent List（每个extent指明存放数据的block地址，遍历该list便可得到全部文件数据）和B+tree Extent List（由于data fork的容量有限，如果extent数量太多，将采用B+树的形式存放extent）。

       目录

       目录有四种形式：Shortform目录（目录下文件不多或文件名短，目录的数据放在data fork中）、Block目录（data fork存放不下目录的内容，采用额外的一个block存放）、Leaf目录（一个block存放不下目录的内容，把索引信息从block中抽离，索引信息用额外一个block存放）、Node目录（一个block存放不下索引信息，采用多个block存放索引信息）、B+树目录（data fork已经存放不下数据block extent，采用B+树方式存放block extent）。

       链接

       链接有两种形式：Shortform链接（data fork能存放下链接的内容，内容即目标文件的路径）和Extent链接（采用额外的block存放链接的内容，extent存放block信息）。

       结束语

       以上就是XFS文件系统的一些基本数据结构。了解这些数据结构有助于深入探索XFS系统，并在系统出现问题时更好地分析原因。

Linux文件系统xfs#1-开篇

       硬盘，作为存储设备，其逻辑空间可视为有大小限制的连续区域，但数据读写是以扇区为单位，通常大小为B或B。硬盘分区是常见操作，MBR方案一度以4个分区为主，其中4个主分区和1个扩展分区。后来的GPT方案则改进了分区表设计，提供更大的灵活性。为了更高效管理，物理卷、卷组和逻辑卷的概念引入，将硬盘抽象为地球上的板块结构。

       虚拟文件系统(VFS)作为抽象层，统一了对不同文件系统如xfs、ext4、tmpfs等的访问接口，允许应用程序以通用方式操作不同类型的文件和目录，无需关注底层实现。通过mount命令，用户可以将文件系统挂载到VFS节点上，而df –T命令则展示了服务器的挂载情况。

       本文概述了硬盘、分区、VFS等基本概念，对于深入学习Linux文件系统xfs，后续文章将提供详细内容。对于感兴趣的部分，推荐查阅相关文档以深化理解。