1.eBPF/Ftrace 双剑合璧：no space left on device 无处遁形

eBPF/Ftrace 双剑合璧：no space left on device 无处遁形

       在生产环境中，阅读源码k源我们遇到了创建容器时“no space left on device”的内核问题，磁盘使用空间和inode的码阅状况都显示正常。常规的阅读源码k源排查方式无法定位问题，那么是内核否有快速且通用的方法来找出问题的根源？本文是通过eBPF和Ftrace在单独环境中进行问题分析和定位的记录，希望能为遇到类似情况的码阅底层源码函数读者提供参考。

       当在机器上运行`docker run`命令时，阅读源码k源系统会提示“no space left on device”，内核这表明在overlay mount过程中磁盘空间不足。码阅使用`df -Th`命令检查磁盘空间情况，阅读源码k源磁盘使用率仅为%。内核接下来，码阅通过`df -i`查看inode的阅读源码k源使用情况，overlay文件系统的内核inode使用率仅为7%。此时，码阅teb算法源码我们可能怀疑是否存在文件被删除但句柄未被释放，导致inode泄露。为了验证这一假设，我们执行了`lsof | grep deleted`，但结果为空，意味着没有找到被删除但仍被使用的文件。

       在常规排查方法都失效的源码任务发布情况下，我们尝试了eBPF（BCC工具集基于eBPF技术开发）和Ftrace的组合应用，以期快速定位问题。首先，我们利用BCC提供的系统调用跟踪工具`syscount-bpfcc`，通过错误码来快速确定问题。在时间允许的情况下，我们推荐从源代码逐步分析定位问题，套用源码python这不仅能解决问题，还能深入学习。

       在内核中搜索报错信息，我们可以直接在`include/uapi/asm-generic/errno-base.h`文件中找到与错误相关的定义。接着，利用`syscount-bpfcc`工具过滤返回`ENOSPC`错误的系统调用，我们发现`mount`系统调用返回了`ENOSPC`错误。博客透明源码通过参数`-P`按进程聚合显示，我们得知`dockerd`后台进程调用了`mount`系统调用并返回了错误。

       进一步跟踪错误的具体位置，我们使用了Ftrace中的`function_graph`跟踪器。通过使用`funcgraph`工具，我们能够获取到`__arm_sys_mount`函数中调用的主要子流程函数。在内核函数调用过程中，如果遇到错误，内核通常会直接跳转到错误相关的清理函数逻辑中，这里我们关注`path_mount`函数，以深入分析可能的问题。

       在确认问题主要出现在`count_mounts`函数中后，我们通过源代码分析函数的主流程逻辑，确定问题是由`sysctl_mount_max`配置值过低引起，这是通过`/proc/sys/fs/mount-max`设置的。通过将此值调整为默认值，我们成功解决了问题。

       本次问题排查的思路不仅适用于“no space left on device”的情况，也适用于其他场景下的问题分析和排查。同时，将此思路作为源码阅读和分析内核代码时的补充工具，能有效提升问题定位的效率。希望本文能为读者提供有用的参考，如果发现文中的错误或有更好的案例，欢迎留言交流。