【spark 源码scala】【hmj源码】【amap源码】lseek源码
1.Linux系统编程 每周一深入 (二)高级文件IO
2.fseek函数在c语言里面是偏移,还是改变指针?
Linux系统编程 每周一深入 (二)高级文件IO
在Linux系统中,一切操作都可以抽象为文件读写。因此,本系列文章的第二部分将深入探讨Linux中的文件IO。
常规的文件IO涉及的系统调用包括:open、read、spark 源码scalawrite、close,分别对应打开、读取、写入和关闭文件。在执行读写操作时,内核会维护一个指向当前文件偏移量的指针。为了灵活控制偏移量,系统调用lseek提供了定位文件位置的能力。glibc提供的fopen、fread、hmj源码fwrite、close和fseek(ftell)等函数,则是上述系统调用的封装,其中包含缓存机制以提高读写效率。
通常,上述函数足以应对大部分应用场景。今天,我们将重点介绍几个更高级的amap源码系统调用:pread、pwrite、readv、writev、preadv和pwritev。它们的功能可以用基本读写函数实现,但提供更便捷的特性,可能在某些场景下成为提高效率的利器。
以多线程下载程序为例,odbc源码我们可以通过记录每个线程负责的文件部分位置和已写入字节数,实现数据合并。但这种方法可能因加锁和频繁的lseek操作而成为下载速度的瓶颈。为了避免这些问题,可以使用pread和pwrite系统调用,它们不会改变文件偏移量,从而简化程序逻辑。
在分散读和集中写的sshzhuce源码场景中,writev系统调用可以将分散数据集中在一次系统调用中发送。与之对应的readv系统调用则完成相反的操作,从文件中读取数据并填充到指定位置。nginx源码中就包含分散度和集中写的例子。
此外,Linux还提供了preadv和pwritev函数,支持多线程的分散读和集中写。这些函数结合了pread、pwrite、readv和writev的功能,在特定应用场景下可以提高效率。
总结:Linux的文件IO功能丰富,除了基础操作外,还针对多线程和集中/分散读写提供了系列函数。掌握这些函数的用途和使用方法,将有助于解决特定应用场景下的效率问题。
fseek函数在c语言里面是偏移,还是改变指针?
实践上 C 标准文件流不记录与文件位置相关的信息,而是取决于操作系统的实现。根据 Windows NT 操作系统内核暴露出的接口来看,Windows NT 是基于偏移的。
微软 C 运行库(Visual C++ 6.0 版本)的实现简单易懂。fseek 函数首先清空文件流中的缓冲区,然后调用 _lseek 函数为文件流所属的文件修改当前位置:
_lseek 函数获取文件的操作系统句柄(HANDLE),然后调用 Windows API 中的 SetFilePointer 函数设置文件当前位置,然后返回文件的新位置:
SetFilePointer 函数的源代码(Windows )大致如下:
从中可以看到,内核调用时写入的新位置是相对于文件开头的偏移。
在 Windows DDK(驱动开发套件)的wdm.h 头文件中有内核文件对象的定义:
其中的CurrentByteOffset 与通过内核调用取出的位置信息无论数据类型还是标识符名称都是完全一致,很可能内核调用就是对这个成员进行了访问。这说明 Windows NT 的文件对象正是基于偏移的。