美文网首页
Linux 磁盘I/O工作机制

Linux 磁盘I/O工作机制

作者: 菜鸟小玄 | 来源:发表于2018-08-08 15:45 被阅读0次

在读取和写入文件I/O操作都调用操作系统提供的接口,因为磁盘设备是由操作系统管理的,应用程序要访问物理设备只能通过系统调用的方式来工作。读和写分别对应read()和write()两个系统调用

而只要是系统调用就可能存在内核空间地址和用户空间地址切换的问题,这是操作系统为了保护系统本身的运行安全,将内核程序运行使用的内存空间和用户程序运行使用内存空间进行隔离造成的。这样可以保护内核程序运行的安全。虽然如此,但也必然存在数据可能需要从内核空间向用户空间复制的问题。

如果遇到非常耗时的操作,如磁盘I/O,数据从磁盘复制到内核空间,然后又从内核空间复制到用户空间,将会非常缓慢。这时操作系统为了加速I/O访问,在内核空间使用缓存机制,即将从磁盘读取的文件按照一定的组织方式进行缓存,如果用户程序访问的是同一段磁盘地址的空间数据,那么操作系统将从内核缓存中直接取出返回给用户程序,这样可以减小I/O的响应时间。

几种访问文件的方式

1.标准访问文件的方式

当应用程序调用read()接口时,操作系统检查在内核的高速缓存中有没有需要的数据,如果有,则从缓存中返回,如果没有,则从磁盘中读取,然后缓存在操作系统的缓存中。在调用write()接口时,应用程序将数据从用户地址空间复制到内核地址空间的缓存中。这时对于用户程序来说写操作就已经完成,至于什么时候再写到磁盘中由操作系统决定,除非显式地调用sync同步命令。 image

2.直接I/O的方式

这种方式是指,应用程序直接访问磁盘数据,而不经过操作系统内核数据缓冲区,这样做是为了减少一次从内核空间到用户空间的数据复制。这种访问文件的方式通常是在对数据的缓存管理有应用程序实现的数据库管理系统中。在数据库管理系统中,系统明确地知道应该缓存哪些数据,应该失效哪些数据,还可以对一些热点数据做预加载,提前将热点数据加载到内存,可以加速数据的访问效率。在这些情况下,操作系统并不知道哪些是热点数据,哪些数据可能只访问一次就不会再访问了,操作系统只是简单地缓存最近一次从磁盘读取的数据,所以它做不到这样的数据缓存。

但直接I/O也有负面影响,如果访问的数据不在应用程序缓存中,那么每次数据都要从磁盘进行加载,这种直接加载会很慢。通常直接I/O与异步I/O结合使用会很好。

3.同步访问文件的方式

数据的读取和写入都是同步操作的,它与标准访问文件的方式不同在于,只有当数据被成功写入到磁盘时才返回给应用程序成功的标志。应用在对数据安全性要求较高的场合,而且这种操作方式的硬件都是定制的。

4.异步访问文件的方式

当访问数据的线程发出请求后,线程会处理其它事情,不是阻塞等待,当请求的数据返回后继续处理下面的操作。

5.内存映射方式

内存映射的方式是指操作系统将内存中的某一块区域与磁盘中的文件关联起来,当要访问内存中的一段数据是,转换为访问文件的某一段数据。这也是为了减少数据从内核空间缓存到用户空间缓存的复制操作,因为这两个空间的数据是共享的。

Java访问磁盘文件

上面是基本的Java I/O的操作接口,这些接口主要定义了如何操作数据,和操作数据结构的字节和字符的两种方式。还有一个关键问题就是数据写到何处。其中一个主要方式就是将数据持久化到物理磁盘。数据在磁盘中的唯一最小描述就是文件,即上层应用程序只能通过文件来操作磁盘上的数据,文件也是操作系统和磁盘驱动器交互的最小单元。

在Java中,File对象并不代表一个真实存在的文件对象,当你指定一个路径描述符时,它就会返回一个代表这个路径的虚拟对象,这可能是一个文件,也可能是一个目录。这样设计,是因为通常我们并不关心这个文件是否真实存在,而是关心对这个文件到底如何操作。只有在真正读取文件时,才会检查这个文件存不存在。

例如,FileInputStream类都是操作一个文件的接口,注意到在创建一个FileInputStream对象时会创建一个FileDescriptor对象,其实这个对象就是真正代表一个存在的文件对象的描述。当我们在操作一个文件对象时可以通过getFD()方法获取真正操作的与底层操作系统相关联的文件描述。例如,可以调用FileDescriptor.sync()方法将操作系统缓存中的数据强制刷新到物理磁盘中。

image

同步、异步、阻塞、非阻塞

同步与异步:描述的是用户线程与内核的交互方式,同步指用户线程发起IO请求后需要等待或者轮询内核IO操作完成后才能继续执行;而异步是指用户线程发起IO请求后仍然继续执行,当内核IO操作完成后会通知用户线程,或者调用用户线程注册的回调函数。

阻塞与非阻塞:描述是用户线程调用内核IO操作的方式,阻塞是指IO操作需要彻底完成后才返回到用户空间;而非阻塞是指IO操作被调用后立即返回给用户一个状态值,无需等到IO操作彻底完成。

相关文章

  • Linux 磁盘I/O工作机制

    在读取和写入文件I/O操作都调用操作系统提供的接口,因为磁盘设备是由操作系统管理的,应用程序要访问物理设备只能通过...

  • Java I/O的工作机制

    基于字节的I/O操作接口 基于字符的I/O操作接口 字节和字符转换接口 磁盘I/O的工作机制 ...

  • Linux运维之道(13)——Linux磁盘管理

    @(linux)[磁盘管理] 1. 写在前面 在此强调一个Linux的核心机制就是一切皆文件。 I/O Ports...

  • Linux磁盘管理

    Linux 磁盘管理 I/O ports: I/O设备地址在Linux上一切皆是文件,每一个设备也都是一个文件,设...

  • Linux 磁盘I/O基础知识总结

    本文用于对一些基础磁盘I/O知识的总结。 目录索引 磁盘I/O那些事 总结思维导图 磁盘I/O学习笔记 磁盘I/O...

  • Linux 磁盘I/O优化

    文件系统优化 ** 动态调整请求队列数来提高效率,默认请求队列数为:128, 可配置512 **[root@c37...

  • Linux性能优化实战——磁盘I/O调优

    前言 本文基于文件系统和磁盘I/O工作原理,通过典型I/O问题分析,总结磁盘I/O调优的一般套路。 问题描述:文件...

  • Java基础之IO流(二)!!

    I/O 工作原理 磁盘I/O tips: DMA:全称叫直接内存存取(Direct Memory Access),...

  • 基础篇:Linux 磁盘I/O是怎么工作的(下)

    上一节我们学习了 Linux 磁盘 I/O 的工作原理,并了解了由文件系统层、通用块层和设备层构成的 Linux ...

  • Linux I/O多路复用

    摘要:Linux I/O多路复用 select poll epoll Linux中一切皆文件,不论是我们存储在磁盘...

网友评论

      本文标题:Linux 磁盘I/O工作机制

      本文链接:https://www.haomeiwen.com/subject/qmlxbftx.html