linux异步,java 异步
linux驱动模块中添加异步通知机制需要完成哪些工作
一驱动方面:
1.在设备抽象的数据结构中增加一个struct fasync_struct的指针
2.实现设备操作中的fasync函数,这个函数很简单,其主体就是调用内核的fasync_helper函数。
3.在需要向用户空间通知的地方(例如中断中)调用内核的kill_fasync函数。
4.在驱动的release方法中调用前面定义的fasync函数
呵呵,简单吧,就三点。其中fasync_helper和kill_fasync都是内核函数,我们只需要调用就可以了。在1中定义的指针是一个重要参数,fasync_helper和kill_fasync会使用这个参数。
二应用层方面
1.利用signal或者sigaction设置SIGIO信号的处理函数
2. fcntl的F_SETOWN指令设置当前进程为设备文件owner
3. fcntl的F_SETFL指令设置FASYNC标志
完成了以上的工作的话,当内核执行到kill_fasync函数,用户空间SIGIO函数的处理函数就会被调用了。
呵呵,看起来不是很复杂把,让我们结合具体代码看看就更明白了。
先从应用层代码开始吧:
#include<sys/types.h>
#include<sys/stat.h>
#include<stdio.h>
#include<fcntl.h>
#include<signal.h>
#include<unistd.h>
#define MAX_LEN 100
//处理函数,没什么好讲的,用户自己定义
void input_handler(int num)
{
char data[MAX_LEN];
int len;
//读取并输出STDIN_FILENO上的输入
len= read(STDIN_FILENO,&data, MAX_LEN);
data[len]= 0;
printf("input available:%s\n", data);
}
void main()
{
int oflags;
//启动信号驱动机制,将SIGIO信号同input_handler函数关联起来,一旦产生SIGIO信号,就会执行input_handler
signal(SIGIO, input_handler);
//STDIN_FILENO是打开的设备文件描述符,F_SETOWN用来决定操作是干什么的,getpid()是个系统调用,
//功能是返回当前进程的进程号,整个函数的功能是STDIN_FILENO设置这个设备文件的拥有者为当前进程。
fcntl(STDIN_FILENO, F_SETOWN, getpid());
//得到打开文件描述符的状态
oflags= fcntl(STDIN_FILENO, F_GETFL);
//设置文件描述符的状态为oflags| FASYNC属性,一旦文件描述符被设置成具有FASYNC属性的状态,
//也就是将设备文件切换到异步操作模式。这时系统就会自动调用驱动程序的fasync方法。
fcntl(STDIN_FILENO, F_SETFL, oflags| FASYNC);
//最后进入一个死循环,程序什么都不干了,只有信号能激发input_handler的运行
//如果程序中没有这个死循环,会立即执行完毕
while(1);
}
再看驱动层代码,驱动层其他部分代码不变,就是增加了一个fasync方法的实现以及一些改动
//首先是定义一个结构体,其实这个结构体存放的是一个列表,这个
//列表保存的是一系列设备文件,SIGIO信号就发送到这些设备上
static struct fasync_struct*fasync_queue;
//fasync方法的实现
static int my_fasync(int fd, struct file* filp, int on)
{
int retval;
//将该设备登记到fasync_queue队列中去
retval=fasync_helper(fd,filp,on,&fasync_queue);
if(retval<0)
{
return retval;
}
return 0;
}
在驱动的release方法中我们再调用my_fasync方法
int my_release(struct inode*inode, struct file*filp)
{
//..processing..
drm_fasync(-1, filp, 0);
//..processing..
}这样后我们在需要的地方(比如中断)调用下面的代码,就会向fasync_queue队列里的设备发送SIGIO信号
,应用程序收到信号,执行处理程序
if(fasync_queue)
kill_fasync(&fasync_queue, SIGIO, POLL_IN);
Linux异步IO:AIO教程(libaio)
深入探索Linux异步IO(AIO):libaio教程的精髓
Linux AIO(Asynchronous I/O)是一种提高文件I/O性能的关键技术,它通过异步操作减少磁盘I/O对CPU的占用,提升系统响应速度。AIO的核心流程包括创建IO上下文(io_context_t)、提交请求并获取事件。io_context_t结构包含共享完成队列,通过io_setup初始化,io_destroy负责销毁。AIO的核心数据结构,如io_callback_data(iocb),在io_submit中扮演重要角色,io_prep_pread/v和io_prep_write用于初始化操作,如异步写入(io_prep_write)处理并行写入。
io_prep_pwritev用于批量异步写入,通过io_submit提交,它允许一次性处理多个IO请求。注意,io_submit批量操作可能影响性能和CPU使用,出现EAGAIN错误时需要谨慎处理。
io_prep_pread则用于预读,同样依赖io_submit进行提交,为高性能读取提供了便利。但是,如果元数据不在内存,io_submit可能导致阻塞,不支持某些文件系统放大写入,这就需要考虑多线程策略来优化。
处理AIO操作的结果,通过io_event对象获取,其中包括data、obj和res字段,io_getevents函数根据ctx_id、min_nr、nr和timeout参数来确定行为。min_nr参数影响阻塞或轮询策略,而nr值则影响性能和内存消耗,过大的nr可能导致性能瓶颈。
AIO的局限性在于,它在某些场景下可能引起阻塞,而且不是所有文件系统都支持。例如,ext4文件系统仅部分支持AIO。为了提高并行性和降低锁竞争,可以使用多个io_context_t,通过哈希线程和文件地址进行管理。POSIX AIO提供了一种替代方式,利用线程池实现异步IO,但线程开销可能影响性能。
在代码实现层面,例如Daniel Ehrenberg的示例,我们看到如何创建AIORequest子类,如AIOReadRequest和AIOWriteRequest,这些类在io_context_t上下文中提交读写请求,并在完成后处理结果。AIOAdder类负责初始化,读写操作的提交,以及事件的处理和剩余请求的收尾。
在性能考量方面,io_submit影响文件系统操作,而io_getevents负责处理完成事件,确保I/O操作的高效完成。当满足预期条件,如计算的总和等于预期值(FLAGS_file_size*(FLAGS_file_size- 1))/ 2时,整个异步IO过程才宣告结束。最后,整个程序通过main函数启动,完成异步读写后返回计算结果。
总结,Linux AIO是提升文件系统性能的重要工具,但需要根据具体应用场景和系统特性进行优化,以达到最佳的并发性和资源利用效率。在实际操作中,结合适当的策略和配置,AIO可以显著提升系统性能,降低CPU占用。
Linux异步IO
Linux中最常用的IO模型是同步IO,在这个模型中,当请求发出之后,应用程序就会阻塞,直到请求满足条件为止。这是一种很好的解决方案,调用应用程序在等待IO完成的时候不需要占用CPU,但是在很多场景中,IO请求可能需要和CPU消耗交叠,以充分利用CPU和IO提高吞吐率。
下图描绘了异步IO的时序,应用程序发起IO操作后,直接开始执行,并不等待IO结束,它要么过一段时间来查询之前的IO请求完成情况,要么IO请求完成了会自动被调用与IO完成绑定的回调函数。
Linux的AIO有多种实现,其中一种实现是在用户空间的glibc库中实现的,本质上是借用了多线程模型,用开启的新的线程以同步的方式做IO,新的AIO辅助线程与发起AIO的线程以pthread_cond_signal()的形式进行线程间的同步,glibc的AIO主要包含以下函数:
1、aio_read()
aio_read()函数请求对一个有效的文件描述符进行异步读操作。这个文件描述符可以代表一个文件、套接字,甚至管道,aio_read()函数原型如下:
aio_read()函数在请求进行排队之后就会立即返回(尽管读操作并未完成),如果执行成功就返回0,如果出现错误就返回-1。参数aiocb(AIO I/O Control Block)结构体包含了传输的所有信息,以及为AIO操作准备的用户空间缓冲区。在产生IO完成通知时,aiocb结构就被用来唯一标识所完成的IO操作。
2.aio_write()
aio_write()函数用来请求一个异步写操作。函数原型如下:
aio_write()函数会立即返回,并且它的请求以及被排队(成功时返回值为0,失败时返回值为-1)
3.aio_error()
aio_error()函数被用来确定请求的状态,其原型如下:
该函数的返回:
4.aio_return()
异步IO和同步阻塞IO方式之间有一个区别就是不能立即访问函数的返回状态,因为异步IO没有阻塞在read()调用上。在标准的同步阻塞read()调用中,返回状态是在该函数返回时提供的。
但是在异步IO中,我们要用aio_return()函数,原型如下:
只有在aio_error()调用确定请求已经完成(可能成功、也可能发生了错误)之后,才会调用这个函数,aio_return()的返回值就等价于同步情况中read()或者write系统调用的返回值。
5.aio_suspend()
用户可以用该函数阻塞调用进程,直到异步请求完成为止,调用者提供了一个aiocb引用列表,其中任何一个完成都会导致aio_suspend()返回。函数原型如下:
6.aio_cancel()
该函数允许用户取消对某个文件描述符执行的一个或所以IO请求。
要取消一个请求,用户需要提供文件描述符和aiocb指针,如果这个请求被成功取消了,那么这个函数就会返回AIO_CANCELED。如果请求完成了,就会返回AIO_NOTCANCELED。
7.lio_listio()
lio_listio()函数可用于同时发起多个传输。这个函数非常重要,它使得用户可以在一个系统调用中启动大量的IO操作,原型如下:
mode参数可以是LIO_WAIT或者是LIO_NOWAIT。LIO_WAIT会阻塞这个调用,直到所有的IO都返回为止,若是LIO_NOWAIT模型,在IO操作完成排队之后,该函数就会返回。list是一个aiocb的列表,最大元素的个数是由nent定义的。如果list的元素为null,lio_listio()会将其忽略。