centos fio?centos官网

本篇文章给大家谈谈centos fio,以及centos官网对应的知识点,文章可能有点长,但是希望大家可以阅读完,增长自己的知识,最重要的是希望对各位有所帮助,可以解决了您的问题,不要忘了收藏本站喔。

【fio】CentOS.x上磁盘性能测试工具fio的安装和使用

Summary: Multithreaded IO generation tool

Description: fio is an I/O tool that will spawn a number of threads or processes doing a particular type of io action as specified by the user.  fio takes a number of global parameters, each inherited by the thread unless otherwise parameters given to them overriding that setting is given.

The typical use of fio is to write a job file matching the io load one wants to simulate.

多线程IO生成工具

fio是一个I/ O工具,它将产生许多线程或正在执行的进程,由用户指定的特定类型的io操作。 

fio需要一个全局参数的数量,每个参数都由线程继承,否则给他们的参数将覆盖该设置。 

fio的典型用法是编写与io负载匹配的需要模拟的作业文件。

官网地址:

# yum-y install libaio gtk2 libaio-devel gtk2-devel

# yum-y install fio

# yum info fio

# rpm-ql fio| grep"bin"

应用使用IO通常有二种方式:同步和异步。 

同步的IO一次只能发出一个IO请求,等待内核完成才返回,这样对于单个线程iodepth总是小于1,但是可以透过多个线程并发执行来解决,通常我们会用16-32根线程同时工作把iodepth塞满。

异步的话就是用类似libaio这样的Linux native aio一次提交一批,然后等待一批的完成,减少交互的次数,会更有效率。

注意:性能测试建议直接通过写裸盘的方式进行测试,会得到较为真实的数据,但直接测试裸盘会破坏文件系统结构,导致数据丢失,请在测试前确认磁盘中数据已备份。

# fio  -direct=1 -iodepth=64 -rw=read -ioengine=libaio -bs=4k -size=10G -numjobs=1 -name=./fio.test

"-direct=1",代表采用非 buffered I/O文件读写的方式,避免文件读写过程中内存缓冲对性能的影响

"-iodepth=64"和"-ioengine=libaio"这两个参数,这里指文件读写采用异步 I/O(Async I/O)的方式,也就是进程可以发起多个 I/O请求,并且不用阻塞地等待 I/O的完成。稍后等 I/O完成之后,进程会收到通知。这种异步 I/O很重要,因为它可以极大地提高文件读写的性能。在这里我们设置了同时发出 64个 I/O请求

"-rw=read,-bs=4k,-size=10G",这几个参数指这个测试是个读文件测试,每次读 4KB大小数块,总共读 10GB的数据。最后一个参数是"-numjobs=1",指只有一个进程/线程在运行。所以,这条 fio命令表示我们通过异步方式读取了 10GB的磁盘文件,用来计算文件的读取性能。

我们看到在上图中测试中, I/O性能是 15.9MB/s的带宽,IOPS(I/O per second)是 4076左右。

fio压测工具和io队列深度理解和误区

fio– IO压力测试工具

fio安装使用方法

fio模拟MySQL服务器IO压力脚本

fio使用详解

Fio Output Explained

fio文件系统性能测试

备注:

使用的是yum进行的安装,大家可以使用源码编译安装(centos 7)

安装

yum install-y fio

使用

filename:指定文件(设备)的名称。可以通过冒号分割同时指定多个文件,如filename=/dev/sda:/dev/sdb。

directory:设置filename的路径前缀。在后面的基准测试中,采用这种方式来指定设备。

name:指定job的名字,在命令行中表示新启动一个job。

direct: bool类型,如果设置成true(1),表示不使用io buffer。

ioengine: I/O引擎,现在fio支持19种ioengine。默认值是sync同步阻塞I/O,libaio是Linux的native异步I/O。关于同步异步,阻塞和非阻塞模型可以参考文章“使用异步 I/O大大提高应用程序的性能”。

iodepth:如果ioengine采用异步方式,该参数表示一批提交保持的io单元数。该参数可参考文章“Fio压测工具和io队列深度理解和误区”。

rw: I/O模式,随机读写,顺序读写等等。

bs: I/O block大小,默认是4k。

size:指定job处理的文件的大小。

numjobs:指定job的克隆数(线程)。

time_based:如果在runtime指定的时间还没到时文件就被读写完成,将继续重复知道runtime时间结束。

runtime:指定在多少秒后停止进程。如果未指定该参数,fio将执行至指定的文件读写完全完成。

group_reporting:当同时指定了numjobs了时,输出结果按组显示。

参考说明

filename=/dev/sdb1#测试文件名称,通常选择需要测试的盘的data目录

direct=1#测试过程绕过机器自带的buffer。使测试结果更真实

rw=randwrite#测试随机写的I/O

rw=randrw#测试随机写和读的I/O

bs=16k#单次io的块文件大小为16k

bsrange=512-2048#同上,提定数据块的大小范围

size=5G#本次的测试文件大小为5g,以每次4k的io进行测试

numjobs=30#本次的测试线程为30个

runtime=1000#测试时间1000秒,如果不写则一直将5g文件分4k每次写完为止

ioengine=psync#io引擎使用psync方式

rwmixwrite=30#在混合读写的模式下,写占30%

group_reporting#关于显示结果的,汇总每个进程的信息

lockmem=1G#只使用1g内存进行测试

zero_buffers#用0初始化系统buffer

nrfiles=8#每个进程生成文件的数量

#顺序读

fio-filename=/dev/sda-direct=1-iodepth 1-thread-rw=read-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest

#顺序写

fio-filename=/dev/sda-direct=1-iodepth 1-thread-rw=write-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest

#随机读

fio-filename=/dev/sda-direct=1-iodepth 1-thread-rw=randread-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest

#随机写

fio-filename=/dev/sda-direct=1-iodepth 1-thread-rw=randwrite-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=1000-group_reporting-name=mytest

#混合随机读写

fio-filename=/dev/sda-direct=1-iodepth 1-thread-rw=randrw-rwmixread=70-ioengine=psync-bs=16k-size=200G-numjobs=30-runtime=100-group_reporting-name=mytest-ioscheduler=noop

#复制下面的配置内容,将directory=/path/to/test修改为你测试硬盘挂载目录的地址,并另存为fio.conf

[global]

ioengine=libaio

direct=1

thread=1

norandommap=1

randrepeat=0

runtime=60

ramp_time=6

size=1g

directory=/path/to/test

[read4k-rand]

stonewall

group_reporting

bs=4k

rw=randread

numjobs=8

iodepth=32

[read64k-seq]

stonewall

group_reporting

bs=64k

rw=read

numjobs=4

iodepth=8

[write4k-rand]

stonewall

group_reporting

bs=4k

rw=randwrite

numjobs=2

iodepth=4

[write64k-seq]

stonewall

group_reporting

bs=64k

rw=write

numjobs=2

iodepth=4

#测试

fio fio.conf

如何在 Linux 中使用 Fio 来测评硬盘性能

Fio(Flexible I/O Tester)是一款强大的、自由开源的软件,由Jens Axboe开发,适用于测评和压力/硬件验证。Fio支持19种不同类型的I/O引擎,包括sync、mmap、libaio等,以及针对较新Linux内核的I/O优先级、I/O速度、fork任务或线程任务等功能。它能够在块设备和文件上工作,通过一种非常简单易于理解的文本格式的任务描述进行操作。Fio广泛应用于测评、QA以及验证,支持Linux、FreeBSD、NetBSD、OpenBSD、OS X、OpenSolaris、AIX、HP-UX、Android以及Windows等操作系统。

为了在Linux系统中使用Fio,首先需要确保拥有sudo或root权限。对于Ubuntu 16,需要使用源码安装Fio。首先,确保已经安装了Git。对于CentOS用户,可执行特定命令进行安装。在Ubuntu或Debian环境下,可以通过标准的包管理器apt-get或yum直接安装Fio。对于CentOS或Redhat用户,可能需要先安装EPEL仓库,然后执行特定命令安装Fio。

安装完成后,可以使用Fio进行磁盘性能测试。例如,执行随机写测试时,可以使用指定命令执行两个进程,同时写入共计4GB的数据。随机读测试时,可以尝试读取一个随机的2GB文件。Fio能够提供完整的IO延迟和百分比信息,包括随机读-写测试结果。通过Fio进行性能测试,用户可以直观地了解磁盘的性能表现。

Fio是一款非常有用的工具,适用于Debugging活动。通过实践和熟悉Fio的用法,用户能够更好地评估和优化系统性能。如果您对Fio感兴趣,欢迎在评论区留下您的问题和反馈。

阅读剩余
THE END