centos io测试(centos和ubuntu哪个好)
各位老铁们，大家好，今天由我来为大家分享centos io测试，以及centos和ubuntu哪个好的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！
超详细Centos 6.5 文本模式图文系统安装教程
对于刚接触Linux的用户来说，安装系统和配置网卡的过程也可能要用很长的时间，Centos6.5的安装方式有二种，图形模式和文本模式。文本模式从6开始就不支持自定义分区了（新手练习时默认分区足够用），如果需要自定义分区要使用图形模式安装。大家在学习Linux时，不需要一开始就在物理机上安装，下面就使用VMware Workstation虚拟机软件演示一下文本模式安装。
演示环境所需要的软件：
虚拟机版本：VMware Workstation12
Linux版本：CentOS-6.5-x86_64-bin-DVD1.iso
下面的过程分为三部分
配置虚拟机
文本模式下安装Centos6.5
配置网卡后使用远程管理工具连接
一、配置虚拟机
打开VM虚拟机软件，单击“文件”-“新建虚拟机”
选择“自定义（高级）”选项，单击“下一步”
硬件兼容性界面选项保持默认单击“下一步”
安装客户机操作系统界面，此处选择“稍后安装系统”以后安装系统也可一直使用此项，设置完成后再添加ISO，这样安装肯定没有问题。(有的版本选第二项添加ISO项后会安装不成功，以及后面要求填写用户名密码等信息)，单击“下一步”
这里选择Linux版本选择“CentOS 64位”，单击“下一步”
设置虚拟机名称及存放位置，自己可根据需要随意填写和设置，单击“下一步”
CPU和内存保持默认即可，内存默认是1024MB，二个选项以后可根据自己需要修改，单击“下一步”
网络类型，选项桥接模式，该模式安装完成后配置和本机相同的网段，然后使用远程工具来管理系统。单击“下一步”
IO控制器和虚拟磁盘类型保持默认，单击“下一步”
选择磁盘界面，由于是新安装系统没有硬盘，这里选择“创建新虚拟磁盘”，单击“下一步”
*指定磁盘容量界面:设置磁盘大小，此处默认是20G，可以不做更改（学习用足够），由于我们使用的是虚拟系统，安装完成后，只是创建一个文件与我们的硬盘大小无关。
*此界面不要选择“立即分配所有磁盘空间”如果选中该选项，系统把20G空间一下都分配给该虚拟机，这样很浪费磁盘的空间。
*选择“将虚拟磁盘存储为单个文件”这样在虚拟机文件夹只产生一个文件。
指定磁盘文件界面：是指虚拟机文件放的位置。保持默认，单击“下一步”
单击“自定义硬件”
使用下面的“移除”按钮，删除声卡和打印机，选中CD/DVD，右侧点击浏览选中Centos6.5的ISO文件，设置完成后，单击“关闭”，再单击“完成”。
二、安装系统，文本模式下安装Centos6.5
单击“开启此虚拟机”
开机后，会出现下面的界面，此时不要按“回车”键
界面说明：
Install or upgrade an existing system安装或升级现有的系统
install system with basic video driver安装过程中采用基本的显卡驱动
Rescue installed system进入系统修复模式
Boot from local drive退出安装从硬盘启动
Memory test内存检测
出现上图的界面后，按ESC键，输入linux text，来进入文本安装模式。
是否对CD媒体进行测试，这里选择“Skip”跳过测试。
这是欢迎界面，点击“OK”回车确认
选择安装语言，此处保持默认English。不管是学习和以后使用都建议不要选择中文，“OK”回车确认
键盘选择，默认选择美式键盘即可
这里是安装警告，提示安装系统需要初始化虚拟磁盘，会造成所有数据的丢失
有4个选项：忽略/忽略所有/初始化/初始化所有。
由于我们是新安装，磁盘里没有数据，选择Re-initialize all初始化所有。
选择时区，这里选择亚州上海，注意：没有北京等地区
给系统的root设置密码，最好满足复杂度，否则会提示错误，如设置成Abc@123
下面是磁盘分区，有三个选项
*Use entire drive（使用整个磁盘）
这个方案会删除硬盘上所有分割区，然后再重新分割硬盘。如果您硬盘上有您想保留的操作系统，请不要选择此项。
* Replace exiting Linux system（替换掉现有的 Linux系统）
这个方案会删除硬盘上所有 GNU/Linux分割区，然后再重新分割硬盘。这种方案不会删除其他操作系统的分割区。如果您硬盘上有您想保留的 GNU/Linux系统，请不要选择此项。
*Use free space（使用可用空间）
这个方案不会删除任何分割区，只使用尚未分给任何分割区的空间进行自动分割。如果您的硬盘早已被另一个操作系统占用了，此项用不了。
由于我们是新建的硬盘，所以直接使用Use entire drive安装即可。
提示开始写数据，选择Write changes to disk
安装完成，提示reboot重启，该过程根据机器性能，3-5分钟可安装完成
进入系统界面,输入
localhost login:root
Password:密码输入时不会显示，输入完成后按回车即可
三、配置网卡后使用远程管理工具连接
输入：vi etc/sysconfig/network-scripts/ifcfg-eth0
按回车，出现如下界面，按i进入编辑模式，按第二张图所示的模式，填写自己的静态IP地址、网关等信息，填写完成后按esc键退出编辑模式，输入：wq（保存退出）
DEVICE=eth0
HWADDR=00:0C:29:E5:2E:02
TYPE=Ethernet
UUID=8e6b6bfc-da88-4715-8d5e-c666ce949d42
ONBOOT=yes开启自动启用网络连接
NM_CONTROLLED=yes
BOOTPROTO=static启用静态IP地址
IPADDR=10.3.20.66设置IP地址
NETMASK=255.255.255.0设置子网掩码
GATEWAY=10.3.20.1设置网关
DNS1=8.8.8.8设置主DNS
DNS2=114.114.114.114设置备DNS
重启网卡输入[root@localhost~]#/etc/init.d/network restart，回车后，提示网卡重启
最后使用远程连接工具SecureCRT（Xshell等工具）连接，如下图所示
这样基本上就ok了
【fio】CentOS.x上磁盘性能测试工具fio的安装和使用
Summary: Multithreaded IO generation tool
Description: fio is an I/O tool that will spawn a number of threads or processes doing a particular type of io action as specified by the user. fio takes a number of global parameters, each inherited by the thread unless otherwise parameters given to them overriding that setting is given.
The typical use of fio is to write a job file matching the io load one wants to simulate.
多线程IO生成工具
fio是一个I/ O工具，它将产生许多线程或正在执行的进程，由用户指定的特定类型的io操作。
fio需要一个全局参数的数量，每个参数都由线程继承，否则给他们的参数将覆盖该设置。
fio的典型用法是编写与io负载匹配的需要模拟的作业文件。
官网地址：
# yum-y install libaio gtk2 libaio-devel gtk2-devel
# yum-y install fio
# yum info fio
# rpm-ql fio| grep"bin"
应用使用IO通常有二种方式：同步和异步。
同步的IO一次只能发出一个IO请求，等待内核完成才返回，这样对于单个线程iodepth总是小于1，但是可以透过多个线程并发执行来解决，通常我们会用16-32根线程同时工作把iodepth塞满。
异步的话就是用类似libaio这样的Linux native aio一次提交一批，然后等待一批的完成，减少交互的次数，会更有效率。
注意:性能测试建议直接通过写裸盘的方式进行测试，会得到较为真实的数据，但直接测试裸盘会破坏文件系统结构，导致数据丢失，请在测试前确认磁盘中数据已备份。
# fio -direct=1 -iodepth=64 -rw=read -ioengine=libaio -bs=4k -size=10G -numjobs=1 -name=./fio.test
"-direct=1"，代表采用非 buffered I/O文件读写的方式，避免文件读写过程中内存缓冲对性能的影响
"-iodepth=64"和"-ioengine=libaio"这两个参数，这里指文件读写采用异步 I/O（Async I/O）的方式，也就是进程可以发起多个 I/O请求，并且不用阻塞地等待 I/O的完成。稍后等 I/O完成之后，进程会收到通知。这种异步 I/O很重要，因为它可以极大地提高文件读写的性能。在这里我们设置了同时发出 64个 I/O请求
"-rw=read，-bs=4k，-size=10G"，这几个参数指这个测试是个读文件测试，每次读 4KB大小数块，总共读 10GB的数据。最后一个参数是"-numjobs=1"，指只有一个进程/线程在运行。所以，这条 fio命令表示我们通过异步方式读取了 10GB的磁盘文件，用来计算文件的读取性能。
我们看到在上图中测试中， I/O性能是 15.9MB/s的带宽，IOPS（I/O per second）是 4076左右。
fio压测工具和io队列深度理解和误区
fio– IO压力测试工具
fio安装使用方法
fio模拟MySQL服务器IO压力脚本
fio使用详解
Fio Output Explained
如何让CentOS服务器磁盘io性能翻倍
如何让CentOS服务器磁盘io性能翻倍
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。
在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。
文件系统缓存linux内核会将大部分空闲内存交给虚拟文件系统，来作为文件缓存，叫做page cache。在内存不足时，这部分内存会采用lru算法进行淘汰。通过free命令查看内存，显示为cached的部分就是文件缓存了。
如果能找到当前使用场景下，文件被访问的统计特征，针对性的写一个淘汰算法，可以大幅提升文件缓存的命中率。对于http正向代理来说，一个好的淘汰算法可以用1GB内存达到lru算法100GB内存的缓存效果。如果不打算写一个新的淘汰算法，一般不需要在应用层再搭一个文件cache程序来做缓存。
最小分配
最小分配的副作用是会浪费一些磁盘空间（分配了但是又没有使用）
如果当前使用场景下小文件很多，把预分配改大就会浪费很多磁盘空间，所以这个数值要根据当前使用场景来设定。似乎要直接改源代码才能生效，不太记得了，09年的时候改的，有兴趣的同学自己google吧。
io访问调度
如何针对性优化：io访问调度能大幅提升io性能，前提是应用层同时发起了足够的io访问供linux去调度。怎样才能从应用层同时向内核发起多个io访问呢？方案一是用aio_read异步发起多个文件读写请求。
小提示：将文件句柄设置为非阻塞时，进程还是会睡眠等待磁盘io，非阻塞对于文件读写是不生效的。在正常情况下，读文件只会引入十几毫秒睡眠，所以不太明显；而在磁盘io极大时，读文件会引起十秒以上的进程睡眠。详见内核源代码do_generic_file_read会调用lock_page_killable进入睡眠，但是不会判断句柄的非阻塞标志。
预读取linux内核可以预测我们“将来的读请求”并提前将数据读取出来。通过预读取可以减少读io的次数，并且减小读请求的延时。
当文件扩大，需要分配磁盘空间时，可以不立即进行分配，而是暂存在内存中，将多次分配磁盘空间的请求聚合在一起后，再进行一次性分配。
延迟分配的副作用有几个：1如果应用程序每次写数据后都通过fsync等接口进行强制刷新，延迟分配将不起作用2延迟分配有可能间歇性引入一个较大的磁盘IO延时（因为要一次性向磁盘写入较多数据）
如何针对性优化：
“让每个目录下的文件连续存储”是一个极有价值的功能。假设一个网页上有10张图片，这10张图片虽然存在10个文件中，但其实是几乎同时被用户访问的。如果能让这10张图片存储在连续的磁盘空间中，就能把io性能提升10倍（一次寻道就可以读10个文件了）传统的做法是通过拼接图片来将这10张图片合并到一张大图中，再由前端将大图切成10张小图。有了e4defrag后，可以将需连续访问的文件放在同一个文件夹下，再定期使用e4defrag进行磁盘整理。
实现自己的文件系统我们曾经写过一款专用文件系统，针对代理服务器，将磁盘io性能提升到3-5倍。在大部分服务器上，不需要支持“修改文件”这个功能。一旦文件创建好，就不能再做修改操作，只支持读取和删除。在这个前提下，我们可以消灭所有文件碎片，把磁盘io效率提升到理论极限。
大于16MB的文件，服务器创建文件时告诉文件系统分配16MB磁盘空间。后续每次扩大文件大小时，要么是16MB，要么就是文件终结。不允许在文件未终结的情况下分配非16MB的空间。读写文件时，每次读写16MB或者直到文件末尾。
在我们的文件系统中，小文件完全无碎片，一次寻道就能搞定一个文件，达到了理论上最佳的性能。大文件每次磁头定位读写16MB，性能没有达到100%，但已经相当好了。有一个公式可以衡量磁盘io的效率：磁盘利用率=传输时间/（平均寻道时间+传输时间）对我们当时采用的磁盘来说（1T 7200转sata)，16MB连续读写已经可以达到98%以上的磁盘利用率。
