centos系统延时(centos9出来了吗)
如何让CentOS服务器磁盘io性能翻倍
如何让CentOS服务器磁盘io性能翻倍
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景(例如http代理服务器);另外有一个小技巧,针对互联网图片服务器,可以将io性能提升数倍。如果为服务器订制一个专用文件系统,可以完全解决文件碎片的问题,将磁盘io的性能发挥至极限。对于我们的代理服务器,相当于把io性能提升到3-5倍。
在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。
文件系统缓存linux内核会将大部分空闲内存交给虚拟文件系统,来作为文件缓存,叫做page cache。在内存不足时,这部分内存会采用lru算法进行淘汰。通过free命令查看内存,显示为cached的部分就是文件缓存了。
如果能找到当前使用场景下,文件被访问的统计特征,针对性的写一个淘汰算法,可以大幅提升文件缓存的命中率。对于http正向代理来说,一个好的淘汰算法可以用1GB内存达到lru算法100GB内存的缓存效果。如果不打算写一个新的淘汰算法,一般不需要在应用层再搭一个文件cache程序来做缓存。
最小分配
最小分配的副作用是会浪费一些磁盘空间(分配了但是又没有使用)
如果当前使用场景下小文件很多,把预分配改大就会浪费很多磁盘空间,所以这个数值要根据当前使用场景来设定。似乎要直接改源代码才能生效,不太记得了,09年的时候改的,有兴趣的同学自己google吧。
io访问调度
如何针对性优化:io访问调度能大幅提升io性能,前提是应用层同时发起了足够的io访问供linux去调度。怎样才能从应用层同时向内核发起多个io访问呢?方案一是用aio_read异步发起多个文件读写请求。
小提示:将文件句柄设置为非阻塞时,进程还是会睡眠等待磁盘io,非阻塞对于文件读写是不生效的。在正常情况下,读文件只会引入十几毫秒睡眠,所以不太明显;而在磁盘io极大时,读文件会引起十秒以上的进程睡眠。详见内核源代码do_generic_file_read会调用lock_page_killable进入睡眠,但是不会判断句柄的非阻塞标志。
预读取linux内核可以预测我们“将来的读请求”并提前将数据读取出来。通过预读取可以减少读io的次数,并且减小读请求的延时。
当文件扩大,需要分配磁盘空间时,可以不立即进行分配,而是暂存在内存中,将多次分配磁盘空间的请求聚合在一起后,再进行一次性分配。
延迟分配的副作用有几个:1如果应用程序每次写数据后都通过fsync等接口进行强制刷新,延迟分配将不起作用2延迟分配有可能间歇性引入一个较大的磁盘IO延时(因为要一次性向磁盘写入较多数据)
如何针对性优化:
“让每个目录下的文件连续存储”是一个极有价值的功能。假设一个网页上有10张图片,这10张图片虽然存在10个文件中,但其实是几乎同时被用户访问的。如果能让这10张图片存储在连续的磁盘空间中,就能把io性能提升10倍(一次寻道就可以读10个文件了)传统的做法是通过拼接图片来将这10张图片合并到一张大图中,再由前端将大图切成10张小图。有了e4defrag后,可以将需连续访问的文件放在同一个文件夹下,再定期使用e4defrag进行磁盘整理。
实现自己的文件系统我们曾经写过一款专用文件系统,针对代理服务器,将磁盘io性能提升到3-5倍。在大部分服务器上,不需要支持“修改文件”这个功能。一旦文件创建好,就不能再做修改操作,只支持读取和删除。在这个前提下,我们可以消灭所有文件碎片,把磁盘io效率提升到理论极限。
大于16MB的文件,服务器创建文件时告诉文件系统分配16MB磁盘空间。后续每次扩大文件大小时,要么是16MB,要么就是文件终结。不允许在文件未终结的情况下分配非16MB的空间。读写文件时,每次读写16MB或者直到文件末尾。
在我们的文件系统中,小文件完全无碎片,一次寻道就能搞定一个文件,达到了理论上最佳的性能。大文件每次磁头定位读写16MB,性能没有达到100%,但已经相当好了。有一个公式可以衡量磁盘io的效率:磁盘利用率=传输时间/(平均寻道时间+传输时间)对我们当时采用的磁盘来说(1T 7200转sata),16MB连续读写已经可以达到98%以上的磁盘利用率。
centos 双网卡绑定 mode哪种好些
CentOS双网卡绑定的模式一共有7种(即mode=0、1、2、3、4、5、6):
0(balance-rr模式)网卡的负载均衡模式。特点:(1)所有链路处于负载均衡状态,轮询方式往每条链路发送报文,基于per packet方式发送。服务上ping一个相同地址:1.1.1.1双网卡的两个网卡都有流量发出。负载到两条链路上,说明是基于per packet方式,进行轮询发送。(2)这模式的特点增加了带宽,同时支持容错能力,当有链路出问题,会把流量切换到正常的链路上。
1(active-backup模式)网卡的容错模式。特点:一个端口处于主状态,一个处于从状态,所有流量都在主链路上处理,从不会有任何流量。当主端口down掉时,从端口接手主状态。
2(balance-xor模式)需要交换机支持。特点:该模式将限定流量,以保证到达特定对端的流量总是从同一个接口上发出。既然目的地是通过MAC地址来决定的,因此该模式在“本地”网络配置下可以工作得很好。如果所有流量是通过单个路由器(比如“网关”型网络配置,只有一个网关时,源和目标mac都固定了,那么这个算法算出的线路就一直是同一条,那么这种模式就没有多少意义了。),那该模式就不是最好的选择。和balance-rr一样,交换机端口需要能配置为“port channel”。这模式是通过源和目标mac做hash因子来做xor算法来选路的。
3(broadcast模式)。特点:这种模式的特点是一个报文会复制两份往bond下的两个接口分别发送出去,当有对端交换机失效,我们感觉不到任何downtime,但此法过于浪费资源;不过这种模式有很好的容错机制。此模式适用于金融行业,因为他们需要高可靠性的网络,不允许出现任何问题。
4(IEEE 802.3ad动态链路聚合模式)需要交换机支持。特点:802.3ad模式是IEEE标准,因此所有实现了802.3ad的对端都可以很好的互操作。802.3ad协议包括聚合的自动配置,因此只需要很少的对交换机的手动配置(要指出的是,只有某些设备才能使用802.3ad)。802.3ad标准也要求帧按顺序(一定程度上)传递,因此通常单个连接不会看到包的乱序。802.3ad也有些缺点:标准要求所有设备在聚合操作时,要在同样的速率和双工模式,而且,和除了balance-rr模式外的其它bonding负载均衡模式一样,任何连接都不能使用多于一个接口的带宽。此外,linux bonding的802.3ad实现通过对端来分发流量(通过MAC地址的XOR值),因此在“网关”型配置下,所有外出(Outgoing)流量将使用同一个设备。进入(Incoming)的流量也可能在同一个设备上终止,这依赖于对端802.3ad实现里的均衡策略。在“本地”型配置下,路两将通过 bond里的设备进行分发。
5自适应传输负载均衡模式。特点:balance-tlb模式通过对端均衡外出(outgoing)流量。既然它是根据MAC地址进行均衡,在“网关”型配置(如上文所述)下,该模式会通过单个设备来发送所有流量,然而,在“本地”型网络配置下,该模式以相对智能的方式(不是balance-xor或802.3ad模式里提及的XOR方式)来均衡多个本地网络对端,因此那些数字不幸的MAC地址(比如XOR得到同样值)不会聚集到同一个接口上。
不像802.3ad,该模式的接口可以有不同的速率,而且不需要特别的交换机配置。不利的一面在于,该模式下所有进入的(incoming)流量会到达同一个接口;该模式要求slave接口的网络设备驱动有某种ethtool支持;而且ARP监控不可用。
6网卡虚拟化方式。特点:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。所有端口都会收到对端的arp请求报文,回复arp回时,bond驱动模块会截获所发的arp回复报文,根据算法算到相应端口,这时会把arp回复报文的源mac,send源mac都改成相应端口mac。从抓包情况分析回复报文是第一个从端口1发,第二个从端口2发。以此类推。
具体选择哪种要根据自己需要和交换机情况定,一般Mode=0和Mode=1比较常见;Mode=6负载均衡方式,两块网卡都工作,不需要交换机支持,也常用
不用Windows还可以选择什么系统
Windows系统 Windows操作系统是一款由美国微软公司开发的窗口化操作系统。去年更是更新到了win10,那么不用Windows还可以选择什么系统呢?下面跟着我来一起了解下吧。
不用Windows还可以选择的系统介绍:
从2015年7月29日开始,微软全新操作系统Windows10正式发布,同时它也做为微软“Windows即服务”新战略的重要一步,开始了为期一年的免费升级活动。截至目前,Win10正式“晋升”为专利收费,需要花费119.99美元才能升级的操作系统。
面对这样一款闭源、付费,对在安全、可控方面备受诟病的操作系统,很多程序员都在say no。甚至有人提出:最近发现Windows10在锁屏界面售卖广告……
尽管如此,Windows作为已经在消费级市场占有大量份额的操作系统,几近呈现垄断之势。但是对于开发人员来说,Windows 10似乎才是小众的操作系统,在他们眼里,Mac OS、Ubuntu、Fedora、CentOS这样的操作系统才是真正的王者!今天笔者就带大家从开发党的视角来对操作系统作出评判。
1、Windows 10
开放指数:★☆
难度系数:☆
生态建设:★★★★★
诚如前面笔者介绍的,Windows 10操作系统如今已经成为Windows 7之下的第二大操作系统,市场占有率达到21.9%。这说明,微软 Windows10操作系统所采用的免费升级的服务的确十分有吸引力。微软更是放下豪言,希望在3年的时间内,让全球10亿台设备运行 Windows 10。
除了免费升级的优点之外,Windows 10一定还有其它优点才能吸引如此多的使用者升级、安装。总结起来,只有两个字:简单。
尽管目前PC、Pad和手机都已经成为生活必需品,但是,对于大多数人来说,这些设备只是填充无聊时间的消遣之物。在这样的需求面前,我们可以肯定,操作系统的简单、易上手的特点将成为大多数IT设备使用者选择操作系统的考量重点。
但是,在开放党看来,当Windows决定面向技术基础最薄弱的用户群体时,就必然要舍弃开放、可编程和免费的特点。随之而来的,Windows已遭受网络攻击、付费和使用者对系统的不可知性。这些特点在开发当看来,都是致命的缺陷。
笔者不得不说,面对广大普通消费者而言,Windows 10或者Windows 7系统的确是不错的选择,毕竟微软拥有良好的生态体系,同时这类系统所产生的的广告、安全问题,往往不会对使用者造成致命影响。简言之,作为普通娱乐需要,Windows 10已经够用了。但如果你对系统安全性、开放性有更高的要求,你可以了解一下下面的操作系统,并填注下面的问卷,更好地了解大多数人对系统的需求。
2、macOS
开放指数:★★☆
难度系数:★★☆
生态建设:★★★★☆
根据最新调查显示macOS为全球第三大操作系统,市占率达到9.92%。这样的数据表明,苹果的macOS系统人占有不错的市场份额,更重要的是,macOS操作系统获得了IT专家和普通用户的双重认可,就这一点而言,macOS是做的最好的。
如果你问Mac用户,你为什么使用苹果电脑,得到的答案一定五花八门。有人说,因为Mac笔记本外观漂亮;有人说,因为Mac万能的空格(Space)键;有人说,因为Mac上使用Multi-Touch手势提高了我的工作效率;当然,也有人说,因为老子有钱。当笔者将同样的问题抛给开发人员,对方只给我回了两个字:纯净。
这就要从macOS出身说起了。相较于前面的Windows 10操作系统,macOS的出身可以说相当高贵,macOS操作系统脱胎于UNIX操作系统。可能很多人对Unix系统并不了解,但你一定在玩游戏过程中听说过服务器。实际上,Unix是为服务器而生,是一个专注于高效的系统。macOS在Unix的基础上,进行了内存和处理器调度当面的优化,成为适用于PC的操作系统。
那么macOS在使用过程中有有什么优势呢?
首先,脱胎于Unix的macOS更像Linux,这样的特点让那些处于研发需要使用Linux的用户能够快速地切换到macOS上。
其次,macOS系统运行流畅。对于很多Windows用户而言,出门行走总要有一技傍身,从此,每逢卡机都会用“Ctrl+Alt+Delete”启动任务管理器来招呼。很多情况下,一个软件的崩溃,用这一招是没问题的,但是频繁的应用不仅耗费时间,而且也并非百试不爽。毫无疑问,频繁的系统、软件崩溃,不仅会对PC产生不良影响,更重要的是会耽误时间,甚至会造成数据遗失。相对而言,macOS有着封闭的生态系统和完美的驱动,很少会出现卡死的现象。
软件卡死最后,对于开发人员来说,macOS的系统没有下方的“开始”菜单。这样的特点让开发人员能够将全部注意力集中在研发之中,不会因为右下方的各种新信息而骚扰。
当然,对于Windows用户,突然替换到macOS会感到比较难,但习惯后发现他更为高效。当然还有人对macOS发出这样的质疑,认为macOS仅依靠苹果一家公司,这样的情况可能会导致一旦苹果衰落或者倒闭,会导致macOS的消亡。但笔者认为这并不值得担忧。且不说苹果公司有没有迅速倒闭的可能性,我们假设苹果公司即将倒闭,那么现在一定也会有很多国家的科研机构对其进行维护。
3、Ubuntu
开放指数:★★★★★
难度系数:★★★
生态建设:★★☆
在谈论Ubuntu之前,我们应该聊一聊Linux,没有Linux就不会有那么多适合各种语言、各种生产环境的操作系统。如果你不了解Linux操作系统,你只需要直到,很多手机采用的安卓系统也脱胎于Linux,Linux通常被开发者所喜爱,市场占有率仅为2%,远不及前面的Windows和 macOS。
Ubuntu首次发布于2004年9月,相对来说是发行较晚的Linux发行版,尽管该项目没有其他Linux发行版本早,但是其邮件列表很快被用户的渴望和开发者的热情讨论所填满。随后,Ubuntu成长为最流行的桌面Linux发行版,它朝着发展一种“易用和免费”的桌面操作系统做出了极大的努力和贡献,能够与市场上任何一款个人操作系统相竞争。
那么,究竟是什么因素使Ubuntu获得如此巨大的成功呢?首先,该项目的创建者影响力十分强大(创建者为Mark Shuttleworth,他既是充满魅力的南非富翁,Debian的早起开发者,也是世界上第二名自资的太空游客)。其次,较晚的发布时间让Ubuntu从其他类似Linux发行计划的失败中得以吸取教训。第三,Ubuntu给所有互联网上感兴趣的用户发放免费CD,从而促进了Ubuntu发行版的迅速扩大。
Ubuntu图形化界面在技术方面,Ubuntu是基于Debian的发行版,包含一些著名的软件包,如GNOME,Firefox和OpenOffice.org其最新版本的更新。虽然Linux系的操作系统通常都以命令行界面著称,但是Ubuntu同样拥有图形界面,这就为开发基础较弱的用户提供了帮助,更为贴心的是,Ubuntu为了满足每个用户的需求,出现了不少版本或风格的Ubuntu。
Ubuntu的其他特殊功能还包括一个可安装的 live CD,美术创作和桌面主题,Windows用户迁移助手,支持最新新的技术,如3D桌面效果,易于安装的ATi和NVIDIA显卡驱动以及无线设备驱动的支持等,并按需支持非免费或专利授权的媒体编解码器,Ubuntu创造了一个优秀的以网络为基础的Wiki风格的文档,用专业的方法为最终用户创建了错误报告反馈机制。
对于Java、PHP和Python开发者来说,Ubuntu是一个不错的选择,无论是简易的安装还是卓越的硬件恢复能力,Ubuntu都成为开发党的最爱。
4、Fedora
开放指数:★★★★★
难度系数:★★★★★
生态建设:★★★☆
如果你并不熟悉Fedora操作系统,但你一定听过Red Hat这家公司。一般红帽在发布正式版之前都会在Fedora上进行测试、发布。尽管如此,Fedora的正式版还是十分稳定的。他与Ubuntu有些相似,用户量在所有Linux系统中也十分可观。如果说Ubuntu简便易用,论坛和 WIKI支持丰富,适合新手入门;那么Fedora在编程环境方面的配置要比Ubuntu还简便,更适合像菜鸟学习编程开发和晋级学习。
Fedora系统在定期发行升级版本时间上,Fedora与Ubuntu一个是开放派,一个是保守派。Fedora更喜欢确保系统达标后再发布,可能会造成用户可接受范围内的发行延时;但Ubuntu更喜欢保守,确定好的日期基本不会再变。Fedora起源可追溯至1995年,但正式发布的时间应该与Ubnutu相近,但值得注意的是,Fedora作为红帽的先行版在稳定性方面拥有绝对优势,同时还有红帽公司来控制Fedora的发展方向。
在操作方面,Fedora需要手动配置yum源,安装各种解码器和常用工具,对于新手来说,学习和开发难度较大。安装步骤基本分为设置分区、设置时区、选择软件源、设置键盘、设置网络接口等,如果第一次使用GNOME,还要进行简单的设置,当然你也可以选择KDE,LXDE,Openbox,Xfce的桌面。
除了Fedora在安全性上的优秀特点之外,Fedora作为Red Hat的测试平台,还拥有高度的创新性,数量众多的支持包,并且严格遵守自由软件理念。其缺点是由于太过关注企业级应用特性,导致桌面可用性关注度较弱。
对于Java、PHP等编程语言的开发者而言,Fedora也是一个不错的选择,因为它能够让开发程序是更加贴近应用。
5、CentOS
开放指数:★★★★★
难度系数:★★★☆
生态建设:★★★★★
CentOS推出于2003年年底,它是来自于Red Hat Enterprise Linux(RHEL)依照开放源代码规定发布的源代码所编译而成,就CentOS平台而言,并不能算是严格意义上的商业版本,但CentOS有它自己的套件库和通信支持。CentOS可以得到 HEL的所有功能,甚至是更好的软件。但CentOS并不向用户提供商业支持,当然也不负上任何商业责任。
CentOS尽管如此,你仍会发现,很多商业公司部署在生产环境上的服务器都是使用的CentOS系统。因此,CentOS常常被视为是一个可靠的服务器发行版。它继承配备了完善的测试和稳定的Linux内核和软件,和红帽企业Linux基础相同。
CentOS是一个企业适合的桌面解决方案,特别是在稳定性,可靠性和长期支持方面,是对最新的软件和功能的首选。与RHEL一样, CentOS支持 5年以上的安全更新。另外,CentOS简约,命令行的人性化做得比较好,稳定,且有着强大的英文文档与开发社区的支持。CentOS虽然不单独提供商业支持,但往往可以从Redhat中找到一丝线索。
很多网站站长都会选择CentOS系统,因为CentOS可以去除很多与服务器功能无关的应用,系统简单但非常稳定,命令行操作可以方便管理系统和应用,并且有帮助文档和社区的支持。
centos.org总的来说,CentOS不但行之有效,而且稳定可靠;可以免费下载和使用,还配备了5年的免费安全更新,能够及时的发布和安全更新。但也往往缺乏最新的Linux技术支持,其发行时,大多数软件已经过时。
如今Linux系操作系统在应用体验、桌面美观、游戏支持、Web应用和软件兼容方面均有所提升,赢得了很多开发者的喜爱,但目前Windows仍然保持着最大的市占率,并在Windows 10开发版中原生支持了Linux bash。无论是Windows、macOS还是Linux系统,都拥有大量的开发者聚集。
尽管计算机都会自带操作系统,但开发者常常会选择重新安装,或者选择双系统、虚拟机。比如,很多人选择将CentOS装在虚机中,或者将win与Linux做成双系统,这导致很难分清究竟哪个操作系统的开发者更多。但可以肯定的是不同的开发需求适应不同的操作系统,更何况萝卜白菜各有所爱,只有我们了解自身技术水平和工作需要,才能找到更能贴近应用、提升工作效率的操作系统。