linux页缓存，redis分页缓存方案
大家好，今天给各位分享linux页缓存的一些知识，其中也会对redis分页缓存方案进行解释，文章篇幅可能偏长，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在就马上开始吧！
Linux buff/cache占用大量内存分析
一、问题由来：在使用Linux系统时，我们常会发现缓存（cache）占用大量内存。例如，通过`free`命令查询内存情况时，会发现`buff/cache`已经占据了2.1G的内存。自Linux 2.4版本开始，"buffer"和"cache"被统一为页缓存，整体内存使用量较高，但实际上已使用的内存（used）只有282M。这表明大量内存被缓存占用，而非实际使用。
二、Linux缓存内容：缓存是文件数据的页缓存，主要用于加速文件的读写操作。在使用如MMap、缓冲I/O（Buffered I/O）和预读取（Read-Ahead）等技术时，内核会产生页缓存。然而，如果使用裸I/O（Raw I/O）或直接I/O（Direct I/O），则可以绕过缓存，直接在磁盘或分区上进行I/O操作，避免缓存的使用。
三、查看Linux缓存工具：要了解哪些文件被缓存，可以使用如`fincore`、`pcstat`、`hcache`、`vmtouch`等工具。其中，`fincore`已不再维护，这里主要介绍`pcstat`、`hcache`和`vmtouch`。这些工具可以帮助分析缓存使用情况，以找出问题所在。
四、使用`pcstat`：`pcstat`是一个用于分析缓存的工具，其安装和使用方法如下。首先，需要安装`go`语言包，然后克隆源码，编译工具，并运行以验证其功能。值得注意的是，不同操作系统和CPU架构需要编译对应版本的`pcstat`可执行文件，以确保兼容性和最佳性能。
五、`hcache`工具：`hcache`也是一个用于缓存分析的工具，其安装方法类似`pcstat`。`hcache`提供了一些额外的功能，如总和计算和`--top`选项，用于展示最高占用缓存的文件或进程，但该功能的准确性可能有限。
六、`vmtouch`工具：`vmtouch`是一个用C语言编写的工具，用于理解和控制Unix和类Unix系统的文件系统缓存。它提供了一系列功能，包括查询缓存中的文件、预热加载文件、清除缓存、锁定文件页以防止被换出到磁盘等。
七、总结：通过上述工具，我们能够有效地分析和管理Linux系统的缓存占用情况，从而优化内存使用和提高系统性能。通过结合使用这些工具，可以更直观地解决问题，例如找出占用大量缓存的文件和进程，并采取相应措施减少缓存占用，提升系统效率。
Linux操作系统中内存buffer和cache的区别
更详细的解释参考：Difference Between Buffer and Cache
对于共享内存（Shared memory），主要用于在UNIX环境下不同进程之间共享数据，是进程间通信的一种方法，一般的应用程序不会申请使用共享内存，笔者也没有去验证共享内存对上面等式的影响。如果你有兴趣，请参考：What is Shared Memory?
cache和 buffer的区别：
Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期，Cache中保存着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调用,这样就减少了CPU的等待时间,提高了系统的效率。Cache又分为一级Cache(L1 Cache)和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。
Buffer：缓冲区，一个用于存储速度不同步的设备或优先级不同的设备之间传输数据的区域。通过缓冲区，可以使进程之间的相互等待变少，从而使从速度慢的设备读入数据时，速度快的设备的操作进程不发生间断。
Free中的buffer和cache：（它们都是占用内存）：
buffer:作为buffer cache的内存，是块设备的读写缓冲区
cache:作为page cache的内存,文件系统的cache
如果 cache的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被cache住，那么磁盘的读IO bi会非常小。
==============================================================================================
cache是高速缓存，用于CPU和内存之间的缓冲；
buffer是I/O缓存，用于内存和硬盘的缓冲
cache最初用于cpu cache,主要原因是cpu与memory,由于cpu快,memory跟不上,且有些值使用次数多,所以放入
cache中，主要目的是，重复使用,并且一级\二级物理cache速度快，
buffer主要用于disk与 memory，主要是保护硬盘或减少网络传输的次数（内存数据表现dataSet）．当然也可以提高速度（不会立即写入硬盘或直接从硬盘中读出的数据马上显示），重复使用，最初最主要的目的是保护disk,
asp.net的cache有outputcahe与数据cache,主要目的是重复使用，提高速度，outputcache主要存储Reader后的页，一般是多次使用同一个HTML，建议不要varybyparam，不要存多version,
数据cache,如dataSet, dataTable,等
@page buffer="true",使用buffer，让buffer满后再显示读出或写入，(c中文件输出也是如此,主要目的是保护硬盘),也可以提高下次的访问速度.在client browse端表现是: true是一次性显示,要么不显示,中间等, false是一次显示一些,
这在网络输出也是如此表现.
对于文件访问c中默认采用的是buffer= true,这与asp.net一样,
相当于Response.write();中当buffer满后输出,以减少网络的传输次数
<%@ OutputCache Duration="60" VaryByParam="none"%>,是将asp.net生成的HTML缓存起来，在指定的时间内不需要重新生成html， control.ascx.也有组件缓存(htmlCach)。 dataSet也是如此。DataCache,
cache和buffer都是缓冲区，在翻译上，cache翻译成高速缓冲区要好一点(因为主要是为下次访问加速)， buffer翻译成缓冲区好点。都是缓冲的作用，可目的有点不同，主要是理解，不需要太咬文嚼字.
cache和 buffer的区别
1, Buffer是缓冲区
2, Cache是高速缓存，分library cache; data dictionary cache; database buffer cache
Buffer cache缓冲区高速缓存，用于缓存从硬盘上读取的数据，减少磁盘I/O.
3, buffer有共享SQL区和PL/SQL区,数据库缓冲区高速缓存有独立的subcache
4, pool是共享池用于存储最近执行的语句等
5, cache:
A cache is a smaller, higher-speed component that is used to speed up the
access to commonly used data stored in a lower-speed, higher-capacity
component.
database buffer cache:
The database buffer cache is the portion of the SGA that holds copies of data
blocks
read from data files. All user processes concurrently(同时地,兼任地)connected
to the instance share access to the database buffer cache.
buffer cache就是以block为单位读入写出的。
缓存（cache）是把读取过的数据保存起来，重新读取时若命中（找到需要的数据）就不要去读硬盘了，若没有命中就读硬盘。其中的数据会根据读取频率进行组织，把最频繁读取的内容放在最容易找到的位置，把不再读的内容不断往后排，直至从中删除。
缓冲（buffers）是根据磁盘的读写设计的，把分散的写操作集中进行，减少磁盘碎片和硬盘的反复寻道，从而提高系统性能。linux有一个守护进程定期清空缓冲内容（即写如磁盘），也可以通过sync命令手动清空缓冲。举个例子吧：
我这里有一个ext2的U盘，我往里面cp一个3M的MP3，但U盘的灯没有跳动，过了一会儿（或者手动输入sync）U盘的灯
就跳动起来了。卸载设备时会清空缓冲，所以有些时候卸载一个设备时要等上几秒钟。
修改/etc/sysctl.conf中的vm.swappiness右边的数字可以在下次开机时调节swap使用策
略。该数字范围是0～100，数字越大越倾向于使用swap。默认为60，可以改一下试试。
-----------------------------------------
两者都是RAM中的数据。简单来说，buffer是即将要被写入磁盘的，而cache是被从磁盘中
读出来的。
buffer是由各种进程分配的，被用在如输入队列等方面，一个简单的例子如某个进程要求
有多个字段读入，在所有字段被读入完整之前，进程把先前读入的字段放在buffer中保存
。
cache经常被用在磁盘的I/O请求上，如果有多个进程都要访问某个文件，于是该文件便被
做成cache以方便下次被访问，这样可提供系统性能。
A buffer is something that has yet to be"written" to disk. A cache is
something that has been"read" from the disk and stored for later use.
更详细的解释参考：Difference Between Buffer and Cache
对于共享内存（Shared memory），主要用于在UNIX环境下不同进程之间共享数据，
是进程间通信的一种方法，一般的应用程序不会申请使用共享内存，笔者也没有去验证共
享内存对上面等式的影响。如果你有兴趣，请参考：What is Shared Memory?
cache和 buffer的区别：
Cache：高速缓存，是位于CPU与主内存间的一种容量较小但速度很高的存储器。由于
CPU的速度远高于主内存，CPU直接从内存中存取数据要等待一定时间周期， Cache中保存
着CPU刚用过或循环使用的一部分数据，当CPU再次使用该部分数据时可从Cache中直接调
用,这样就减少了CPU的等待时间,提高了系统的效率。Cache又分为一级Cache(L1 Cache)
和二级Cache(L2 Cache)，L1 Cache集成在CPU内部，L2 Cache早期一般是焊在主板上,现
在也都集成在CPU内部，常见的容量有256KB或512KB L2 Cache。
Buffer：缓冲区，一个用于存储速度不同步的设备或优先级不同的设备之间传输数据
的区域。通过缓冲区，可以使进程之间的相互等待变少，从而使从速度慢的设备读入数据
时，速度快的设备的操作进程不发生间断。
Free中的buffer和cache：（它们都是占用内存）：
buffer:作为buffer cache的内存，是块设备的读写缓冲区
cache:作为page cache的内存,文件系统的cache
如果 cache的值很大，说明cache住的文件数很多。如果频繁访问到的文件都能被
cache住，那么磁盘的读IO bi会非常小。
===========================================
# sync
# echo 1>/proc/sys/vm/drop_caches
echo 2>/proc/sys/vm/drop_caches
echo 3>/proc/sys/vm/drop_caches
cache释放：
To free pagecache:
echo 1>/proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2>/proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3>/proc/sys/vm/drop_caches
说明，释放前最好sync一下，防止丢数据。
因为LINUX的内核机制，一般情况下不需要特意去释放已经使用的cache。这些cache起来的内容可以增加文件以及的读写速度。
linux内存缓存特别高linux内存缓存
linuxcached为什么一直不释放？
当读写文件的时候，Linux内核为了提高读写效率与速度，会将文件在内存中进行缓存，这部分内存就是CacheMemory(缓存内存)。即使你的程序运行结束后，CacheMemory也不会自动释放。缓存内存(CacheMemory)在你需要使用内存的时候会自动释放，所以不必担心没有内存可用。当然也可以手动释放：
echo1>/proc/sys/vm/drop_caches
echo2>/proc/sys/vm/drop_caches
echo3>/proc/sys/vm/drop_caches
注意：生产环境请谨慎操作。
linux内存清理caches是什么？
linux内存清理caches是对内存之外的储存空间，也就是系统自带的高速缓存进行清理的一种功能。
当linux第一次读取一个文件运行时，一份放到一片内存中cache起来，另一份放入运行程序的内存中，正常运行，当程序运行完，关闭了,cache中的那一分却没有释放，第二次运行的时候，系统先看看在内存中是否有一地次运行时存起来的cache中的副本，如果有的话，直接从内存中读取，那样，速度就快多了。
说明这种情况的很典型的例子是启动firefox,由于firefox程序很大，因此第一次读取运行的时候很慢，尤其在速度不快的机器上，但是当你彻底关闭了firefox，ps看不到一个firefox进程，第二次再启动的时候就比第一次明显快很多，这是由于这次系统是直接从cache中读取的firefox来运行，并不是从磁盘上读取的。
再有一个例子：我们频繁使用的ls命令等基本命令，你运行的时候根本看不到硬盘灯闪，因为这些常用的命令都是再第一次运行后就保存在cache中的，以后就一直从内存中读出来运行。
如果cache占用的内存过多了，影响正常运行程序需要的内存，那么会释放掉一部分cache内存，但是总量会保持一个很高的值，所以,linux总是能最大限度的使用内存，就算加到16G，32G内存，也会随着不断的IO操作，内存的free值会慢慢减少到只有几M，想要内存不发生这种情况，只有一个办法：把内存加到比硬盘大。
linux清理内存空间？
1、使用free命令查看一下当前内存使用情况
freetotalusedfreesharedbufferscachedMem:166218968967952765394402123528377276-/+buffers/cache:37832416243572Swap:10241428010241428#针对free命令后出现的信息解释#total:总计物理内存的大小#used:已使用多大#free:可用有多少#Shared:多个进程共享的内存总额#Buffers/cached:磁盘缓存的大小
2、执行sync同步数据
sync#该命令将未写的系统缓冲区写到磁盘中#包含已修改的i-node、已延迟的块I/O和读写映射文件。
3、清理cache（缓存）
echo3>/proc/sys/vm/drop_cachesfreetotalusedfreesharedbufferscachedMem:16621896579592160423040268308708-/+buffers/cache:27061616351280Swap:10241428010241428
4、对比步骤1和3的free命令，used（减少）、free（增大）对应Mem部分就清楚了，cache（缓存）被清理掉了。
ubuntu没有分配交换空间，内存被缓存快满了，有事吗？
如果你的内存够大，比如有2G，那不开交换分区也无所谓的了。
LINUX使用内存和WINDOWS使用内存的机制不一样，平时内存占满是正常的。LINUX优先使用内存做缓存，然后使用交换空间做缓存。麦麦的不老阁
Linux用户进程是如何释放内存的？
如果内存够，进程不去主动回收，内存是不会释放的Linux系统的缓存机制是相当先进的，他会针对dentry（用于VFS，加速文件路径名到inode的转换）、BufferCache（针对磁盘块的读写）和PageCache（针对文件inode的读写）进行缓存操作。
但是在进行了大量文件操作之后，缓存会把内存资源基本用光。但实际上我们文件操作已经完成，这部分缓存已经用不到了。
