linux共享内存通信?linux查看共享内存
大家好,感谢邀请,今天来为大家分享一下linux共享内存通信的问题,以及和linux查看共享内存的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
linux共享内存和mmap的区别
共享内存的创建
根据理论:
1.共享内存允许两个或多个进程共享一给定的存储区,因为数据不需要来回复制,所以是最快的一种进程间通信机制。共享内存可以通过mmap()映射普通文件(特殊情况下还可以采用匿名映射)机制实现,也可以通过系统V共享内存机制实现。应用接口和原理很简单,内部机制复杂。为了实现更安全通信,往往还与信号灯等同步机制共同使用。
mmap的机制如:就是在磁盘上建立一个文件,每个进程存储器里面,单独开辟一个空间来进行映射。如果多进程的话,那么不会对实际的物理存储器(主存)消耗太大。
shm的机制:每个进程的共享内存都直接映射到实际物理存储器里面。
结论:
1、mmap保存到实际硬盘,实际存储并没有反映到主存上。优点:储存量可以很大(多于主存)(这里一个问题,需要高手解答,会不会太多拷贝到主存里面???);缺点:进程间读取和写入速度要比主存的要慢。
2、shm保存到物理存储器(主存),实际的储存量直接反映到主存上。优点,进程间访问速度(读写)比磁盘要快;缺点,储存量不能非常大(多于主存)
使用上看:如果分配的存储量不大,那么使用shm;如果存储量大,那么使用shm。
参看百度:
mmap就是一个文件操作
看这些百度的描述:
mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后,进程可以向访问普通内存一样对文件进行访问,不必再调用read(),write()等操作。成功执行时,mmap()返回被映射区的指针,munmap()返回0。失败时,mmap()返回MAP_FAILED[其值为(void*)-1],munmap返回-1。errno被设为以下的某个值 EACCES:访问出错EAGAIN:文件已被锁定,或者太多的内存已被锁定EBADF:fd不是有效的文件描述词EINVAL:一个或者多个参数无效 ENFILE:已达到系统对打开文件的限制ENODEV:指定文件所在的文件系统不支持内存映射ENOMEM:内存不足,或者进程已超出最大内存映射数量 EPERM:权能不足,操作不允许ETXTBSY:已写的方式打开文件,同时指定MAP_DENYWRITE标志SIGSEGV:试着向只读区写入 SIGBUS:试着访问不属于进程的内存区参数fd为即将映射到进程空间的文件描述字,
一般由open()返回,同时,fd可以指定为-1,此时须指定 flags参数中的MAP_ANON,表明进行的是匿名映射(不涉及具体的文件名,避免了文件的创建及打开,很显然只能用于具有亲缘关系的进程间通信)
相关文章参考:
mmap函数是unix/linux下的系统调用,来看《Unix Netword programming》卷二12.2节有详细介绍。
mmap系统调用并不是完全为了用于共享内存而设计的。它本身提供了不同于一般对普通文件的访问方式,进程可以像读写内存一样对普通文件的操作。而Posix或系统V的共享内存IPC则纯粹用于共享目的,当然mmap()实现共享内存也是其主要应用之一。
mmap系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后,进程可以像访问普通内存一样对文件进行访问,不必再调用read(),write()等操作。mmap并不分配空间,只是将文件映射到调用进程的地址空间里,然后你就可以用memcpy等操作写文件,而不用write()了.写完后用msync()同步一下,你所写的内容就保存到文件里了.不过这种方式没办法增加文件的长度,因为要映射的长度在调用mmap()的时候就决定了.
简单说就是把一个文件的内容在内存里面做一个映像,内存比磁盘快些。
基本上它是把一个档案对应到你的virtual memory中的一段,并传回一个指针。
重写总结:
1、mmap实际就是操作“文件”。
2、映射文件,除了主存的考虑外。shm的内存共享,效率应该比mmap效率要高(mmap通过io和文件操作,或“需要写完后用msync()同步一下”);当然mmap映射操作文件,比直接操作文件要快些;由于多了一步msync应该可以说比shm要慢了吧???
3、另一方面,mmap的优点是,操作比shm简单(没有调用比shm函数复杂),我想这也是许多人喜欢用的原因,包括nginx。
缺点,还得通过实际程序测试,确定!!!
修正理解(这也真是的,这个网站没办法附加;只能重写了):
今天又细心研究了一下,发现百度这么一段说明:
2、系统调用mmap()用于共享内存的两种方式:
(1)使用普通文件提供的内存映射:适用于任何进程之间;此时,需要打开或创建一个文件,然后再调用mmap();典型调用代码如下:
fd=open(name, flag, mode);
if(fd<0)
...
ptr=mmap(NULL, len, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);通过mmap()实现共享内存的通信方式有许多特点和要注意的地方,我们将在范例中进行具体说明。
(2)使用特殊文件提供匿名内存映射:适用于具有亲缘关系的进程之间;由于父子进程特殊的亲缘关系,在父进程中先调用mmap(),然后调用fork()。那么在调用fork()之后,子进程继承父进程匿名映射后的地址空间,同样也继承mmap()返回的地址,这样,父子进程就可以通过映射区域进行通信了。注意,这里不是一般的继承关系。一般来说,子进程单独维护从父进程继承下来的一些变量。而mmap()返回的地址,却由父子进程共同维护。
看了一下windows“内存映射文件”:
内存映射文件与虚拟内存有些类似,通过内存映射文件可以保留一个地址空间的区域,同时将物理存储器提交给此区域,只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件,而非系统的页文件,而且在对该文件进行操作之前必须首先对文件进行映射,就如同将整个文件从磁盘加载到内存。由此可以看出,使用内存映射文件处理存储于磁盘上的文件时,将不必再对文件执行I/O操作,这意味着在对文件进行处理时将不必再为文件申请并分配缓存,所有的文件缓存操作均由系统直接管理,由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤,使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外,实际工程中的系统往往需要在多个进程之间共享数据,如果数据量小,处理方法是灵活多变的,如果共享数据容量巨大,那么就需要借助于内存映射文件来进行。实际上,内存映射文件正是解决本地多个进程间数据共享的最有效方法。
这里再总结一次:
1、mmap有两种方式,一种是映射内存,它把普通文件映射为实际物理内存页,访问它就和访问物理内存一样(这也就和shm的功能一样了)(同时不用刷新到文件)
2、mmap可以映射文件,不确定会不会像windows“内存映射文件”一样的功能,如果是,那么他就能映射好几G甚至好几百G的内存数据,对大数据处理将提供强大功能了???
3、shm只做内存映射,和mmap第一个功能一样!只不过不是普通文件而已,但都是物理内存。
linux查看共享内存命令
共享内存查看
使用ipcs命令,不加如何参数时,会把共享内存、信号量、消息队列的信息都打印出来,如果只想显示共享内存信息,使用如下命令:
[root@localhost~]# ipcs-m
------ Shared Memory Segments--------
key shmid owner perms bytes nattch status
0x00000000 1867776 root 600 393216 2 dest
0x00000000 1900545 root 600 393216 2 dest
0x00030021 1703938 zc 666 131104 1
0x0003802e 1736707 zc 666 131104 1
0x00030004 1769476 zc 666 131104 1
0x00038002 1802245 zc 666 131104 1
0x00000000 1933318 root 600 393216 2 dest
0x00000000 1966087 root 600 393216 2 dest
0x00000000 1998856 root 600 393216 2 dest
0x00000000 2031625 root 600 393216 2 dest
0x00000000 2064394 root 600 393216 2 dest
0x0014350c 2261003 cs 666 33554432 2
0x00000000 2129932 root 600 393216 2 dest
0x00000000 2162701 root 600 393216 2 dest
0x00143511 395837454 root 666 1048576 1
其中:
第一列就是共享内存的key;
第二列是共享内存的编号shmid;
第三列就是创建的用户owner;
第四列就是权限perms;
第五列为创建的大小bytes;
第六列为连接到共享内存的进程数nattach;
第七列是共享内存的状态status。其中显示“dest”表示共享内存段已经被删除,但是还有用户在使用它,当该段内存的mode字段设置为SHM_DEST时就会显示“dest”。当用户调用shmctl的IPC_RMID时,内存先查看多少个进程与这个内存关联着,如果关联数为0,就会销毁这段共享内存,否者设置这段内存的mod的mode位为SHM_DEST,如果所有进程都不用则删除这段共享内存。
Linux进程间通信方式实现数据共享linux进程通信方式
Linux进程间通信是进程间实现数据传输和数据共享的一种跨进程间的接口,如果可以使用非标准方法实现,就可以快速完成进程间通信。Linux操作系统为进程间提供了多种通信方式实现数据共享,主要包括管道通信(Pipes)、命名管道(Named Pipes)、信号(Signals)、消息队列(Message Queues)、共享内存(Shared Memory)和信号量(Semaphore)等。
一、管道通信(Pipes)
管道通信是Linux中最基本的进程间通信模型,它允许进程之间两个方向上数据传输,是半双工的,而且只能在父子进程间通信(即调用进程和被调用进程)。使用管道通信可以用下列代码实现:
int pipefd[2];
if(pipe(pipefd)
{
printf(“create pipe error!\n”);
return-1;
}
二、命名管道(Named Pipes)
命名管道使用文件系统来实现,它可以实现不同进程间的通信,改进了管道的双向的半双工的通信模式,允许多个进程读写管道,可以实现全双工的数据通信,但是它取决于系统调用现有的文件结构来实现,所以使用时也较为繁琐,使用代码如下:
int main()
{
int fd;
char* myfifo=“/tmp/myfifo”;
mkfifo(myfifo, 0666);
fd= open(myfifo, O_RDONLY);
read(fd, data_from_server, sizeof(data_from_server));
close(fd);
unlink(myfifo);
return 0;
}
三、信号(Signals)
信号是Linux操作系统中一种同步机制,可以在任何进程间传递,用来唤醒目标进程,由于信号可能会被系统忽略或者阻止,所以信号只能用来传递一些小段的数据,平时也比较少用到,使用代码如下:
#include
void sig_handler(int signo)
{
if(signo== SIGINT)
{
printf(“recv SIGINT\n”);
}
}
int main(int argc, char*argv[])
{
//安装信号处理函数
signal(SIGINT, sig_handler);
while(1)
{
sleep(1);
}
return 0;
}
四、消息队列(Message Queues)
消息队列是用来实现线程间或进程间数据共享的重要手段,它主要用来在系统中传递小段的数据,可以有效缓解进程繁重的工作负荷,使用代码如下:
#include
//消息缓冲区
struct msgbuf
{
long mtype;
char mtext[256];
};
int main()
{
int msgid;
int ret;
struct msgbuf buf;
msgid= msgget(0x1234, IPC_CREAT|0666);
if(msgid
{
printf(“msgget() error!\n”);
return-1;
}
while(1)
{
//接收消息队列
ret= msgrcv(msgid,&buf, 256, 0, IPC_NOWAIT);
if(ret> 0)
{
printf(“receive:%s\n”, buf.mtext);
}
sleep(2);
}
return 0;
}
五、共享内存(Shared Memory)
共享内存是进程间最高效方式之一,它可以用来实现进程间大量数据的快速传输,因为它就是一个物理内存区域,多个进程可以访问它,操作系统会维护它的一致性,使用代码如下:
#include
int main()
{
int shmid;
void* shmaddr;
if((shmid= shmget(IPC_PRIVATE, 1024, IPC_CREAT))
{
perror(“shmget() error!\n”);
return-1;
}
if((shmaddr= shmat(shmid, 0, 0))==(void*)-1)
{
perror(“shmat() error!\n”);
return-1;
}
//利用共享内存完成数据传递
memcpy(shmaddr, data, 1024);
shmdt(shmaddr);
shmctl(shmid, IPC_RMID, 0);
return