linux 摄像头采集，opencv实时摄像头采集

各位老铁们，大家好，今天由我来为大家分享linux 摄像头采集，以及opencv实时摄像头采集的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！

Video4Linux的简介

对中断的处理实现，内存映射功能以及对I/O通道的控制接口函数ioct1的实现等，并把它们定义在struct file_operations中。这样当应用程序对设备文件进行诸如open、close、read、write等系统调用操作时，Linux内核将通过file_operations结构访问驱动程序提供的函数。例如，当应用程序对设备文件执行读操作时，内核将调用file_operations结构中的read函数。在系统平台上对USB口数码摄像头驱动，首先把USB控制器驱动模块静态编译进内核，使平台中支持USB接口，再在需要使用摄像头采集时，使用insmod动态加载其驱动模块，这样摄像头就可正常工作了，接着进行了下一步对视频流的采集编程。

程序中定义的数据结构

struct video_capability grab_cap;

struct video_picture grab_pic;

struct video_mmap grab_buf;

struct video_mbuf grab_vm；

这些数据结构都是由Video4Linux支持的，它们的用途如下：

*video_capability包含摄像头的基本信息，例如设备名称、支持的最大最小分辨率、信号源信息等，分别对应着结构体中成员变量name [32]、maxwidth、maxheight、minwidth、minheight、channels(信号源个数)、type等；

*voide_picture包含设备采集图像的各种属性，如brightness(亮度)、hue(色调)、contrast(对比度)、whiteness(色度)、depth(深度)等；

*video_mmap用于内存映射；

*video_mbuf利用mmap进行映射的帧信息，实际上是输入到摄像头存储器缓冲中的帧信息，包括size（帧的大小）、frames（最多支持的帧数）、offsets（每帧相对基址的偏移）。

程序中用到的主要系统调用函数有：open(/dev/voideo0,int flags)、close(fd)、mmap(void*start,size_t length,int prot,int flags,int fd,off_t offset)、munmap(void*start,size_tlength)和ioctl(int fd,int cmd,…)。

前面提到Linux系统中把设备看成设备文件，在用户空间可以通过标准的I/O系统调用函数操作设备文件，从而达到与设备通信交互的目的。当然，在设备驱动中要提供对这些函数的相应支持。这里说明一下ioctl(int fd,int cmd,…)函数，它在用户程序中用来控制I/O通道，其中，fd代表设备文件描述符，cmd代表用户程序对设备的控制命令，省略号一般是一个表示类型长度的参数，也可没有。

（2）采集程序实现过程

首先打开视频设备，摄像头在系统中对应的设备文件为/dev/video0，采用系统调用函数grab_fd=open(/dev/video0, O_RDWR),grab_fd是设备打开后返回的文件描述符（打开错误返回-1），以后的系统调用函数就可使用它来对设备文件进行操作了。接着，利用 ioctl（grab_fd,VIDIOCGCAP,&grab_cap）函数读取struct video_capability中有关摄像头的信息。该函数成功返回后，这些信息从内核空间拷贝到用户程序空间grab_cap各成员分量中，使用 printf函数就可得到各成员分量信息，例如printf(maxheight=%d,grab_fd.maxheight)获得最大垂直分辨率的大小。不规则用ioctl(grab_fd,VIDIOCGPICT,&grab_pic)函数读取摄像头缓冲中voideo_picture信息。在用户空间程序中可以改变这些信息，具体方法为先给分量赋新值，再调用VIDIOCSPICT ioctl函数，例如：

grab_fd.depth=3;

if(ioctl(grab_fd,VIDIOCSPICT,&grab_pic)<0)

{perror(VIDIOCSPICT);return-1;};

完成以上初始化设备工作后，就可以对视频图像截取了，有两种方法：一种是read()直接读取；另外一种mmap()内存映射。Read()通过内核缓冲区来读取数据；而mmap()通过把设备文件映射到内存中，绕过了内核缓冲区，最快的磁盘访问往往还是慢于最慢的内存访问，所以mmap()方式加速了 I/O访问。另外，mmap()系统调用使得进程之间通过映射同一文件实现共享内存，各进程可以像访问普通内存一样对文件进行访问，访问时只需要使用指针而不用调用文件操作函数。因为mmap()的以上优点，所以在程序实现中采用了内存映射方式，即mmap()方式。

利用mmap()方式视频裁取具体进行操作如下。

①先使用ioctl(grab_fd,VIDIOCGMBUF,&grab_vm)函数获得摄像头存储缓冲区的帧信息，之后修改voideo_mmap中的设置，例如重新设置图像帧的垂直及水平分辨率、彩色显示格式。可利用如下语句

grab_buf.height=240;

grab_buf.width=320;

grab_buf.format=VIDEO_PALETTE_RGB24;

②接着把摄像头对应的设备文件映射到内存区，具体使用grab_data=(unsigned char*)mmap(0,grab_vm.size,PROT_READ|PROT_WRITE,MAP_SHARED,grad_fd,0)操作。这样设备文件的内容就映射到内存区，该映射内容区可读可写并且不同进程间可共享。该函数成功时返回映像内存区的指针，挫败时返回值为-1。

下面对单帧采集和连续帧采集进行说明：

*单帧采集。在上面获取的摄像头存储缓冲区帧信息中，最多可支持的帧数（frames的值）一般为两帧。对于单帧采集只需设置 grab_buf.frame=0，即采集其中的第一帧，使用ioctl(grab_fd,VIDIOCMCAPTURE,&grab_buf)函数，若调用成功，则激活设备真正开始一帧图像的截取，是非阻塞的。接着使用ioctl(grab_fd,VIDIOCSYNC,&frame)函数判断该帧图像是否截取完毕，成功返回表示截取完毕，之后就可把图像数据保存成文件的形式。

*连续帧采集。在单帧的基础上，利用grab_fd.frames值确定采集完毕摄像头帧缓冲区帧数据进行循环的次数。在循环语句中，也是使用VIDIOCMCCAPTURE ioct1和VIDIOCSYNC ioctl函数完成每帧截取，但要给采集到的每帧图像赋地址，利用语句buf=grab_data+grab_vm.offsets[frame],然后保存文件的形式。若要继续采集可再加一个外循环，在外循环语句只要给原来的内循环再赋frame=0即可。

ffmpeg录屏/录音/录摄像头---命令行实现

原文地址:

ffmpeg在linux下支持的采集设备的种类比较多。

在操作设备之前，我们可以查看当前系统可以支持的操作设备：

ffmpeg-hide_banner-devices

///////////////////////////////////

采集设备fbdev的参数:我们能看出fb（FrameBuffer）的操作参数，指定帧率就行(默认值为25).

ffmpeg-h demuxer=fbdev

ffmpeg-framerate 30-f fbdev-i/dev/fb0 out.mp4

/////////////////////////////////////

v4l2即就是video4linux2的缩写，也是常见视频设备。获取摄像头的视频图片～

通过ffmpeg-h demuxer=v4l2查看相关的操作参数

例子：

获取本电脑的v4l2摄像头所支持的色彩格式和分辨率：

ffmpeg-hide_banner-f v4l2-list_formats all-i/dev/video0

接下来可以使用下面的命令行，用摄像头采集视频文件：

ffmpeg-hide_banner-s 1920*1080-i/dev/video0 out2.avi

对应的输出信息为：

因为我的摄像头不支持1920 1080，默认还原成了前面他所支持的参数 1280 720,输出的视频编码采用了avi的默认编码和码率参数。

////////////////////////////////////////////////

ffmpeg在linux下桌面图形的时候，通常是用x11grab设备采集桌面图像。

ffmpeg-h demuxer=x11grab可以获得操作的参数：

参数包括了，采集分辨率-video_size，支持鼠标光标-draw_mouse，跟中鼠标轨迹-follow_mouse，指定采集区域-region_border等参数。

例子：

1）录制桌面

ffmpeg-f x11grab-framerate 25-video_size 1366*768-i:0.0 out.mp4

图像的分辨率，以实际电脑的支持来，我的因为是1366*768，所刚好录制下整个屏幕

我设置的参数为：帧率为25帧，分辨率为 1366*768，采集设备为 0.0，输出的文件为out.mp4

2）带鼠标的录制桌面

ffmpeg-f x11grab-framerate 25-video_size 1366*768-follow_mouse 1-i:0.0 out.mp4

3）指定录制区域

ffmpeg-f x11grab-framerate 25-video_size 352*288-i:0.0+300,200 out4.mp4

-i:0.0+300,200制定了x坐标为300 y坐标为200

这样就可以录制桌面了。

Linux摄像头(v4l2应用)——获取摄像头一帧图像

V4L2（Video for Linux 2）是Linux内核中用于视频设备的驱动框架。它提供了一系列API接口，适配了大部分视频设备，因此通过V4L2接口函数，可以适配多种视频设备。以下为操作流程：

1.打开设备：当摄像头插入电脑后，执行ls/dev/vi*可以看到/dev目录下出现摄像头的video节点。使用open函数打开摄像头节点。

2.获取支持格式和功能：使用ioctl函数获取摄像头支持的格式，通过VIDIOC_ENUM_FMT操作命令，获取结构体struct v4l2_fmtdesc，该结构体定义了支持的像素格式等信息。在操作过程中，通常会用while循环读取支持的格式。

3.配置摄像头：在视频采集前，通过v4l2_format结构体设置视频采集的高、宽以及像素格式，通常使用YUYV或MJPG格式。设置后，通过打印查看是否设置成功。

4.申请帧缓冲队列并映射：为了提高效率，采用流读写方式，内核中维护一个缓存队列，然后映射到用户空间，应用层直接读取队列中的数据。

5.采集视频：打开设备，读取数据，关闭设备，释放映射。

若采集到的jpg图片报(Not a JPEG file: starts with 0xe0 0xc1)错误，可能是因为数据未完全采集就已读取，或在队列中获取数据前未适当延迟。将采集格式改为yuyv，发现问题是由于虚拟机中USB兼容性问题，将USB兼容性设置为USB3.1后，问题解决，同时成功采集到数据。

在视频采集后，后续文章将讨论如何在LCD屏上实时显示视频。