[更新部分答案]
这是我的代码：

void cbVideoPrerender(void *p_video_data, uint8_t **pp_pixel_buffer, int size) {
    // Locking
    imageMutex.lock();
    videoBuffer = (uint8_t *)malloc(size);
    *pp_pixel_buffer = videoBuffer;
}  
void cbVideoPostrender(void *p_video_data, uint8_t *p_pixel_buffer
      , int width, int height, int pixel_pitch, int size, int64_t pts) {
   // Unlocking
   imageMutex.unlock();
   Mat img = Mat(Size(width,height), CV_8UC3, p_pixel_buffer);
   //cvtColor(img,img,CV_RGB2BGR);
}
int main(int argc, char ** argv)
{
   libvlc_instance_t * inst;
   char smem_options[1000];
   sprintf(smem_options
      , "#transcode{vcodec=RV24}:smem{"
         "video-prerender-callback=%lld,"
         "video-postrender-callback=%lld,"
         "video-data=%lld,"
         "no-time-sync},"
      , (long long int)(intptr_t)(void*)&cbVideoPrerender
      , (long long int)(intptr_t)(void*)&cbVideoPostrender //This would normally be useful data, 100 is just test data
      , (long long int)200 //Test data
      );
    const char * const vlc_args[] = {
              "-I", "dummy", // Don't use any interface
              "--ignore-config", // Don't use VLC's config
              "--extraintf=logger", // Log anything
              "--verbose=1", // Be verbose
              "--sout", smem_options // Stream to memory
               };

    // We launch VLC
    inst = libvlc_new(sizeof(vlc_args) / sizeof(vlc_args[0]), vlc_args);
...
return 0;
}

问题已更新
我检查了我的两个回调函数似乎正确执行。
_RV32究竟输出什么样的数据？ 它是否适合CV_8U3C（这里需要无符号8位int 3通道？_我需要向我的Mat类添加一个步骤（步骤 - 每个矩阵行占据的字节数）
UPDATED2
我将RV32更改为RV24，这更有意义。 我添加cvtColor导致Mat矩阵似乎需要BGR像素而不是RGB，但仍然无法正确显示图像。
_是否有一个vcodec会给我一个YUV格式作为输出，所以我可以在尝试输出一个opencv :: Mat img之前测试像素数据？
[编辑输出IMG] （通过将vlc类型更改为CV_8UC4四通道（不知道为什么），我们几乎可以看到框架，但质量很差，为什么？
[解]
我发现在我的视频开头的图像质量差，这就是为什么我的垫imshow（）显示我上面的代码现在应该工作这样丑陋的事情（Apperently不需要cvtColor）

---

首先，快速警告：从VLC2.2（即将发布的当前git版本）开始，size参数是size_t。 没有适用于smem的API（但希望这会改变），这很糟糕，所以这会悄悄地破坏你的应用程序。

然后，对“数据”参数进行快速评论：它应该包含您需要进行处理的内容。 这是一个指向结构的指针，一个类的实例，你可以将它命名。 我强烈怀疑在32位计算机上传递很长时间会有效，因为你只能在包含32的内容中强制使用64位。你应该做的是声明一个结构，并将你需要的内容存储到它中。 在这里，一个很好的例子可能是：

struct MyParamStruct
{
    YourMutexType imageMutex; // Here mutex is not a global variable anymore
    int otherParam; // You can use this to store the value 200 that you were passing before
};
//...

// Init the struct somewhere
MyParamStruct* param = new MyStructParam;
param->otherParam = 200;
//...

sprintf(smem_options
      , "#transcode{vcodec=h264}:smem{"
         "video-prerender-callback=%lld,"
         "video-postrender-callback=%lld,"
         "video-data=%lld,"
         "no-time-sync},"
      , (long long int)(intptr_t)(void*)&cbVideoPrerender
      , (long long int)(intptr_t)(void*)&cbVideoPostrender //This would normally be useful data, 100 is just test data
      , (long long int)(intptr_t)(void*)param
      );

关于互斥体的用法，对我来说看起来不错。 实际上，您似乎没有任何并发​​问题，因为您为每个帧同步分配一个新的缓冲区。 如果您每次都使用预分配的缓冲区，则在退出postrender功能时需要考虑锁定。

实际上，我甚至不确定什么是无效指针p_video_data。

这取决于你的图像格式。 对于H264，它将取决于解码器将输出的像素格式。 由于您要求输出H264，所以很可能您会获得平面像素格式，但确切类型取决于您的H264配置文件。

如果你期待rawdata的结果（似乎是这种情况，因为CV_8UC3似乎是指一个3频道的原始图像，快速浏览谷歌后），我建议你切换到RV32： #transcode{vcodec=RV32}

你需要传递给转码模块的是你的输出 fourcc，VLC将为你处理输入:)

更新

我不知道Mat类是否接受了指针的所有权，但是您也可能想要检查它。

更新2

要回答您关于什么是RV32的进一步问题：

/* 24 bits RGB */
#define VLC_CODEC_RGB24           VLC_FOURCC('R','V','2','4')
/* 24 bits RGB padded to 32 bits */
#define VLC_CODEC_RGB32           VLC_FOURCC('R','V','3','2')
/* 32 bits RGBA */
#define VLC_CODEC_RGBA            VLC_FOURCC('R','G','B','A')

如果你只需要3个字节，那么你可能应该试试RV24！ 我应该建议从一开始，因为8CU3肯定只有3个字节......

链接地址: http://www.djcxy.com/p/89801.html

上一篇: Get frame from video with libvlc smem and convert it to opencv Mat. (c++)

下一篇: stop an infinite loop