## 一、前言

海康sdk显示实时视频流除了支持句柄方式以外,也支持回调的方式拿到每一张图片自己绘制处理,当然回调除了拿到视频数据,其实音频数据也一块拿到了,自行调用音频设备播放就行,关于海康sdk回调这块,还着实折腾了一阵子才搞定,可能最开始没有参照提供的demo以及没有彻底的搜索吧,只是单单看sdk的文档折腾来折腾去的,搞了一星期居然没搞定,后面找到了正确的办法才发现,原来就差一点点一丢丢呢,这又让我联想到很多事情,包括生活中的事情,不都是如此么?当你铆足了劲,试验搞了各种办法,快要精疲力尽放弃的时候,其实此时离成功就差一步了,真的就差那么一丢丢,处理生活中的很多事情也是如此,所以很多时候如果方向对了,坚持过努力过,还不行的话,再努力一把估计就ok了。

折腾了很久总结失败在哪里,调用NET_DVR_RealPlay_V40设置回调函数也是对的,回调函数里面也进去了,调用PlayM4_SetDecCallBackMend设置解码回调函数也是对的(这地方也着实折腾了一阵子,没想到还要用播放MP4的形式来处理),最后发现问题出在解码后的数据,数据也都是拿到了,默认是yv12的数据,如果需要转成image的话就需要做个转换,这个转换网上找了一堆的函数来测试,都失败了,后面找到一个yv12转rgb888格式的,终于可以了,我勒个去。

海康sdk回调流程:

1. 调用NET_DVR_RealPlay_V40设置回调处理函数。

2. 在回调处理函数RealDataCallBack中依次处理打开、播放、解码。

3. 调用PlayM4_GetPort获取播放库未使用的通道号。

4. 调用PlayM4_OpenStream打开视频流。

5. 调用PlayM4_SetDecCallBackMend设置解码回调函数,只解码不显示。

6. 调用PlayM4_Play播放视频流。

7. 调用PlayM4_InputData循环解码数据。

8. 在解码回调函数DecCallBack中分别处理音视频数据。

9. 调用自己封装的yv12ToRGB888函数将数据转成QImage。

关于回调函数请注意以下几点:

1. 回调函数必须有关键词 CALLBACK。

2. 回调函数本身必须是全局函数或者静态函数,不可定义为某个特定的类的成员函数。

3. 回调函数并不由开发者直接调用执行,只是使用系统接口API函数作为起点。

4. 回调函数通常作为参数传递给系统API,由该API来调用。

5. 回调函数可能被系统API调用一次,也可能被循环调用多次。

## 二、功能特点

1. 支持播放视频流和本地MP4文件。

2. 支持句柄和回调两种模式。

3. 多线程显示图像,不卡主界面。

4. 自动重连网络摄像头。

5. 可设置边框大小即偏移量和边框颜色。

6. 可设置是否绘制OSD标签即标签文本或图片和标签位置。

7. 可设置两种OSD位置和风格。

8. 可设置是否保存到文件以及文件名。

9. 可直接拖曳文件到haikangwidget控件播放。

10. 支持h264/h265视频流。

11. 可暂停播放和继续播放。

12. 支持存储单个视频文件和定时存储视频文件。

13. 自定义顶部悬浮条,发送单击信号通知,可设置是否启用。

14. 可设置画面拉伸填充或者等比例填充。

15. 可设置解码是速度优先、质量优先、均衡处理。

16. 可对视频进行截图(原始图片)和截屏(视频窗体)。

17. 录像文件存储为MP4文件。

18. 支持焦距控制、云台控制。

19. 可定制功能。

## 三、效果图

qt开发直播客户端(Qt音开发18-海康sdk回调)(1)

## 四、相关站点

1. 国内站点:[https://gitee.com/feiyangqingyun/QWidgetDemo](https://gitee.com/feiyangqingyun/QWidgetDemo)

2. 国际站点:[https://github.com/feiyangqingyun/QWidgetDemo](https://github.com/feiyangqingyun/QWidgetDemo)

3. 个人主页:[https://blog.csdn.net/feiyangqingyun](https://blog.csdn.net/feiyangqingyun)

4. 知乎主页:[https://www.zhihu.com/people/feiyangqingyun/](https://www.zhihu.com/people/feiyangqingyun/)

5. 体验地址:[https://blog.csdn.net/feiyangqingyun/article/details/97565652](https://blog.csdn.net/feiyangqingyun/article/details/97565652)

## 五、核心代码

//yv12转RGB888 static bool yv12ToRGB888(const unsigned char *yv12, unsigned char *rgb888, int width, int height) { if ((width < 1) || (height < 1) || (yv12 == NULL) || (rgb888 == NULL)) { return false; } int len = width * height; unsigned char const *yData = yv12; unsigned char const *vData = &yData[len]; unsigned char const *uData = &vData[len >> 2]; int rgb[3]; int yIdx, uIdx, vIdx, idx; for (int i = 0; i < height; i) { for (int j = 0; j < width; j) { yIdx = i * width j; vIdx = (i / 2) * (width / 2) (j / 2); uIdx = vIdx; rgb[0] = static_cast<int>(yData[yIdx] 1.370705 * (vData[uIdx] - 128)); rgb[1] = static_cast<int>(yData[yIdx] - 0.698001 * (uData[uIdx] - 128) - 0.703125 * (vData[vIdx] - 128)); rgb[2] = static_cast<int>(yData[yIdx] 1.732446 * (uData[vIdx] - 128)); for (int k = 0; k < 3; k) { idx = (i * width j) * 3 k; if ((rgb[k] >= 0) && (rgb[k] <= 255)) { rgb888[idx] = static_cast<unsigned char>(rgb[k]); } else { rgb888[idx] = (rgb[k] < 0) ? (0) : (255); } } } } return true; } //解码回调 视频为YUV420P数据(YV12),音频为PCM数据 static void CALLBACK DecCallBack(qport nPort, char *pBuf, qport nSize, FRAME_INFO *pFrameInfo, quser luser, quser nReserved2) { HaiKangThread *thread = (HaiKangThread *)luser; long frameType = pFrameInfo->nType; //视频数据是 T_YV12 音频数据是 T_AUDIO16 if (frameType == T_YV12) { //qDebug() << TIMEMS << width << height << thread; int width = pFrameInfo->nWidth; int height = pFrameInfo->nHeight; QImage image(width, height, QImage::Format_RGB888); if (yv12ToRGB888((unsigned char *)pBuf, image.bits(), width, height)) { thread->setImage(image); } } else if (frameType == T_AUDIO16) { //qDebug() << TIMEMS << "T_AUDIO16" << thread; } } static void CALLBACK RealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *dwUser) { //每个类都对应自己的 port HaiKangThread *thread = (HaiKangThread *)dwUser; qport nPort = thread->port; DWORD dRet; switch (dwDataType) { case NET_DVR_SYSHEAD: //获取播放库未使用的通道号 if (!PlayM4_GetPort(&nPort)) { break; } if (dwBufSize > 0) { thread->port = nPort; if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)) { dRet = PlayM4_GetLastError(nPort); break; } //设置解码回调函数 只解码不显示 if (!PlayM4_SetDecCallBackMend(nPort, DecCallBack, (quser)dwUser)) { dRet = PlayM4_GetLastError(nPort); break; } //打开视频解码 if (!PlayM4_Play(nPort, NULL)) { dRet = PlayM4_GetLastError(nPort); break; } //打开音频解码, 需要码流是复合流 if (!PlayM4_PlaySound(nPort)) { dRet = PlayM4_GetLastError(nPort); break; } } break; case NET_DVR_STREAMDATA: //解码数据 if (dwBufSize > 0 && nPort != -1) { BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); while (!inData) { sleep(10); inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); } } break; } }

,