海康摄像头视频流实时向前端推送?

Question

有个需求不太了解该怎么实现，求大佬不吝赐教，如下:

需求内容

预定计划:

1. 实时读取海康摄像头视频流
2. 并对视频内人体进行识别，圈方框表示(这个应该要算法团队去实现，我不太了解这个，暂时也没说要交给我去实现)
3. 需要将一些文案，对应到具体的人给合并到视频中
4. 我要将处理过的视频力求实时推送给前端进行展示

目前，后端与前端通信方式为websocket，基于 socket.io 库实现。

有过类似项目经历的大佬吗，麻烦给些参考建议，谢谢🙏

Answer 1

我们团队做过一个长者监控项目，监控长者摔倒了就会发出警报，检测算法那边由python处理，总之前端要做的就是接收视频流然后展示够了，我这边是python给我传输rtsp视频流，我自己通过一个基于Node、FFmpeg的node服务将RTSP流转成Flv流，再进行展示

Answer 2

也可以换个思路，只发送数据，其他的前端自己实现。

1. 第一步应该是有个流，可以推到阿里云之类的，也可以在内部自建的平台的上。然后用 VLC（ 一般指VLC Media Player。 VLC Media Player（VLC多媒体播放器））拉流测一下，能播放就行。

2. 第二步就是前端这边了播放并标注了。

   1. 播放有一些开源的库，支持 flv 和 m3u8 的直播流。
   2. 标注的话，可以前端自己截屏，然后送给阿里云、腾讯云的人体识别。当然内部有自建的就是用内部的了。
3. 第三步应该不是合并，是用 div 或者 svg 来分层显示。
4. 第四步就是推送数据了

---

我们来回顾一下前端都需要什么东西

1. 一个原始视频流
2. 一个接口可以拿到所有的标注信息 (时间，顶点，以点连线)

本文参与了SegmentFault 思否面试闯关挑战赛，欢迎正在阅读的你也加入。