头图

2021-2023是沉淀的几年,经济不景气,各行各业都不太好混,所以这几年也没有太多心思花在csdn上为各大网友写一些技术文章,2024年初,也算是给自己留下一点岁月的足迹吧,所以把这段时间精心研究的东西写出来供大家交流,顺带也看看是否有机会遇到能帮助到其他技术公司或朋友,在交流中实现双赢,有需要的朋友可以威信(幺捌零叁捌捌伍陆柒零贰,威信与电画同号),具体合作方式具体交流。
先给大家演示一下安全帽的使用案例(以安全帽为例)
https://www.bilibili.com/video/BV1Dm411o7PX/?aid=413672301&ci...

开发背景

从事安防多年,但基本都是从事音视频的编解码工作,很少处理图形图像相关算法,原因如下:
(1)图形图像相关算法如车牌识别识别、人脸识别等如果是自己研发,涉及到高等数学等及图形图像处理等高深的支持,开发难度较大;
(2)前n年基本没有开源的、简易的不需要熟悉底层算法的AI识别框架,很难将生活中涉及的AI识别或机器学习的相关算法变成现实;
主要基于以上两点,导致AI相关的算法落地很难、实现很难、应用更难!

然后,基于百度paddle和yolo的开源框架出现了,这使得AI识别难度大大下降,应用门槛大大降低,然而paddle则是面向服务器,对硬件要求较高,部署也相对复杂,很难将普遍应用到生活中,所以经过多番调研yolo则是我们最好的选择。
选择yolo有如下优势
(1)开源且识别效率非常高,仅需一次识别即可完成所有对象的分类识别。
(2)可以应用到服务器中,也可以应用到小型硬件中,本文部署的硬件就支持windows/ubun,支持jetson nano、jetson orin nano等3款中高低档硬件(约5000元、3000元、1000元)
(3)开源技术论坛和资料较多
(4)支持使用python,支持跨平台部署(一套代码,多套环境部署)

在安防领域,基于音视频的基础操作已经基本上没有任何难度(看视频、直播、录像等),但基于音视频的AI应用却很难,但随着技术的成熟,这些应用也变得越来越多,结合生活实际需求的场景就有很多,例如
(1)非法闯入:夜间无人值守或重要地点进出监控
(2)摔倒检测:关爱老人,老人摔倒检测或打架斗殴跌倒检测,可用于社区、监狱、广场、学校等场所。
(3)明火识别:严禁烟火的第三方识别火焰,防止火宅,可用于森林、车间、化工产等场所。
(4)烟雾排放:同明火场景。
(5)越界检测:越过指定边界,产生报警,一般用于行人识别与闯入检测,结合视频区域检测。可用于无人值守场景。
(6)睡岗检测:工作期间睡觉检测,避免安全事故发生。
(7)离岗检测:工作期间离开岗位检测,避免安全事故发生。
(8)人群聚众:检测人员聚集,避免打群架、避免踩踏事件发生。
(9)攀高检测:检测人员是否进行攀爬,避免安全事故发生。
(10)打架斗殴:检测人员是否打架,可用于学校、公共场所。
(11)人脸抓拍:人脸数据抓拍,可推送给人脸识别服务进行1&1识别及陌生人识别。
(12)遮挡检测:检测摄像机是否被人为遮挡或被损坏。协调运维人员进行维护。
(13)垃圾满溢:检测垃圾桶垃圾是否满溢,协助环卫人员智能调度环卫车辆,节省人力和物力。
(14)占道经营:检测是否有占用道路非法经营,协助城管管理,减轻工作量。
(15)安全帽识别:工地安全帽识别,提高工地安全。
(16)反光衣识别:工地反光衣识别,防止非工作人员闯入工地区域。
(17)电动车进电梯:检测电动车进出电梯,防止火灾发生。
(18)口罩检测:明厨亮灶,检测食品从业人员是否佩戴口罩。
(19)虫害识别:智慧农业,通过AI识别虫害,智能指导农户作业。
(20)动物识别:公共场所,不允许动物进出场所。
(21)电梯超员检测:电梯人员是否超载工作。
(22)河边垂钓检测:严禁垂钓河边检测人员是否有钓鱼或捕鱼行为。
(23)河边游泳检测:严禁游泳河边检测人员是否有下水游泳行为。
(24)人数统计:人数统计或客流统计,通过AI方式统计绘制市场的客流热力图。
(25)抽烟检测:明厨亮灶,检测从业人员是否有吸烟行为。
(25)泥头车识别:街道泥头车随意、掉土的事件。
(27)打电话识别:检测开车是否有打电话行为。
(28)机动车/非机动车识别:机动车和非机动车识别。
(29)车流量统计:识别车辆及统计车流量
以上是我总结的贴近生活,很有可能在生活中非常实用的场景,这些算法都是可以通过数据采集进行一一训练的。

为了展示部分效果,这里我训练了一些基本的AI模型:摔倒检测、火焰检测、吸烟检测、口罩检测、持刀检测、拨打电话、打架斗殴等算法,展示效果如下

https://www.bilibili.com/video/BV1bJ4m1K7XH/?aid=1254225960&c...
嵌入代码如下

<iframe src="//player.bilibili.com/player.html?aid=1254225960&bvid=BV1bJ4m1K7XH&cid=1533263659&page=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe>

技术实现

开发环境:pycharm
开发语言:python、vue2.0、pytorch、vision
部署环境:
(1)windows-conda、jetson-nano:conda(低配)、
(2)jetson orin nano:python、cuda、cudnn(sdk)(中高配)
(3)orange PI(正在适配中)
硬件选型:
(1)低配jetson naco(b01替换版本),ubuntu,价格1312元(含外壳),0.5tops,分析实时视频约4路;一张图约200ms~300ms耗时;
(2)中配jetson orin nano,ubuntu,价格3200元上下,20tops,分析实时视频约8路;一张图约100ms耗时;
(3)高配jetson orin nano,Ubuntu,价格在5200元上下,70-100tops,分析实时视频约16路;一张图约30ms耗时;
(4)国产华为芯片orange PI,4G,16核心,价格在1000元左右,分析视频预估在16路;(正在适配中,硬件一片难求)

在这里插入图片描述

产品效果

为此,我开发了一个AI盒子框架,这个框架可以动态添加训练好的模型、动态添加需要分析的网络摄像机、动态为每一路摄像机添加不同的分析场景(算法)、动态配置AI盒子参数、动态重启AI盒子等功能;
AI盒子提供了

(1)登录AI盒子
AI盒子登录页面提供用户名和密码模式登录,登录后可以修改初始密码。
在这里插入图片描述

为适配不同的地方需求,AI盒子最新版本,支持中文简体版本、英文版本和中文繁体版本。
在这里插入图片描述

(2)系统首页
AI盒子主要提供设备管理、报警管理、录像管理、模型配置以及系统设置功能。
在这里插入图片描述
(3)设备管理
可以动态添加需要分析的设备,此处的设备为网络设备,AI盒子通过设备的rtsp标准协议从摄像机获取视频流,然后进行抽帧分析,抽帧间隔可以动态进行配置。
在这里插入图片描述
可以控制设备进行AI抽帧的分析时间段控制,如早上08:00开始分析,到晚上23:00截止。在这里插入图片描述
可以配置设备分析的区域,区域支持多边形绘制(区域入侵)、绘制边界线段(周界检测)在这里插入图片描述(4)场景管理
一个设备抽帧的图片,可以做不同场景的算法分析,例如一个摄像机可以同时分析明火烟雾检测、攀爬检测,也可以分析更多的算法(当然,算法越多,耗时就增加,不过对于在1-3秒内能实时响应就已经是非常适用了,可以忽略)在这里插入图片描述(5)报警管理
当分析场景检测到超过设定置信度的预警时,会存储到AI盒子中,AI盒子会将报警异步推送到配置的第三方平台中,可以在AI盒子中保存n天
在这里插入图片描述
如果AI盒子打开报警录像功能,AI盒子会自动录取事件发生的前3秒以及后3秒,总共6秒录像,这些录像也会被推送给第三方平台
在这里插入图片描述

(6)录像管理
此外AI盒子支持视频转发(rtmp)、手动抓拍、远程录像功能,录像后可以存储在AI盒子,当推送给第三方平台后会自动从本地移除
在这里插入图片描述

(7)模型管理
AI盒子提供模型载入、识别、上报等完整框架,并不固化整个流程,所以对AI盒子而已,算法、设备、场景都是灵活可以配置的,支持动态的模型添加功能,我们可以将训练好的模型动态添加到AI盒子中
在这里插入图片描述
模型可以包括所有分析,哪些是属于正常的(不会报警的),哪些属于异常的(显示红框,可能要报警的)
在这里插入图片描述

(8)系统配置
AI盒子支持系统配置,配置项目包括AI盒子编码(推送到第三方,区别多个盒子)、报警保存天数、并发分析数量控制、识别后是否显示标签、是否支持报警联动录像、是否凌晨自动重启、报警第三方平台介绍地址、长连接控制地址。
在这里插入图片描述
(9)GPIO及modbus联动
此外,AI盒子支持自身引脚联动或t通过外接modbus协议进行对接,以下为AI盒子定制的一个仓库物料领取场景:
A、人通过人脸机刷脸开门进入物料仓库(人脸机器联动门磁)
B、门禁从常开(1状态)变为断点开门状态(0),AI盒子检测到人员进入,开始联动摄像机进行录像;
C、人员进入仓库后领取物料,拿去完成之后将物料放置到物料台,然后按墙壁上的拍照IO开关;
D、AI盒子检测到AI开关后,联动摄像机视频进行物料实物抓拍,可以抓图多张;
E、人员拍照后拿取物料并离开物料仓库,门磁从开门(0)状态恢复为常闭状态(0);
F、AI盒子检测到关门信号,停止联动录像,并将从门禁到出门的录像+物料拍照打包存储并发送给第三方平台;
这样,一个人从进门领取物料开始录像==>物料拍照==>停止录像整个过程留影留像,保留了整个过程的证据。如果是非法闯入则自动通过AI预警进行报警录像,产生非法闯入预警,如果正常人脸刷脸进入则不会产生非法报警。

源码预览

(1)服务启动

"""===========导入安装的python库==========="""
import sys
from pathlib import Path

from box.box import Box
from utils.general import check_requirements

# 获取当前文件路径
FILE = Path(__file__).resolve()
# 获取当前文件父目录-YOLOv5根目录
ROOT = FILE.parents[0]
# 获取绝对路径
PARENT = ROOT
# 将根目录添加到系统path中
if str(ROOT) not in sys.path:
    sys.path.append(str(ROOT))

# 程序启动入口
if __name__ == '__main__':
    # 检查请求参数
    check_requirements(ROOT / 'requirements.txt', exclude=('tensorboard', 'thop'))
    # 创建AI盒子
    box = Box()
    # 初始化盒子
    box.init()
    # 启动AI盒子
    box.start()
    # 等待盒子退出
    box.join()
    # 停止AI盒子
    box.stop()

(2)websocket协议


# 报警推送实现
class SocketService(threading.Thread):
    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        # 套接口
        self.ws = None
        self.connected = False
        self.do_run = True
        # 数据接收
        self.msg_thread = None
        # 视频数量
        self.count = 0
        # 视频回调
        self.video_back = None
        pass

    # 停止服务
    def stop(self):
        self.do_run = False
        # 关闭套接口
        if self.ws is not None:
            self.ws.close()
        # 等待接收退出
        if self.msg_thread is not None:
            if self.msg_thread.is_alive():
                self.msg_thread.join()
        pass

    # 设置命令回调
    def set_video_back(self, call):
        self.video_back = call

    # 响应结果
    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):
        try:
            if url is None or cmdId is None:
                return
            # 请求字典
            dict_info = {}
            # 追加文件
            if file_path is not None:
                # 读取文件内容
                file = open(file_path, "rb")
                name = os.path.basename(file_path)
                dict_info['file'] = (name, file, 'application/octet-stream')
            # 追加数据
            if data is not None:
                dict_info['data'] = data
            # multipart编码
            encoder = MultipartEncoder(
                fields=dict_info
            )
            # 请求头部
            headers = {'Content-Type': encoder.content_type}
            # 发送到第三方
            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +
                          "&state=" + str(state) + "&desc=" + desc)
            response = requests.post(result_url, json=data, headers=headers)
            if response.status_code != 200:
                return False
            # 处理返回结果
            result = response.json()
            # 处理返回结果
            if result['error'] != 0:
                error = result['error']
                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')
                return False
            # 返回成功结果
            return True
        except Exception as e:
            LOGGER.error(f'upload alarm error {e}')
        pass

    # 报警推送
    def run(self) -> None:
        # 开始时间
        last_time = datetime.datetime.now()
        while not Global.restart and self.do_run:
            try:
                # 查询通信地址
                result_url = SystemConfig.ALARM_URL
                if SystemConfig.ALARM_URL is not None:
                    if not result_url.endswith("/"):
                        result_url += "/"
                    result_url += "result"
                # 系统重启
                if Global.restart:
                    break
                # 连接服务器
                if not self.connected:
                    if SystemConfig.SOCKET_URL is None or SystemConfig.SOCKET_URL == '':
                        time.sleep(1)
                        continue
                    try:
                        # 连接服务
                        self.ws = create_connection(SystemConfig.SOCKET_URL)
                        self.connected = self.ws.connected
                        # 连接成功
                        if self.ws.connected:
                            LOGGER.info(f'@connect websocket success: {SystemConfig.SOCKET_URL}')
                            # 连接信息
                            box = {
                                'id': SystemConfig.ID,
                                'ip': Global.ip,
                                'port': Global.port,
                                'cmd': 'connect'
                            }
                            # 发送连接
                            self.ws.send(json.dumps(box))
                            # 更新心跳时间
                            last_time = datetime.datetime.now()
                            # 同步盒子数据
                            self.sync_server_data()
                            pass
                    except Exception as e2:
                        LOGGER.error(f'websocket connect error:{e2}')
                        self.connected = False
                        pass
                    # 链接失败等待
                    if not self.connected:
                        time.sleep(3)
                        continue

(3)系统配置

# 系统全局配置
import uuid

from box.util import SystemUtil


# 全局配置
class Global:
    # 数据库配置
    dbIp = '127.0.0.1'
    dbPort = 3306
    dbUser = 'root'
    dbPwd = 'root'
    dbName = 'box3'
    # web配置
    ip = '127.0.0.1'
    port = 5700
    # 系统重启标志
    restart = False
    # 启用串口信号读取
    enableIO = False
    # linux-设备名
    LUX_IO_NAME = '/dev/ttyCH341USB0'
    # win-设备名
    WIN_IO_NAME = 'COM13'

    # 初始化
    def __init__(self):
        pass

    # 获取本机ip
    @staticmethod
    def local_ip():
        try:
            if Global.ip == '127.0.0.1':
                Global.ip = SystemUtil.get_local_ip()
        except Exception as e:
            print(f'get local ip error {e}')


# 系统配置
class SystemConfig:
    # 盒子当前编码
    ID = str(uuid.uuid1()).replace("-", "")
    # 系统登录账号
    ADMIN = 'admin'
    # 系统账号密码
    PASSWORD = 'dd123456'
    # 系统并发分析数
    PATROL_NUM = 4
    # 报警保存天数
    SAVE_DAYS = 1
    # 是否显示标签
    SHOW_LABEL = 1
    # 是否报警录像
    ALARM_RECORD = 1
    # 是否定时重启
    AUTO_RESTART = 1
    # 报警推送地址
    ALARM_URL = ''
    # 长连接地址
    SOCKET_URL = ''

(4)文件清理

import threading
import os
import time
from threading import Lock

from box.config import Global
from utils.general import LOGGER


# 文件异步清理
class FileClear(threading.Thread):
    # 待清理文件列表
    files = []
    # 全局文件列表锁
    lock = Lock()

    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        pass

    # 添加清理文件
    @classmethod
    def push(cls, file):
        if file is None:
            return
        cls.lock.acquire()
        try:
            cls.files.append(file)
        except Exception as e:
            LOGGER.warning(f'add clear file error {e}')
        finally:
            cls.lock.release()
        pass

    # 报警推送
    def run(self) -> None:
        # 系统未重启
        while not Global.restart:
            try:
                # 系统重启
                if Global.restart:
                    break
                # 尝试清理
                try:
                    # 获取文件大锁
                    self.lock.acquire()
                    # 当前系统无任务
                    if len(self.files) <= 0:
                        # 释放文件大锁
                        self.lock.release()
                        # 睡眠等待1秒
                        time.sleep(1)
                        continue
                    # 删除所有文件-忽略异常
                    for file in self.files:
                        try:
                            os.remove(file)
                        except Exception as e1:
                            LOGGER.warning(f'{e1}')
                            pass
                        pass
                    # 清空数据
                    self.files.clear()
                    # 释放文件大锁
                    self.lock.release()
                    time.sleep(0.1)
                except Exception as e:
                    # 释放文件大锁
                    self.lock.release()
                    LOGGER.warning(f'clear file error {e}')
                pass
            except Exception as e:
                LOGGER.warning(f'clear file error: {e}')

由于功能较多,此处不在一一赘述,有需要合作的请联系我(威信:幺捌零叁捌捌伍陆柒零贰,威信与电画同号),咱们在进一步沟通。

功能介绍

AI盒子是基于yolov5框架开发的一套AI识别框架,可以支持多模型、多设备、多场景(算法)识别,支持http协议(同一个局域网)通信、支持websocket协议(不同局域网)通信,支持视频取流识别,支持接口图片AI识别、支持媒体视频转发(视频播放)等功能。
AI盒子是独立的个体,可以单独部署(外接显示器,通过浏览器即可实时查看报警、实时播放报警),AI盒子也可以集成外部平台,通过AI盒子对接接口(包括http协议、websocket协议),将报警及录像等信息推送至第三方平台。

具体功能介绍如下所示
(1)系统配置
可以配置AI盒子的基本配置,包括AI盒子的编码(多个盒子时对接外部使用)、录像及报警保存天数、并发AI分析设备路数、AI预警是否显示预警标签、是否12点自动重启(用不上,异常情况下处理)、第三方报警推送地址、第三方平台信令下发连接地址(服务端下发指令到AI盒子,如模型下发、设备下发、场景下发、设备重启、系统配置等)。这些配置都可以实时配置实时生效,不需要重启。
在这里插入图片描述

(2)模型管理
可以通过AI盒子自带的web端管理界面管理AI盒子中的模型,也可以通过AI盒子对接协议管理AI盒子模型,AI提供与模型无关的处理框架,训练的模型分类根据实际填写即可
在这里插入图片描述

(3)设备管理
AI盒子主要通过rtsp协议(标准)分析设备视频流(海康、大华等都可以),通过视频流帧采样的方式(采样帧频率可以动态配置)分析对应设备的图片流,并且支持指定时间段内进行分析(如工作时间或下班时间进行AI分析),实现设备动态管理、动态配置,除支持分析视频流之外,当然AI盒子也提供了图片分析接口(可以第三方通过接口投递图片并进行分析)并返回结果
在这里插入图片描述

(4)场景管理
AI分析的每一个设备(视频流)都可以配置多个场景,如一个摄像机同时支持火焰识别、安全帽识别、摔倒检测、打架斗殴等多个场景,由于AI盒子是框架,摄像机配置哪些场景都是可以动态灵活配置的。
在这里插入图片描述

(5)录像管理
AI具有设备远程录像动能,当AI盒子启动视频转发之后,可以通过websocket接口控制AI盒子进行手动录像,AI会临时存储录像信息在本地,当服务器正常时会自动将录像信息推送给第三方平台,然后清理本地的临时录像。
AI盒子也提供了web管理页面对这些录像进行管理,包括查询、录像播放、录像清理等功能
在这里插入图片描述
在这里插入图片描述

(6)协议支持
AI盒子支持通过Http协议管理AI盒子配置、模型、设备、场景等(如AI的WEB端),也可以通过websocket协议下发和操作AI盒子,实现与AI和的多协议交互。

Http协议代码案例

# 登录盒子
@app.route("/user/login", methods=["POST"])
def login():
    # 获取用户信息json对象
    user_data = request.json
    #  获取post的form表单账号密码
    username = user_data['username']
    password = user_data['password']
    # 账号密码无效
    if username is None or password is None:
        return jsonify({"error": -1, "description": "账号或密码无效!"})
    # 账号信息校验
    if username != SystemConfig.ADMIN:
        return jsonify({"error": -1, "description": "用户名或密码错误!"})
    # 用户密码校验
    if password != SystemConfig.PASSWORD:
        return jsonify({"error": -1, "description": "用户或密码不正确!"})
    # 用户密码正确
    md5 = get_md5(username + ":" + password)
    # map字典转json
    return jsonify({"error": 0, "description": "success", "value": md5})


# 更新密码
@app.route("/user/setPwd", methods=["PUT"])
def set_pwd():
    # 校验用户令牌
    result = check_token()
    if result['error'] != 0:
        return jsonify({"error": result['error'], "description": result['description']})
    # 获取用户信息
    user_data = request.json
    if user_data['oldPassword'] is None:
        return jsonify({"error": -1, "description": "原密码为空"})
    if user_data['newPassword'] is None:
        return jsonify({"error": -1, "description": "新密码为空"})
    if SystemConfig.PASSWORD != user_data['oldPassword']:
        return jsonify({"error": -1, "description": "原密码不正确"})
    # 更新密码
    SystemConfig.PASSWORD = user_data['newPassword']
    # 更新系统用户
    user_info = {"username": SystemConfig.ADMIN, "password": user_data['newPassword']}
    config_mapper.update('ADMIN', json.dumps(user_info), 1)
    # map字典转json
    return jsonify({"error": 0, "description": "success"})


# 重启盒子
@app.route("/system/reboot", methods=["GET"])
def reboot():
    # 停止web应用服务
    print("reboot box...")
    try:
        # 获取app停止函数
        func = request.environ.get('werkzeug.server.shutdown')
        if func is None:
            raise RuntimeError('Not running with the Werkzeug Server')
        # 停止app服务
        func()
    except Exception as e:
        print(e)
    # 设置为重启标志
    Global.restart = True
    # 等待5秒主程退出
    time.sleep(5)
    # posix:linux nt:windows
    SystemUtil.reboot()
    # 如果机器还未重启先返回成功
    return jsonify({"error": 0, "description": "success"})

websocket协议代码

# 报警推送实现
class SocketService(threading.Thread):
    # 构造函数
    def __init__(self):
        # 重写父类方法
        threading.Thread.__init__(self)
        # 套接口
        self.ws = None
        self.connected = False
        self.do_run = True
        # 数据接收
        self.msg_thread = None
        # 视频数量
        self.count = 0
        # 视频回调
        self.video_back = None
        pass

    # 停止服务
    def stop(self):
        self.do_run = False
        # 关闭套接口
        if self.ws is not None:
            self.ws.close()
        # 等待接收退出
        if self.msg_thread is not None:
            if self.msg_thread.is_alive():
                self.msg_thread.join()
        pass

    # 设置命令回调
    def set_video_back(self, call):
        self.video_back = call

    # 响应结果
    def send_result(self, url, cmdId, state, desc, data=None, file_path=None):
        try:
            if url is None or cmdId is None:
                return
            # 请求字典
            dict_info = {}
            # 追加文件
            if file_path is not None:
                # 读取文件内容
                file = open(file_path, "rb")
                name = os.path.basename(file_path)
                dict_info['file'] = (name, file, 'application/octet-stream')
            # 追加数据
            if data is not None:
                dict_info['data'] = data
            # multipart编码
            encoder = MultipartEncoder(
                fields=dict_info
            )
            # 请求头部
            headers = {'Content-Type': encoder.content_type}
            # 发送到第三方
            result_url = (url + "?boxId=" + SystemConfig.ID + "&cmdId=" + cmdId +
                          "&state=" + str(state) + "&desc=" + desc)
            response = requests.post(result_url, json=data, headers=headers)
            if response.status_code != 200:
                return False
            # 处理返回结果
            result = response.json()
            # 处理返回结果
            if result['error'] != 0:
                error = result['error']
                LOGGER.error(f'upload box {SystemConfig.ID} command result failed, reason: {error}')
                return False
            # 返回成功结果
            return True
        except Exception as e:
            LOGGER.error(f'upload alarm error {e}')
        pass

(7)视频转发
AI盒子具有视频转发功能,如AI盒子一般是最靠近摄像机的硬件(从服务器资源、带宽和延时、效率等多方面考虑),所以AI盒子是可以访问摄像机的,如果平台是云端的或者服务端与AI盒子或摄像机不在同一个局域网,那么这样就很有可能平台无法播放摄像机视频(除非使用海康的平台-ehome协议或萤石云协议播放,或大华的自动注册协议播放),为了能通过AI盒子查看摄像机的视频,AI盒子就集成了这个功能,通过AI盒子就可以将视频转发到rtmp服务器,可以使用srs进行部署,使得视频播放支持rtmp、http-flv、webrtc、hls等协议。
在这里插入图片描述

(8)报警预览
AI盒子是独立的个体,我们通过AI盒子的WEB端即可实时查看报警信息,当报警发生时候,AI盒子即可接收到报警信息,如下所示
在这里插入图片描述

(9)语音播报
web端支持tts预警语音播报功能,当开启报警预览时,接收到报警后,浏览器端就会播放对应的报警语音,只需要查看一个小音箱即可实现安保语音通知功能。

(10)web管理
AI盒子提供以上所有功能的web端管理功能。

(11)GPIO联动录像
AI盒子可以通过硬件连接的释放实现对AI盒子联动接入的摄像机进行实时录像,也可以进行抓拍,这个场景主要用于仓库物料管理系统的解决方案:
当人员通过人脸机正常刷脸进入仓库时,人脸机联动门磁开门,AI盒子通过APIO信号监测门磁开启联动关联摄像机开始录像;当人员进入仓库后,领取物料,将物料放置到物料台,按IO开关进行实物拍照(可以按多次),AI盒子通过信号监测联动关联摄像机进行抓拍,人员携带物料走出仓库,关闭门禁,AI盒子通过检测停止关联摄像机的联动录像;
当人员通过非人脸方式非法闯入仓库时,AI盒子通过区域入侵、人形识别等算法进行抓拍、录像,并将报警信息实时推送给后台管理员(第三发平台或web端),管理员安排安保人员介入预警事件,保证公司财产安全;

实现场景如下所示
在这里插入图片描述
演示视频如下所示

[video(video-KK8JfD3o-1709279734315)(type-bilibili)(url-https://player.bilibili.com/player.html?aid=1101073367)(image-https://img-blog.csdnimg.cn/img_convert/f243737adc106ec363f3c...)(title-仓库领料系统解决方案)]

第三方平台进出仓库记录以及录像信息
在这里插入图片描述
在这里插入图片描述

(12)远程录像
同GPIO联动录像之外,AI盒子 也支持手动远程录像和停止录像功能,接口如下所示
在这里插入图片描述
在这里插入图片描述

(13)远程抓拍
如图上所示,AI盒子也支持播放视频的同时进行实时抓拍。

(14)报警推送
AI可通过接口将报警推送到第三方平台,如下所示
在这里插入图片描述

(15)录像推送
如上所示,推送的报警包含录像信息
在这里插入图片描述

(16)区域配置
AI盒子可以配置检测视频范围的某一部分区域,可以配置区域内检测,也可以配置边界检测,当检测物体跨过边界触发报警
在这里插入图片描述

(17)文件清理
AI盒子会定期清理报警信息、报警录像信息、联动录像信息等;

(18)资源国际化(多语言支持)
支持简体中文、繁体中文、英文3中语言
在这里插入图片描述

(19)报警管理
AI盒子可以管理产生的报警信息、报警录像等信息
在这里插入图片描述
在这里插入图片描述

以上是AI盒子具备的所有功能,由于盒子由python+vue框架开发,支持ubuntu、windows,支持CPU和 GPU,已经经过jetson nano、jetson orin nx高中低3种型号的适配,欢迎有需要的朋友请来电沟通交流(幺捌零叁捌捌伍陆柒零贰,威信与电画同号),如果需要实物演示效果,可以提供远程连接或实时视频查看,目前产品已经经过3个版本(轮询版本、实时版本、国际化版本),非常成熟,已经在项目中使用。


贝壳里的沙
47 声望4 粉丝

毕业于中国石油大学软件工程系,先后就职于北京方正集团、北京用友财务软件股份有限公司、广东安居宝数码科技股份有限公司、广东东道信息科技有限公司,拥有10年以上的开发管理经验,擅长安防相关的音视频编技术...