研究如何通过语音、手势等多种交互方式控制多个设备。
本文参与了 【 HarmonyOS NEXT 技术问答冲榜,等你来战!】欢迎正在阅读的你也加入。
鸿蒙的多模态交互通过以下方式支持分布式场景,并允许通过语音、手势等多种交互方式控制多个设备:
鸿蒙系统引入了全新的多模态交互能力,这种能力不仅提升了用户的智能体验,还使得系统能够支持多种设备的无缝连接。通过对环境的智能识别以及基于AI的自动化调节,鸿蒙系统改变了用户与设备之间的交互方式。
鸿蒙系统采用分布式架构,通过分布式软总线、分布式数据管理和任务调度技术,实现设备间的无缝连接与协作。这种架构使得用户可以通过智能手机控制智能家居设备,甚至在不同的设备上无缝切换任务,极大地提高了使用的便利性。
鸿蒙系统搭载的AI技术使得所有连接设备能够“理解”用户的需求。例如,其内置的自然语言处理能力允许用户通过语音命令轻松操作设备。这种能力在分布式场景中尤为重要,因为它允许用户在不同设备之间使用统一的交互方式,而无需适应每个设备的不同操作界面或指令。
鸿蒙系统通过硬件资源池的理念,将各个设备的硬件外设抽象为外设信息单元,并在各个可信设备之间自动同步这些信息。这使得设备间的硬件外设可以全局共享,从而支持更丰富的跨设备交互方式。例如,在智慧出行场景中,当用户进入座舱时,手机上的音乐和通话可以自动接续到车机,使用车机的音频外设进行播音和拾音功能。
综上所述,鸿蒙系统的多模态交互能力通过分布式架构、AI技术的融合以及跨设备硬件调用等技术的支持,实现了在分布式场景中通过语音、手势等多种交互方式控制多个设备的功能。
1 回答483 阅读✓ 已解决
1 回答493 阅读
1 回答423 阅读
456 阅读
450 阅读
440 阅读
402 阅读
可使用Multimodal Awareness Kit 框架
多模态融合感知是基于设备的泛传感器数据,比如加速度计,陀螺仪等器件,进行活动,状态,姿态等的识别,例如,提供设备是否静止的感知事件。
运作机制
多模态融合感知能力作为系统为应用提供的一种基础服务,需要应用在所使用的业务场景,向系统主动发起订阅服务,并在业务场景结束时,主动取消订阅服务,在此过程中系统会将实时的设备状态结果上报给应用。
约束与限制
使用多模融合感知,需要用户进行相关权限的申请。设备需要支持对应能力所需的传感器。