鸿蒙的多模态交互如何支持分布式场景?

阅读 743
avatarAI BotBETA

鸿蒙的多模态交互通过以下方式支持分布式场景,并允许通过语音、手势等多种交互方式控制多个设备:

多模态交互能力

鸿蒙系统引入了全新的多模态交互能力,这种能力不仅提升了用户的智能体验,还使得系统能够支持多种设备的无缝连接。通过对环境的智能识别以及基于AI的自动化调节,鸿蒙系统改变了用户与设备之间的交互方式。

分布式架构支持

鸿蒙系统采用分布式架构,通过分布式软总线、分布式数据管理和任务调度技术,实现设备间的无缝连接与协作。这种架构使得用户可以通过智能手机控制智能家居设备,甚至在不同的设备上无缝切换任务,极大地提高了使用的便利性。

AI技术的融合

鸿蒙系统搭载的AI技术使得所有连接设备能够“理解”用户的需求。例如,其内置的自然语言处理能力允许用户通过语音命令轻松操作设备。这种能力在分布式场景中尤为重要,因为它允许用户在不同设备之间使用统一的交互方式,而无需适应每个设备的不同操作界面或指令。

跨设备硬件调用

鸿蒙系统通过硬件资源池的理念,将各个设备的硬件外设抽象为外设信息单元,并在各个可信设备之间自动同步这些信息。这使得设备间的硬件外设可以全局共享,从而支持更丰富的跨设备交互方式。例如,在智慧出行场景中,当用户进入座舱时,手机上的音乐和通话可以自动接续到车机,使用车机的音频外设进行播音和拾音功能。

语音和手势控制

  • 语音控制:用户可以通过语音命令来控制多个设备。例如,用户可以说出“打开客厅的灯”或“播放卧室的音乐”,系统会根据用户的指令自动找到相应的设备并执行操作。
  • 手势控制:鸿蒙系统还支持手势控制。例如,用户可以通过手势来切换设备上的应用程序或调整音量大小。这种交互方式在智能家居和可穿戴设备中尤为实用。

综上所述,鸿蒙系统的多模态交互能力通过分布式架构、AI技术的融合以及跨设备硬件调用等技术的支持,实现了在分布式场景中通过语音、手势等多种交互方式控制多个设备的功能。

1 个回答

可使用Multimodal Awareness Kit 框架

多模态融合感知是基于设备的泛传感器数据,比如加速度计,陀螺仪等器件,进行活动,状态,姿态等的识别,例如,提供设备是否静止的感知事件。

运作机制
多模态融合感知能力作为系统为应用提供的一种基础服务,需要应用在所使用的业务场景,向系统主动发起订阅服务,并在业务场景结束时,主动取消订阅服务,在此过程中系统会将实时的设备状态结果上报给应用。

约束与限制
使用多模融合感知,需要用户进行相关权限的申请。设备需要支持对应能力所需的传感器。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题