鸿蒙是否支持多模态输入？

Question

在应用开发中，如何整合语音、手势、触控等多种输入方式？

Answer 1

HarmonyOS 5.0 多模态输入整合方案

1. 触控输入

触控输入是应用开发中最常见的输入方式，ArkTS 提供了 onTouch 事件来处理触控操作。

示例代码：

@Entry
@Component
struct TouchExample {
  @State private touchInfo: string = 'Touch Here';

  build() {
    Column() {
      Text(this.touchInfo)
        .fontSize(30)
        .onTouch((event: TouchEvent) => {
          if (event.type === TouchType.Down) {
            this.touchInfo = 'Touch Down';
          } else if (event.type === TouchType.Move) {
            this.touchInfo = 'Touch Move';
          } else if (event.type === TouchType.Up) {
            this.touchInfo = 'Touch Up';
          }
        })
    }
    .width('100%')
    .height('100%')
    .justifyContent(FlexAlign.Center)
    .alignItems(HorizontalAlign.Center)
  }
}

---

2. 语音输入

HarmonyOS 提供了语音识别能力，可以通过 @ohos.multimodalInput.voice 模块实现语音输入。

示例代码：

import voice from '@ohos.multimodalInput.voice';

@Entry
@Component
struct VoiceExample {
  @State private voiceResult: string = 'Say Something';

  build() {
    Column() {
      Text(this.voiceResult)
        .fontSize(30)
        .onClick(() => {
          voice.startVoiceRecognition((err, result) => {
            if (err) {
              this.voiceResult = 'Voice Recognition Failed';
            } else {
              this.voiceResult = result;
            }
          });
        })
    }
    .width('100%')
    .height('100%')
    .justifyContent(FlexAlign.Center)
    .alignItems(HorizontalAlign.Center)
  }
}

---

3. 手势输入

ArkTS 支持手势识别，可以通过 Gesture 组件实现常见手势（如点击、长按、滑动等）。

示例代码：

@Entry
@Component
struct GestureExample {
  @State private gestureInfo: string = 'Gesture Here';

  build() {
    Column() {
      Text(this.gestureInfo)
        .fontSize(30)
        .gesture(
          GestureGroup(GestureMode.Sequence, [
            TapGesture({ count: 1 })
              .onAction(() => {
                this.gestureInfo = 'Single Tap';
              }),
            LongPressGesture()
              .onAction(() => {
                this.gestureInfo = 'Long Press';
              })
          ])
        )
    }
    .width('100%')
    .height('100%')
    .justifyContent(FlexAlign.Center)
    .alignItems(HorizontalAlign.Center)
  }
}

---

4. 多模态输入整合

在实际开发中，可以将触控、语音、手势等多种输入方式整合到一个应用中，提供更丰富的交互体验。

示例代码：

@Entry
@Component
struct MultimodalExample {
  @State private inputInfo: string = 'Interact Here';

  build() {
    Column() {
      Text(this.inputInfo)
        .fontSize(30)
        .onTouch((event: TouchEvent) => {
          if (event.type === TouchType.Down) {
            this.inputInfo = 'Touch Down';
          }
        })
        .gesture(
          TapGesture({ count: 1 })
            .onAction(() => {
              this.inputInfo = 'Single Tap';
            })
        )
        .onClick(() => {
          voice.startVoiceRecognition((err, result) => {
            if (err) {
              this.inputInfo = 'Voice Recognition Failed';
            } else {
              this.inputInfo = result;
            }
          });
        })
    }
    .width('100%')
    .height('100%')
    .justifyContent(FlexAlign.Center)
    .alignItems(HorizontalAlign.Center)
  }
}

---

5. 注意事项

• 权限申请：使用语音输入等功能时，需要在 module.json5 中声明权限：

  {
    "module": {
      "requestPermissions": [
        {
          "name": "ohos.permission.MICROPHONE"
        }
      ]
    }
  }

• 设备兼容性：不同设备对多模态输入的支持可能存在差异，建议在开发过程中进行充分测试。
• 事件优先级：在多模态输入场景中，需合理设置事件优先级，避免输入冲突。