google-i-o-24 - 智启万象 | AI 社会公益，共创包容未来 - SegmentFault 行业快讯

谷歌致力于让每个人能平等地
享受科技带来的便利
一起深入 2024 Google 开发者大会
了解谷歌如何通过 AI 技术支持公益事业
打造让人人受益的社会公益方案
共创包容未来

普惠设计是无障碍设计的核心思想，旨在消除障碍，让每个人都能平等地使用产品和服务。在中国，多元社群使用谷歌技术研发社会公益项目，包括用谷歌 AI 技术构建的慧眼识教、智引线、手语村、听语精灵、Galaxy Explorer 等项目，为有障人群打造更加平等的生活和学习环境。

对视障儿童来说，看清世界十分困难，但这并不能阻止他们探索世界。Google 公益的志愿者洞察到这点后，协助爱百福公益基金会落地慧眼识教项目，利用 Google Cloud、MediaPipe 图像分割、Google Cloud Vertex Al 中的 Gemini 1.5 Flash 生成视频脚本和 Imagen 2 图片编辑，以及 Text-to-speech 等多个 Google AI 技术协作，高效生产了主题丰富、图文并茂、带有声音讲解、适合视障儿童们学习的视频，帮助老师们提升教学效果。

爱百福的老师们透露，他们计划将慧眼识教产品分享给来自印度、菲律宾、马来西亚的多家机构，以帮助全球更多的视障儿童。

慧眼识教

为了帮助视障人士自由跑步，上海有人公益基金会与谷歌公益志愿者在谷歌开源项目 Project Guideline 的基础上，积极探索了更适合中国视障人士的无障碍解决方案：智引线。智引线结合了 TensorFlow 的深度视觉学习模型，利用手机摄像头捕捉并分割引导线，创建实时更新的虚拟地图为跑者引路，并通过耳机用空间音频技术为跑者纠正路线，使视障跑者得以享受独立跑步的乐趣。

智引线

有这样一群人，他们的第一语言是中国手语，但是他们却经常身处口语环境中交流，面临巨大的沟通障碍。为了让他们能够自由地与他人交流，北京联合大学基于 Google Project Shuwa 开源项目构建了手语村（中国手语版）网站。这个项目全部由听障开发者独立开发，借助 MediaPipe Holistic 模型和 TensorFlow 框架等技术，能够实时识别和分析身体语言、面部表情和手语动作，使用机器学习模型来识别和预测手语的含义，并提供学习反馈，帮助学习者更快掌握正确的手语表达。同时结合虚拟旅游体验，学习者可以通过游戏化的方式了解听障群体，促进无障碍沟通和理解。

手语村

调查显示，听力障碍会影响到儿童语言能力的发展，妨碍其正常学习和生活，即使通过助听设备重建听力也不意味着他们能够很好地和世界沟通。为了给听障儿童提供陪伴式口语训练，福州大学与厦门大学的开发者们在谷歌中国教育合作项目的资助和支持下开发了听语精灵。这个项目包括“能说会道”、“妙语连珠”和“对答如流”三个主要的功能模块。

“能说会道”基于谷歌 TensorFlow Hub 中的预训练模型，对图像进行目标识别，获取物品信息，再借助数字人技术生成带有口型引导的声音输出，为孩子提供正确的发音指导。目前团队正在尝试结合 Gemma 模型和 Text-to-speech 等技术完善其他模块，进一步为听障儿童提供互动性和沉浸式的语言学习体验。

听语精灵

据统计，全球约有 7000 万人受到自闭症的影响，每 160 名儿童中就有 1 人患病。帮助孩子们理解世界是干预和治疗自闭症的前提，但由于教师和资源有限，自闭症儿童恢复社交并非易事。Galaxy Explorer 项目诞生于思否主办、Google 作为内容合作方的 “Innovate for Good” 善创未来黑客马拉松，灵感源自于与自闭症儿童的绘画互动。Spark Lab 团队洞察到自闭症儿童能与绘画产生深度链接，因此将 Google Cloud Vertex AI 提供的 Gemini 模型和 TEACCH 教学方法结合，利用 AI 生成多轮个性化故事卡片和视频，连成完整故事；并通过 Text-to-speech 为视频配音，让孩子们在互动中提高社会认知和情绪表达能力。同时 Galaxy Explorer 还提供数据化分析报告，帮助家长们更好地理解和支持孩子的发展。

Galaxy Explorer

在谷歌，我们不止希望能够帮助有障人群更好地生活，也致力于为所有用户开发更具包容性的产品。如 Pixel 手机的 Guided Frame-引导入镜功能，通过震动与语音提示的方式不仅能为视障或低视力人士提供拍摄指导，同样也能帮助使用三脚架或后置镜头自拍、看不到屏幕的所有人；Project Relate 通过实时识别说话者语音，使用标准语音重述，帮助语言障碍人士更轻松地与他人交流。“为所有人打造更好的产品体验”这一精神贯穿无障碍科技分享会和包容性设计工作坊始终。嘉宾们在无障碍科技分享会中，结合实践案例分享了如何通过 Google 技术和用户洞察开发更具包容性的产品，以及如何助力中国开发者进行公益创新。在包容性设计工作坊中，嘉宾分享了无障碍设计的重要性，开发者在导师组织和鼓励下进行了无障碍设计的尝试。

现场精彩一览

除了提供无障碍支持，助力开发者开发包容性产品，谷歌还与大学携手，用谷歌技术为中国的区域环境保护和非遗文化传承贡献力量。草场丰盛意味着牦牛能吃饱长大，牧民有更好收入。但高原地区季节天气多变，对牧草质量和牦牛生长带来极大影响。西南民族大学通过 Flutter 开源跨平台框架和 TensorFlow 技术，开发了高原智牧助手，帮助红原县的育种专家高效管理数据。该应用不仅能收集分析牧草种子数据和检测估算牦牛体重，还设计了放牧规划模块和草蓄平衡模块，帮助牧民记录草场情况。利用谷歌 ARCore 技术，牧民搭建虚拟草场，能够更直观地学习草蓄平衡知识，在提高科研效率同时，促进了生态环境的可持续发展，助力高原牧民的幸福生活。

高原智牧助手此外，Google 技术还为广西非物质文化遗产的保护和传承贡献力量。广西民族大学利用 BERT 自然语言处理模型和 TensorFlow 机器学习框架，基于时间空间关联模型，搭建了一个多维度非遗文化体验平台。这一创新平台能帮助用户探索非遗知识，根据时间节气了解民俗与节日特色，甚至能以“传唱非遗”的形式进一步了解少数民族语言和历史，助力传统文化焕发新生。