头图

4 月 27 日,由 SegmentFault 思否主办的 2024“Innovate for Good 善创未来”黑客马拉松决赛路演在线上举行。Google 作为“科技使人人受益”的坚定践行者,已连续三年作为思否黑客马拉松赛事主题合作方,为广泛的开发者探索“科技+创新”场景提供支持,今年更助力开发者将创新灵感转化为公益实践,实现个人技术成长与社会价值创造。

今年 SegmentFault 思否不仅再度携手 Google 为开发者提供多元的内容支持,还与创新伙伴网易游戏、网易公益紧密合作,进一步为乐享游戏和创新生活两大赛道提供更具实际意义的开发经验,以期推动技术的广泛应用和社会价值的最大实现。

自大赛启动以来,我们得到了全球 15 个城市和地区的近千名开发者的热情响应,其中不仅有来自腾讯、美团等头部企业的开发者,还有来自北京大学、清华大学等知名院校的学生,以及来自中科院计算所等顶尖研究机构的工程师。最终, 14 支队伍脱颖而出,成功登上了路演舞台,向大众展示了他们的创新成果。

在“Innovate for Good 善创未来”的主题下,路演作品围绕有障人群的康复辅助、数字生活、心理健康等广泛社会议题展开,开发者们运用Project GameFace,Google Cloud Platform (Vertex AI),Android 等来自 Google 生态的开发工具,打造出了完善可行的创新方案。

经过激烈角逐,“NilType创新团队”凭借出色的产品完成度和游戏性,成功将一等奖和游戏专项奖双双收入囊中。“白菜狗说的对”团队获得了二等奖,“EchoUnited”团队荣获三等奖,创新公益奖则由“SparkLab”团队摘得。

接下来,让我们一起回顾一下本次黑客马拉松的精彩作品吧!

一等奖 & 游戏专项奖:Hugging Eggy,用拥抱传递温暖

获得一等奖的是“NilType创新团队”打造的《Hugging Eggy》。这是一款致力于让手部运动障碍人群实现游戏自由的治愈游戏。玩家将在游戏中扮演一位英勇的射手,通过面部表情控制发射球形蛋仔,去拥抱所处的被“褪色浪潮”影响的世界中的褪色者蛋仔,从而将温暖传播至世界各个角落。

image.png

“NilType创新团队”使用了Project GameFace 开源项目,让手部运动障碍人群能够通过嘴角变化控制方向,张嘴动作发射炮弹,轻松操作彩色蛋仔打出不同拥抱路径治愈褪色者蛋仔,完成不同世界关卡的探索,从而帮助该人群在游戏社交中增强自我认同,辅助康复治疗。有趣的是,被拥抱后的褪色者蛋仔会转化为彩色蛋仔,参与到拥抱他人、治愈他人的队伍中,以此帮助有障群体完成从受助者向施援者的身份和心态转换。

同时,该团队还借助 Gemini 1.5 Pro 出色的风格图片信息解读功能,辅助生成适配不同世界地图的专属角色。这不仅彰显了团队对游戏艺术的追求,还进一步丰富了玩家的游戏体验,充分体现了团队向世界传递温暖的美好愿景。

二等奖:灵眸心境,让美好人生你我皆可体验

《灵眸心境》是“白菜狗说的对”团队打造的一款辅助心理治疗和心理健康管理工具。在人群广度上,《灵眸心境》面向不便打字或无法说话的有障人群,专门配置了语音功能和手语模块。

同时,面对患有职场焦虑、孤独症等大众心理问题的广泛人群,该应用也有周全的设计,不仅配置了“立即倾诉”功能,还通过“情绪星球”提供每周定期疗愈支持。该应用通过这一设计,很好地将心理健康管理纳入日常生活,促进情绪平衡、提高生活质量,并增强个人应对压力和挑战的能力。

image.png

在技术深度上,该应用使用了 Gemini 模型驱动专业知识库检索,使得咨询反馈更为专业、精准;团队还通过 Prompt Engineering 赋予大模型人格,保证反馈的安全性,同时利用 HuggingFace 实现情绪识别,进行状态评估,帮助用户及时获得疏导和治疗。《灵眸心境》借助 Google Cloud 的 Dialogflow 分析来自用户的多种输入,并结合 Google Cloud Text-to-Speech 及时响应用户咨询。此外,该应用针对有障人群还配置了手语数字人,让心理健康服务更加贴心、高效。

三等奖:EchoEmpath,解救困在系统里的听障骑手

听障人群除了语音转文字外,还需要视觉方式帮助获取言语情感的需求。获得三等奖的 EchoUnited 团队直面国内十万名听障骑手的沟通困境,开发了《EchoEmpath》。这是一个具备 Emoji 提示功能的语音转文字工具,可以实时识别对话情感,帮助聋人在生活、工作、学习等方面更好沟通。

image.png

基于听障外卖骑手的送餐场景,《EchoEmpath》先利用 Restful 将语音实时上传给 Google Cloud 的 Speech-to-Text 进行转录,再利用 Vertex AI 进行长文本处理,生成符合转录文本情感的 Emoji,最后将结果回传给应用,从而帮助听障骑手更好理解沟通对象语意,也帮助他们更精确地表达言语情感。

创新公益奖:Galaxy Explorers,帮来自星星的孩子探索世界

自闭症孩子往往在认知学习上存在障碍,且伴随着潜在的情绪和心理问题。一方面,家长缺乏帮助孩子认知世界的工具,另一方面,家长也无从了解自闭症孩子的情绪状态和心理健康。

为此,“SparkLab”团队专为 5-8 岁自闭症儿童设计了一款互动教育游戏《Galaxy Explorers》。游戏结合了 TEACCH 教学方法和游戏化学习,孩子们选择感兴趣的卡片即可生成引人入胜的故事视频,鼓励孩子们参与到一个充满想象的宇宙探索之旅中。

image.png

该应用使用了 Vertex AI根据文本提示生成创意丰富的图像,并利用 Gemini的多模态能力分析儿童的绘画,识别图中的元素和主题,并提供情感和概念上的解读。两者结合,不仅能够创造性地扩展儿童艺术作品,提升孩子对世界的认知;还能够通过后台的数据分析功能,帮助家长更好地了解孩子的行为和心理状态。该项目在一定程度上还缓解了自闭症教学老师数量有限的情况,具有相当的社会意义。

除了以上获奖团队,“BrainLight”团队为脑卒中患者打造的可用于此类患者康复训练的手部外骨骼项目,也给人留下了深刻印象。该项目结合脑机技术,基于 MediaPipe 的视觉模型可实时定位用户的手部关键点,量化手部运动,促使患者主动参与康复治疗。同时为了提高患者参与度和用户体验,团队还利用 Gemini 实现了长时语音情感对话。此外,该项目可利用 Google Cloud 端边云协同能力,实现设备的轻量化部署,具有较高的技术落地价值。

除了帮助有障人群康复的项目,本次黑客马拉松赛场上也不乏帮助有障人群感受世界美好的作品。“朝阳群众相信光”团队打造的《智能美术助理》,旨在帮助视障人士拥有平等感受艺术之美的权利。该项目基于 Vertex AI,将Text-to-Speech 和 Speech-to-text 技术作为桥梁,开发了语音交互 Agent,能够帮助视障人士通过触觉和听觉欣赏了解美术作品,并让他们也有机会参与绘画创作,为有障人群美育提供了积极助力。

为了让更多创新公益项目被看见,我们发起了人气团队投票。评选出的人气团队将有机会受邀参与 Google 官方活动。快来扫描下图中的二维码,为本次你心中的最佳团队投出宝贵的一票吧❤️

image.png

值得一提的是,为选手们的公益创新提供支持的,有许多正是不久前 Google Cloud 刚刚推出的新技术和新功能,包括 Gemini 1.5 Pro 的 Function Calling,音频理解功能,长文本处理功能等。在这场黑客马拉松上,我们很高兴看到来自 Google 的创新技术与产品正在快速为开发者所用,帮助他们实现技术创新与公益探索。

Google 作为本次大赛的主题合作方,还为参赛者们打造了两场 Inspiration talk。在《让技术更有温度,Google 创新公益应用实践指南》中,嘉宾们介绍了 GameFace 应用场景和 MediaPipe 等开源技术,分享了利用 Google 技术进行无障碍开发的经验与思考;在《解码未来,Google Cloud 驱动下的技术创新之路》中,嘉宾们带来了 Google Cloud Next ’24 大会的现场见闻,深入解读了 Vertex AI 的最新内容,帮助选手快速了解 Google Cloud 的前沿动向和最佳实践,启迪他们如何更好地将 Google 技术运用到黑客马拉松的创新开发中。扫描下图二维码观看精彩内容👇

image.png

正如 SegmentFault 思否产品设计合伙董锋所言,“科技使人人受益”的理念应贯穿技术创新始终,而 Hackathon 不仅是开发者。“Just for Fun”的精神体现,也是开发者实现“Innovate for Good ”的价值载体。今年正是 SegmentFault 思否携手 Google 以 Hackathon 的形式探索创新实践的第三年,路演舞台上,我们不仅看到了心系社会福祉的开发者,还见证了有障人群积极投身公益,成为技术贡献的一员。

科技使人人受益,即希望有障人群能够成为科技受益者,也希望帮助他们成为推动人人受益的关键力量。来自 EchoUnited 团队的黄烨帆在赛后激情回顾了自己过去十年在 Google 技术、产品和开源精神影响下获得的成长,“十年后,我也能和团队一起做出一套用 Emoji 方便听障人士的东西了!”他说,“没有 Google 的产品,及其对信息流通自由、信息无障碍的追求和开源精神,我也走不到今天。”

接下来,我们将继续携手 Google 与更多志同道合者共同关注可持续社会价值创新,推动科技更好应对社会挑战和现实生活问题,共创更美好、包容的未来。

创新之旅不止于此,北京时间 5 月 15 日 1:00 AM,2024 Google I/O 大会将拉开帷幕。思否平台也将实时直播,并提供回放观看通道。让我们共同期待这次大会带来的科技动态和创新成果,将如何使人人受益。同时诚挚地邀请您关注并参与更多 Google 官方活动,一起探索科技的无限可能。


点击链接,为你心中的最佳团队投出宝贵一票吧!


SegmentFault思否
14.1k 声望165.8k 粉丝

SegmentFault 社区管理媛 - 思否小姐姐