Meta 对允许聊天机器人对儿童进行令人毛骨悚然行为的规则进行了回溯。

今年夏天早些时候,Meta 被指从 Facebook 和 Instagram 上清除了最大规模的儿童 predators 后,如今其自身的聊天机器人被指允许接近儿童而面临反弹。

  • 内部文档揭示:路透社审查了 Meta 验证为真实的内部文件,发现 Meta 设计上允许聊天机器人与儿童进行“感性”聊天。该文件“GenAI:Content Risk Standards”超过 200 页,规定了 Meta AI 及其聊天机器人能做和不能做的事情,涵盖内容不止儿童安全。
  • CEO 指示改变:Meta CEO 马克·扎克伯格指示团队让公司的聊天机器人更具吸引力,此前更谨慎的聊天机器人设计输出似乎“无聊”。
  • 具体聊天内容:聊天机器人被允许对未成年人说“我握住你的手,引导你到床边”等内容,虽有一些明显的保障措施,如不能描述 13 岁以下儿童有性吸引力等,但仍可描述儿童有吸引力等,也能产生其他暗示性内容,如想象身体缠绕等,且不能建议“我们的爱今晚绽放”。
  • 规则调整与问题:Meta 发言人安迪·斯通确认与儿童安全政策冲突的 AI 规则本月早些时候已删除,文件正在修订,称标准与儿童安全政策不一致,但执行社区指南存在不一致,且未提供新的聊天机器人儿童安全标准文件,用户质疑 Meta 对“成人与未成年人之间的性化角色扮演”的定义。
  • 孩子报告困难:前 Meta 工程师兼儿童安全问题举报人 Arturo Bejar 称 Meta 知道大多数青少年不会使用“报告”标记的安全功能,Meta 界面内无报告聊天选项,且 Bejar 研究表明让标记有害内容像点赞一样容易,孩子才更可能报告,Meta 似乎不愿让报告更麻烦,即使采取措施保护孩子,其动机仍受质疑,如最近为青少年添加的一键屏蔽和报告功能,Meta 难以识别 predators,Bejar 希望 Meta 跟踪孩子报告情况。
  • 其他影响:近期报告显示成年人也会对聊天机器人产生情感依赖,可能模糊现实与网络世界的界限,法律诉讼称有发育障碍和心理健康问题的儿童用户对聊天机器人形成不健康依恋,影响孩子行为甚至导致自杀等,对聊天机器人制造商的审查将持续,Meta 7 月的儿童安全更新是在一些州检察长指责后进行的,路透社的报告可能会引起更多对 Meta 做法的审查,Bejar 称 Meta 仍对孩子可能遭受的伤害不透明。
阅读 17
0 条评论