人工智能管道中的缺失层:为什么数据工程师必须像产品经理一样思考

主要观点:AI 正在重塑行业,但若无正确的数据思维则难有成效。多数 AI 项目未投入生产,根源通常不是模型问题,而是背后的假设,如数据不完整、管道脆弱、团队孤立等。数据工程师需像产品经理一样思考,注重数据的产出、使用者、成功定义、适应变化及目标一致性等。
关键信息:

  • 85%的 AI 项目未能交付实际结果。
  • 数据工程师从幕后转向前沿,需拥有后续工作。
  • 要像产品经理一样思考,包括了解消费者、定义成功、为变化而构建、对齐“为什么”等。
  • 可通过写数据规格、进行利益相关者评审、跟踪变化、设置服务等级协议(SLAs)、充当桥梁等方式开始这样思考。
    重要细节:
  • 如某大科技公司数据科学团队开发的模型部署后性能下降,原因是模型使用的聚合特征来自另一团队,且特征逻辑在未被注意的情况下发生变化。
  • 在云软件公司,一个数据集有三种不同解释,导致各部门信任问题。
  • 写数据规格要包含使用者、输入输出、成功定义、失败警报等信息。
  • 进行利益相关者评审要让用户、分析师等参与,展示样本输出。
  • 跟踪变化要维护变更日志,沟通重大变更。
  • 设置 SLAs 要明确新鲜度、检查项、警报等。
阅读 454
0 条评论