道器相融,由Angel论一个优秀机器学习平台的自我修养

2017-10-13
阅读 9 分钟
4.2k
2017年6月,腾讯正式开源面向机器学习的第三代高性能计算平台 Angel,在GitHub上备受关注;2017年10月19日,腾讯T4专家Andymhuang(黄明)将为QCon上海的听众奉上一场Spark on Angel的精彩分享。作为Angel的主要开发者和团队负责人,同时也是Spark的早期研究者和布道者,他的工作经历可以说同步了通用大数据平台到专用机...

Spark on Angel:Spark机器学习的核心加速器

2017-08-02
阅读 4 分钟
3.9k
Spark的核心概念是RDD,而RDD的关键特性之一是其不可变性,来规避分布式环境下复杂的各种并行问题。这个抽象,在数据分析的领域是没有问题的,它能最大化的解决分布式问题,简化各种算子的复杂度,并提供高性能的分布式数据处理运算能力。然而在机器学习领域,RDD的弱点很快也暴露了。机器学习的核心是迭代和参数更新。R...