SegmentFault D-Day 介绍
SegmentFault D-Day,是由国内最前沿的开发者社区 SegmentFault 主办的技术沙龙,于 2014 年正式启动。2015 年上半年 D-Day 已在北、上、广、深、杭等城市成功举办 9 场,活动覆盖数千位开发者,并获得了开发者们一致热情的参与和高度肯定。
2015 年下半年,SegmentFault 将继续致⼒于提供更纯粹的技术分享平台,D-Day 将巡回带动各大城市,聚集技术狂热和激情分享的开发者们,共同打造技术影响力。D-Day 的主题将更新潮、更刺激,重量级嘉宾也将逐渐显现,为大家带来更干货的实践内容分享。SegmentFault D-Day,为开发者们提供更实在更优质的交流空间。
北京 - Spark
自 2011 年 Dell 和 Cloudera 联合推出 Hadoop 解决方案,2012 年 BigData 开始火起来,Hadoop 受到广泛的关注和研究应用。之后随着 Hadoop 框架核心设计 MapReduce 暴露出的局限性,加州伯克利分校 AMP 实验室研发出了 Spark 。
Spark 是一种与 Hadoop 相似的开源集群计算环境。可用来构建大型的、低延迟的数据分析应用程序。Spark 启用内存分布数据集、提供交互式查询及优化迭代工作负载,解决了 Hadoop 的局限和不足。
SegmentFault 团队此次沙龙开启一个相对陌生的主题,小编也担心大家听不懂。不过关于大数据的信息每天会交错的出现,无论是 Slogan(为了无法计算的价值)、社交及商业数据的挖掘、还是被开发者研究使用 Hadoop 等,相信大家对于大数据领域:Hadoop 、Spark 等听闻已久。那么此期沙龙让我们来一起的认识—— Spark ,一个风评渐佳的大数据处理平台。
日程安排
时间 | 事项 |
---|---|
13:30 - 14:00 | 签到 |
14:00 - 14:10 | 开场 |
14:10 - 14:50 | 袁凯《个推 Spark 应用与实践》 |
14:50 - 15:30 | 刘麒贇《大数据实时分析利器 Druid 的应用》 |
15:30 - 15:50 | 茶歇抽奖 |
15:50 - 16:30 | 展一楠《友盟Spark和Elasticsearch实践》 |
16:30 - 17:10 | 欧阳辰《小米大数据技术小实践》 |
17:10 - 17:50 | 圆桌讨论 |
17:50 - 18:00 | 活动结束,自由交流 |
嘉宾及议题介绍
袁凯:个推技术总监
分享议题:《个推 Spark 应用与实践》
主要围绕 Spark Streaming 和 Spark SQL 这两块内容展开。
Spark 简介和使用场景、Spark 在个推的一些应用和实践:
- 个推 Spark + Hadoop 数据处理架构
- 如何使用 Spark Streaming 实时处理用户数据
- 利用 Spark SQL 分析海量数据
- 使用 Spark 过程中遇到的一些问题和解决方法
刘麒贇:OneAPM 大数据架构师
分享议题:《大数据实时分析利器 Druid 的应用》
展一楠:友盟数据平台架构师
分享议题:《友盟 Spark 和 Elasticsearch 实践》
- 借助 Spark 和 Elasticsearch 的强大功能,友盟数据平台能够为开发者提供更加方便与好用的功能
- Elasticsearch 简介,优点和局限
- Spark 技术体系,包括 Spark,Spark streaming,Spark sql,加 Elasticsearch 结合使用实践
欧阳辰:小米研发架构师
小米公司研发架构师,负责小米广告平台的架构和数据。之前曾为微软公司工作10年,担任高级软件开发主管,领导团队参与微软搜索索引和搜索广告平台的研发工作,曾负责微软上下文广告的全部研发工作,包括系统架构和数据算法。之前在甲骨文公司工作,从事甲骨文数据库和应用服务器的研发工作。
分享议题:《小米大数据技术小实践》
介绍小米大数据技术的发展,HBase的一些底层改进和应用,最后介绍小米广告实时统计的大数据实践。
- 小米大数据
- HBase的改进和应用
- 小米广告的实时统计
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。