本期内容
背景:
美丽说成立于2009年11月,从成立之初到现在,随着用户的增长,其架构也在不断的演变进化之中,碰过钉子,走过弯路,直至今日的高性能高可用系统,这过程中,积累的经验值得学习与借鉴。
主题一:《From awk to pig --美丽说数据统计变迁》
简介:
1、美丽说简介。 2、数据统计问题描述。 3、数据统计的变迁。 a、石器时代 --单机单进程(python+shell(sed, awk)) 。 b、青铜时代 --单机单进程多线程(mysql+python)。 c、农业时代 --单机多进程(hive+sqlite+python)。 d、工业时代 --多机多进程(hive+sqlite+python)。 e、信息时代 --hadoop集群(pig+python+java)。
嘉 宾:陈文江
主题二:《美丽说数据库架构变迁》
简介:
一.武功秘籍 ---- 向上扩展&向外扩展
二.很久很久以前 ---- mysql主从架构
三.祸起萧墙 ---- 按功能分配机器
四.泾渭分明 ---- 读写分离
五.双剑合璧 ---- 主从+memcache
六.三足鼎立 ---- 主从+memcech+redis
七.分身有术 ---- 按功能分库
八.杀手锏 ---- 水平分表
九.未雨绸缪 ---- 异地机房
十.他山之石 ---- 工具总结
嘉 宾:王伟
主题三:《分布式mysql的美丽说实现》
简介:
- 背景:存储在mysql中的业务数据持续增长,基于replication技术的mysql集群遇到瓶颈
- 解决方案-实现分布式的mysql存储系统
a. 数据分片-解决单机iops瓶颈
b. 智能cache-提升读性能,减少对后端mysql的访问 - 实施案例: 拆分t_twitter表
- 系统结构
下一步计划
嘉 宾:张开练
主题四:《基于nodejs的web解决方案 hornbill》
简介:
包含内容有:详细介绍hornbill 在美丽说中的应用。以及如何处理高并发请求。
对于Web、server、jsServer、cmd等各个模块的详细讲解。
嘉 宾:荣威嘉宾介绍
陈文江
陈文江,2011年毕业于广东工业大学,同年7月加入迅雷网络,主要负责迅雷会员、迅雷数字商城的数据统计分析工作,于2012年2月加入美丽说,并从事商业数据的统计分析工作,目前主要负责处理数据基础方面的工作。
王伟
2010年4月加入美丽说,主要负责美丽说商品库的研发工作,兼职数据库的运维和研发工作。亲身经历一个网站从几千个pv到过亿pv的架构变迁过程
张开练
美丽说研发平台团队工程师;负责美丽说分布式存储系统的设计,研发工作;关注mysql,nosql,hadoop等数据存储技术
荣威
美丽说大前端设计及架构者;各类脚本语言爱好者;日程安排
13:00-13:30 签到、入场
13:30-14:40 《From awk to pig --美丽说数据统计变迁》
14:40-15:40 《美丽说数据库架构变迁 》
15:40-16:00 休息 && Social
16:00-17:00 《分布式mysql的美丽说实现》
17:00-18:00 《基于nodejs的web解决方案 hornbill》
18:00-18:30 Any Share && 互动答疑聚会须知
- 由于场地限制,请报名参加。
- 请准时到场参加聚会,请不要迟到和早退。
- 到场后,请及时联系工作人员进行签到。
- 您可以带足够的名片,方便认识更多的朋友。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。