大数据包围你我,技术人如何走知识分享之路

本期推荐:【云享人物·大咖面对面】华为云首席产品官方国伟独家专访:当下云发展有待突破的并不是技术问题;现在为什么是#华为云# 的最佳时机;以不变应万变,什么是云产品规划的三个关键出发点;生态对于云的意义是什么?戳此处,一起来听技术大咖聊聊云的故事。
image.png

摘要:这些数据是如何一步步包围你我的生活?在大数据行业从业五年有余的华为云专家周培源有话说。

本文分享自华为云社区《【披荆斩棘的开发者】华为云·云享专家周培源:大数据包围你我,技术人如何走知识分享之路》,作者:我们都是云专家。

从2014年大数据首次被写入政府工作报告,7年的时间,我们的生活已经被各种各样的数据包围。网络环境下的每一个操作,都有着自己的数据戳,再加上AI、物联网、5G等技术的快速发展,大数据的价值正在被最大化地挖掘使用。

这些数据是如何一步步包围你我的生活?在大数据行业从业五年有余的华为云专家周培源有话说。
image.png

如果兴趣与工作重合,再好不过

周培源从大学期间开始接触计算机基础技术和C++编程,便产生了浓厚的兴趣,大学毕业后,他选择从事大数据研发相关工作,因为“如果兴趣与工作重合,那再好不过了。”

做了几年的大数据工作,周培源对国内大数据行业的发展也有比较清晰的认识,他列举了这个行业发展迅猛的三个关键因素。

一、人口众多,产生数据量巨大。第七次全国人口普查数据显示,全国人口总数为14.12亿人,我们社交、购物、看病、旅游,每时每刻都在不断产生新数据,构造着新的数据大厦。这些通过移动设备、数据库、日志、爬虫等收集的数据,经过分析后会产生巨大的商业价值。

二、国家政策支持。目前全国有二十多个地区出台了大数据相关的政策,很多地区设立了专门的大数据管理机构,比如上海的“大数据局”和贵州的“云上贵州”,高校也开设大数据相关专业,为行业培育大量人才。

三、互联网行业的发展。国内一分钟会发生什么?移动支付金额3.79亿元,7.6万件快递被收发……互联网行业的迅速发展,让大数据技术有了用武之地,同时,大数据也在推动着互联网行业的发展。

在周培源看来,大数据技术可以完美地解决海量数据的收集、存储、计算、分析等问题,它的发展是迎合互联网时代的刚需。

而互联网公司的工作经历也让周培源走上了一条特殊的技术之路,

“一开始是整理自己工作中遇到的问题和解决办法,并发布到博客上,渐渐地收到了一些粉丝的好评,同时也明显感觉到自己过往工作中积累的零散技术点,在整理过程中逐渐长成了‘一棵树’,并且不断冒出‘枝丫’,这让我感到兴奋。”

做了近一年的大数据技术总结输后,周培源收获了40000+粉丝的关注和支持,也荣获了一些平台授予的专家称号。

从线下到线上,大数据的“魔力”

周培源分享了他经历的几个比较典型的大数据项目建设,从业务出发,去挖掘出数据的价值,并反哺业务。

某二手车早期业务数量较小,采用的是传统数据库,随着公司数据线上化建设和业务量的增加,到2018年底,数据查询量激增300%,数据库出现查询延迟或失败,已经无法满足总部及城市运营人员查看数据报表的需求,甚至影响线下交易流程的正常进行。

在项目实施过程中,周培源设计了增量计算方案,将计算时效从1小时压缩到5分钟,并开发数据质量监控程序解决数据丢失问题。

和团队成员经过半年时间的共同努力,项目成功上线,有效保障了线上业务流程的正常进行,系统可用时长从95%提升到99.99%;也为行业内带来了一套成熟的实时计算的解决方案,并作为案例回馈到开源社区。

另一个令周培源印象比较深刻的案例是某中介平台的集中签约数据项目,该平台在全国开放了300多个签约中心,但只覆盖了7%的合同。他们计划99%以上的二手房合同将通过集中签约完成,然而缺少数据线上化建设,业务流程中存在大量数据指标缺失及获取限制,总部及城市无法准确评估签约中心运营情况,造成整体服务效率低。

针对这些痛点,周培源从品质、规模、效率三个维度搭建出一套集中签约指标体系,开发了经营看板供总部和城市查看数据指标。通过这些指标体系和数据报表,该平台实现了对签约中心进行有效管理,实现线上线下一体化、智能化运营,场地利用率和人员效率明显提升。

知识分享,星火燎原

在从事大数据相关工作的这些年,周培源也明显感受到了行业的变化。许多传统企业逐渐转型升级为数据驱动的企业,借助大数据技术的力量,传统的生产、流通和消费等环节呈现出前所未有的“信息化”、“扁平化”和“无界化”。基于大数据的分析与研究,对消费者行为规律、需求内容、结构、方式及其发展变化的预测更趋科学性。

大数据的存储、计算等技术也在迅速发展,从传统的关系型数据库到分布式数据库;从离线批量数据抽取到流式的数据实时抽取;从分钟级数据查询响应到秒级查询响应;从服务器本地部署到云上部署。

周培源强调,对于处在一线的开发者来说,需要不断提升技术水平以适应互联网行业的要求。“在技术知识学习方面,华为云开发者社区为我们提供资源工具、学习交流、应用实践、大赛活动等一站式服务。一些棘手的技术问题,总能在上面找到答案或思路。”比如华为云学院中就有很多免费且高质量的学习课程,对大数据有兴趣的可以阅读《Python编程学习路径》,通过学习+考试的方式进行学习,查缺补漏,夯实基础。

周培源补充道,“我也时常在华为云社区上整理分享一些大数据生态系统知识、技术解决方案、程序员故事等内容。”(点击直达周培源的博客主页)

最后,星火燎原,周培源希望能够通过他的技术输出,为国内技术社区蓬勃发展贡献一点绵薄之力。

点击关注,第一时间了解华为云新鲜技术~


开发者之家
华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态...

生于云,长于云,让开发者成为决定性力量

1.3k 声望
1.7k 粉丝
0 条评论
推荐阅读
【贺】来自开发者的点赞,华为云开发者联盟入选 2022 中国技术品牌影响力企业榜
2023 年 1 月 4 日,中国技术先锋年度评选 | 2022 中国技术品牌影响力企业榜单正式发布。作为中国领先的新一代开发者社区,SegmentFault 思否依托数百万开发者用户数据分析,各科技企业在国内技术领域的行为及影...

华为云开发者联盟阅读 352

大数据 + VR 全景技术重塑“二手车买车场景”
行内人都知道,二手车交易的核心问题在于车况信息不透明。中国二手车交易市场制度尚不完善,长期以来缺少行业公认的车辆估值标准和车况检测标准,二手车商提供的估值和车况信息不够透明。这导致用户和车商交易双...

之家技术13阅读 12k

封面图
《开源大数据热力报告 2022 》 入围项目公示
在开源大数据技术飞速发展的十数年,我们见证了多元化技术的兴起和变迁。如何从海量数据中,通过数据处理和可视化的手段,对开源大数据技术的过去、现在和未来,做出深刻洞察?如何为开发者在开源大数据技术领域...

MissD阅读 9.7k

2022 星策 Summit 峰会首批嘉宾确认,火热报名中!
Start Together, Star Together ,一起开始,一起闪耀!星策社区年度最大峰会来 啦!2022 星策 Summit 是由星策开源社区主办、思否社区协办,面向企业管理层、CTO、CEO、AI 工程师、开发者的线上直播活动。本次...

MissD阅读 9.7k

社区盛会 | Pulsar Summit Asia 2022 议程全览
Pulsar Summit 是 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此...

MissD阅读 7.5k

Flink Forward Asia 2022 主论坛概览
2022 年 11 月 26-27 日,Flink Forward Asia(FFA)峰会成功举行。Flink Forward Asia 是由 Apache 软件基金会官方授权、由阿里云承办的技术峰会,是目前国内最大的 Apache 顶级项目会议之一,也是 Flink 开发者...

MissD阅读 6.1k

第十六届中国大数据技术大会五大分论坛顺利举办!
1 月 8 日下午,由苏州市人民政府指导、中国计算机学会主办、苏州市吴江区人民政府支持,CCF 大数据专家委员会、苏州市吴江区工信局、吴江区东太湖度假区管委会、苏州市吴江区科技局、苏州大学未来科学与工程学院...

MissD阅读 5.7k

生于云,长于云,让开发者成为决定性力量

1.3k 声望
1.7k 粉丝
宣传栏