数据的文章 - SegmentFault 思否

0

大数据实践解析（下）：Spark的读写流程分析

华为云开发者社区 6月30日发布于开发者之家
收藏

众所周知，在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。spark是一种基于内存的快速、通用、可扩展的大数据计算引擎，适用于新时代的数据处理场景。在“大数据实践解析（上）：聊一聊spark的文...

0

竞享实例：让你尽享云服务的“鱼”和“熊掌”

华为云开发者社区 6月29日发布于开发者之家
收藏

摘要：竞享实例作为创新商业模式，为用户提供除按需、包周期之外的新模式，即用户可以先到先享，并将颗粒化算力瞬间批量组织起来用于各类可容错场景，其以远低于同类产品的价格以及出色性能为离线转码、离线渲染...

0

大数据实践解析（上）：聊一聊spark的文件组织方式

华为云开发者社区 6月28日发布于开发者之家
收藏

在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。Spark针对不同的用户/开发者，支持了多种数据文件存储方式。本文的内容主要来自于Spark AI Summit 2019中的一个talk【1】，我们将整个talk分为上...

0

玩转云上数据湖，解析Serverless 技术落地

华为云开发者社区 6月23日发布于开发者之家
收藏

本文主要介绍Serverless计算相关技术与其在华为云数据湖探索服务（后文简称DLI）中的技术落地。Serverless是DLI将计算能力服务化和产品化关键技术，与传统IAAS和PAAS技术不同，DLI运用Serverless技术向客户提供了...

0

数据湖&数据仓库，别再傻傻分不清了

华为云开发者社区 6月15日发布于开发者之家
收藏

数据湖从企业的多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，从结构化数据到完全非结构化数据。

1

【华为云技术分享】玩转物联网IoTDA服务系列三-自动售货机销售分析场景示例

华为云开发者社区 6月11日发布于开发者之家
收藏

摘要：物联网解决方案中，作为数据主体的“物”可能数量会非常大，产生的数据已经无法通过传统的数据处理服务进行处理。如何分析与利用这庞大的物联网设备数据对物联网企业来说又是一个新的挑战。本文以自动售货机...

4

避坑指南：关于SPDK问题分析过程

华为云开发者社区 6月10日发布于开发者之家
1 收藏

这是一次充满曲折与反转的问题分析，资料很少，代码很多，经验很少，概念很多，当内核态，用户态，DIF，LBA，大页内存，SGL，RDMA，NVME和SSD一起迎面而来的时候，问题是单点的意外，还是群体的无奈？

0

Volcano火山：容器与批量计算的碰撞

华为云开发者社区 6月4日发布于开发者之家
收藏

【摘要】 Volcano是基于Kubernetes构建的一个通用批量计算系统，它弥补了Kubernetes在“高性能应用”方面的不足，支持TensorFlow、Spark、MindSpore等多个领域框架，帮助用户通过Kubernetes构建统一的容器平台。

0

谷歌或面临超 50 亿美元赔偿，因收集用户隐私数据被集体诉讼

芒果果 6月3日发布于 SegmentFault 行业快讯
收藏

技术编辑：芒果果丨发自思否编辑部SegmentFault 思否报道丨公众号：SegmentFault 谷歌面临集体诉讼，被指控通过追踪互联网使用情况，甚至在使用「隐私浏览模式」下的情况下，侵犯了数百万用户的隐私。集体诉讼...

0

Python爬取新浪微博评论数据，你有空了解一下？

Cooci 5月26日发布于 self.文章
收藏

开发工具 Python版本：3.6.4相关模块：argparse模块；requests模块；jieba模块；wordcloud模块；以及一些Python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介一. ...

1

【华为云技术分享】40%性能提升，华为云推出PostgreSQL 12 商用版

华为云开发者社区 5月26日发布于开发者之家
收藏

摘要：日前,华为云数据库正式推出了RDS for PostgreSQL 12版本，并开始商用。本文将从华为云RDS for PostgreSQL 12的4大特性和架构图等多方面来解读华为云PostgreSQL 12版本，帮助大家深入了解PostgreSQL 12版本...

0

深入浅出Sqoop之迁移过程源码分析

华为云开发者社区 5月25日发布于开发者之家
收藏

【摘要】Sqoop是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具。本文将简单介绍Sqoop作业执行时相关的类及方法，并将该过程与MapReduce的执行结合，分析数据如何从源端迁...

0

虎扑论坛数据分析

LT_Ge 5月21日发布于拓端数据
收藏

论坛为用户提供了相同的业余爱好，互动和交流的广阔平台，以及由此产生的庞大数据和复杂的用户交互场景也包含有价值的信息，本文关于虎扑论坛的帖子，个人信息分析，探讨虎扑论坛的用户是什么是什么特点？

0

腾讯安全联合电通安吉斯发布《2020中国广告真实性数据观察》：广告刷量问题突出，透明度成行业焦点

腾讯安全 5月21日发布于 self.文章
收藏

数字化浪潮之下，各行各业都朝着线上化发展，数字营销也成为广告行业的热点和趋势。然而，随着流量变现的高速发展，基于流量的广告作弊也逐渐被地下投机者深挖成金钱和利益的黑洞。近年来，流量造假、恶意刷量等...

1

智能+，见未来：「易观方舟智能用户运营产品套件」全新升级

宗恩 5月18日发布于 SegmentFault 行业快讯
收藏

2020年5月18日，数据智能产品、平台和解决方案提供商易观，在线上举办“「易观方舟智能用户运营产品套件」全新升级发布会”。全新升级后的易观方舟包含智能分析、智能运营、智能画像三大核心组件，拥有“更灵活、更...