头图

清晨,数据分析师收到运营总监急切的消息:“昨天新区的用户数据什么情况?投放效果如何?竞品在同时段开新区,我们需要根据数据快速调整营销策略。”

这是游戏公司数据团队的日常,看似简单的需求,背后却是一个复杂的数据难题:

游戏用户维度指标多,需要关联多个数据源,查询时间随着关联表数量呈指数级增长,除了查询效率低,还可能伴随着技术协助取数等诸多问题。

当然,这不是个例。

在游戏行业,数据分析的价值与时效性直接挂钩,然而随着数据量的增加和需求的迭代,游戏行业的数据分析也面临着更多挑战。

独特的数据特征给游戏分析带来了挑战

数据规模庞大、维度复杂多变:现代游戏每天产生海量数据,单款热门游戏的日志数据量轻松达到 TB 级。游戏数据涉及多个维度,且这些维度间存在复杂的关联关系,查询逻辑复杂。

实时与灵活性要求:运营决策、反作弊、营销投放等场景对数据的实时性要求极高,往往需要分钟级甚至秒级的响应。游戏运营团队经常需要进行即席查询(Ad-hoc),这要求数据分析平台能够支持灵活的查询方式,并在复杂查询下保持良好的性能。

现有数据解决方案仍存在局限

游戏行业数据解决方案大致分为两类,离线数仓方案和混合架构方案。

离线数仓方案是基于 Hadoop 生态构建,成本较低,但 ETL 延迟高,难以满足实时分析需,其支持的 T+1 数据处理模式在现代游戏运营分析场景中显得力不从心。

混合架构方案使用多种数据组件,包含 Hive、Spark、Druid、Redis、MySQL 等,相比之下运维成本高昂。同时,复杂的组件一定程度上导致数据一致性问题,如游戏日志、应用层数据和实时数据分别存储在不同系统中,增加了管数和用数的成本和难度。

技术上的挑战直接影响着游戏公司的运营效率和决策速度。在当前竞争激烈的游戏市场环境下,游戏行业也亟需一个能够统一数据架构,同时具备高性能查询能力,且易于维护的解决方案。

解决方案:基于 StarRocks 构建现代数据架构

StarRocks 能够将实时数据处理和历史数据分析整合,简化架构复杂度,一个引擎支持所有分析场景需求。以典型的两个分析场景为例,来了解 StarRocks 是如何高效支撑游戏数据实时分析的。

1. 用户画像分析场景:多维洞察,精准运营转化

在进行用户画像分析时,海量用户数据的处理、复杂标签的组合计算以及实时性要求,都给传统分析架构带来巨大压力。特别是组合标签计算这个核心环节,传统方案通在进行用户去重和标签组合时,往往需要执行大量 SQL 任务和复杂的表连接操作,计算效率低下且资源消耗大。

StarRocks 具备强大的多表关联能力,有助于灵活构建用户全景画像。其中, Bitmap 索引特性能够直接在位图层面进行交并差集运算,分析师可以根据用户 ID 进行去重,使得组合标签的计算变得更高效。 同时,利用 StarRocks 的主键更新模型,可实现用户标签的实时更新,确保数据的时效性。

在实际应用中,该方案支持亿级用户的实时圈选,能够帮助游戏企业将用户分群的响应时间从分钟级降低到秒级。另外,StarRocks 也提供统一的 SQL 接口,降低开发门槛,使分析人员能够自助完成复杂分析。

案例: StarRocks 助力 37 手游升级用户画像分析,关联查询秒级响应

37 手游在用户画像分析方面,存在数据分析性能差的问题,高并发长周期查询响应慢,实时分析不足。同时,大数据产品组件复杂,如涉及 Hive、Spark 等众多组件,运维成本高。此外,千万级维表关联查询性能低,数据膨胀导致扩容成本高。

image.png

37 手游用 StarRocks 替换 ElasticSearchd 等旧 OLAP 组件,利用 FlinkCDC 同步 MySQL 数据,并重新设计数据流向和表结构,实现读写性能大幅提升,关联查询性能优异,千万级维表关联查询能秒级返回,Bitmap 表圈选速度提升 26 倍,支持多种人群包创建方式,满足了业务需求,提升了数据开发和应用效率。

图片

2. 实时运营分析场景:快速识别核心指标,秒级查询响应

实时运营指标分析是游戏数据分析中最基础也最关键的场景,往往涉及多维数据的聚合分析,指标种类繁多,计算逻辑复杂,且随着业务发展经常需要增加自定义指标,需要数据团队频繁支持,常常无法满足业务团队的实时决策需求。

StarRocks 通过向量化执行引擎和 CBO 优化器,可以将复杂查询的响应时间优化到秒级。同时,针对高频查询场景,可以利用 StarRocks 的物化视图预计算常用指标,预计算和缓存常用的聚合结果来提升查询性能,同时,支持多种预聚合策略,实现存储成本和查询性能的最优平衡。

案例:游族网络通过 StarRocks 重构实时分析体系

游族网络作为全球大型互动娱乐提供商,在游戏营销指标实时分析方面,过去采用 Clickhouse、Hbase、Hive 和 MySQL 搭建架构,但面临运维与开发成本高、数据一致性差、扩展性有限等问题。

image.png

StarRocks 支持多种数据模型,可以帮助游族网络将宽表转换为星型表,提升其多维分析能力,还可以通过联邦查询读取 Hive 和 MySQL 数据。引入 StarRocks 后,Flink 的工作流程得到优化,主要负责与 HBase 交互生成用户和角色登录信息、在日志文件中创建标签以及解析 IP 信息等简单 ETL 操作 。

初步处理后的数据写入 Kafka 和 Hive,最终在 StarRocks 中进行分层处理。Dashboard 和 Report 可直接读取 StarRocks 的最终结果数据,并通过 DataAPI 公开,实现数据的高效共享与利用。

镜舟科技,企业级能力支撑

镜舟数据库在 StarRocks 的基础上提供了全面的企业级资源管理能力。

通过 Multi-warehouse 特性实现计算资源的物理隔离,支持多租户场景下的资源精细化管理。

此外,镜舟数据库具备 Auto-MV(自动物化视图)特性,能够基于查询模式自动识别高价值的物化视图,并在数据更新时自动维护,极大降低了运维成本。

镜舟数据库在易用性上进一步完善,配备可视化运维管理平台,内置丰富的监控和诊断工具,包括可视化 profile 分析、慢查询追溯、执行计划分析等功能,并支持与 Prometheus 等主流监控系统的无缝集成。

在数据安全方面,镜舟数据库提供完善的安全防护机制。 支持通过 Row Access Policy 和 Column Masking 实现数据脱敏,除了完整的 RBAC 角色权限管理体系,更提供与统一认证系统的深度集成能力。

结语

在游戏产业竞争日益激烈的今天,数据驱动决策已成为游戏公司提升竞争力的关键要素。作为基于 StarRocks 商业化公司,镜舟科技深入理解游戏行业痛点,进一步强化企业级特性,未来将持续助力更多游戏企业完成现代数据架构升级,提升核心竞争力。

了解企业版产品,可扫码咨询下方工作人员 。
图片
扫码咨询

推荐阅读

图片

图片

图片


镜舟科技
1 声望0 粉丝

镜舟,连接大数据与价值