带宽利用率提升50%，腾讯云联网架构方案解析
2020-12-01
阅读 4 分钟
2.7k导语 | 企业 A 是一家互联网公司，当前在云上计算资源已经接近 10W 核，华东地域专线流量 24G+，资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构，本文主要分享企业A如何通过云联网架构优化实现带宽利用率提升50%，希望与大家一同交流。文章作者：李彬文，腾讯云售后架构师。
重构实践：基于腾讯云Elasticsearch搭建QQ邮箱全文检索
2020-11-02
阅读 7 分钟
2.5k导语 | 随着用户邮件数量越来越多，邮件搜索已是邮箱的基本功能。QQ 邮箱于 2008 年推出的自研搜索引擎面临着存储机器逐渐老化，存储机型面临淘汰的境况。因此，需要搭建一套新的全文检索服务，迁移存储数据。本文将介绍 QQ 邮箱全文检索的架构、实现细节与搜索调优。文章作者：干胜，腾讯后台研发工程师。
存算分离下写性能提升10倍以上，EMR Spark引擎是如何做到的？
2020-11-02
阅读 4 分钟
1.5k随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。
秒级去重：ClickHouse在腾讯海量游戏营销活动分析中的应用
2020-11-02
阅读 4 分钟
1.8k导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。文章作者：王方晓，腾讯运营开发工程师。
降本提效，贝壳搜索推荐架构统一之路
2020-10-19
阅读 12 分钟
3k导语 | 搜索和推荐是用户获取信息的两种主要方式，在贝壳也是帮助客户找到房子的主要手段，那么二者都有哪些相似和不同之处？是否可以使用同一套架构来实现？统一架构之后又能带来哪些收益呢？本文是对贝壳搜索推荐部平台架构负责人——高攀在云+社区沙龙online的分享整理，希望与大家一同交流。
亿级用户，腾讯看点信息流推荐系统的架构挑战
2020-10-19
阅读 6 分钟
4.3k导语 | 看点信息流每天为亿级用户提供海量实时推荐服务，除了大并发/低延迟/高性能等传统架构挑战以外，还有哪些推荐系统特有的架构挑战难题，又是如何解决的？本文是对腾讯看点独立端推荐研发中心总监——彭默在云＋社区沙龙online的分享整理，希望与大家一同交流。
优秀程序员，如何提高架构能力？
2020-10-19
阅读 12 分钟
2.7k导语 | 成为架构师是程序员进阶不可或缺的一条路径，尤其在当今愈加智能化的社会，对每位程序员的架构能力都提出了新的要求。本文是对腾讯云块存储与虚拟化总监马文霜、贝壳找房基础平台总经理&腾讯云最具价值专家「TVP」王超、同程艺龙机票事业群CTO&腾讯云最具价值专家「TVP」王晓波在云+社区沙龙online的分...
联邦计算：不暴露真实数据如何完成合作建模？
2020-09-30
阅读 6 分钟
2.7k导语 | 在金融场景下，银行等机构有强烈愿望和其他数据拥有方合作建模，但出于商业和合规方面的考虑，又不愿共享核心数据，导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发，从技术角度探讨如何解决这一困境，希望与大家一同交流。文章作者：王礼斌，腾讯云大数据研发工程师。
腾讯云Elasticsearch集群规划及性能优化实践
2020-09-30
阅读 9 分钟
3.3k随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位，导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。
腾讯云ClickHouse如何实现自动化的数据均衡？
2020-09-21
阅读 3 分钟
2.3kClickHouse 是一个用于联机分析( OLAP )的列式数据库管理系统( DBMS )。它于 2016 年以 Apache 2.0 协议开源，以优秀的查询性能，深受广大大数据工程师欢迎。
PB级大规模Elasticsearch集群运维与调优实践
2020-08-31
阅读 12 分钟
2k导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。文章作者：bellen，腾讯云大数据研发工程师。
鹰眼：海量级分布式日志系统上云的架构和实践
2020-08-31
阅读 3 分钟
2k导语 | 鹰眼是由腾讯PCG技术运营部负责的海量级分布式实时监控和日志分析系统，为响应公司战略要求，将原先的业务迁移上云，最终产生了可喜的变化。本文将介绍分布式日志系统（鹰眼）的整体上云方案，希望与大家一同交流。
腾讯云大数据：神盾首创非对称联邦学习，深度保障数据隐私
2020-08-28
阅读 7 分钟
2.4k导语：在过去的几年中，我们见证了大数据及人工智能技术的飞速发展，许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通，对相关产业的发展起着至关重要的作用。在上一篇文章中，我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景...
开源搜索引擎排名第一，Elasticsearch是如何做到的？
2020-08-28
阅读 7 分钟
2.9k随着移动互联网、物联网、云计算等信息技术蓬勃发展，数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息，离不开搜索引擎技术的帮助。
自绘引擎时代，为什么Flutter能突出重围？
2020-08-17
阅读 5 分钟
2.9k导语 | Flutter 框架是当下非常热门的跨端解决方案，能够帮助开发者通过一套代码库高效构建多平台精美应用，支持移动、Web、桌面等多端开发。但仍然有很多产品、设计、甚至开发同学并不了解 Flutter，所以本文将深入浅出和大家聊聊 Flutter 的设计背景、技术特点，以及与其他同类技术之间的对比，希望与大家一同交流。
总是搜不到想要的内容？Elasticsearch搜索排名优化了解一下
2020-07-23
阅读 8 分钟
8.5k导语 | Elasticsearch（下文简称ES） 是当前热门的开源全文搜索引擎，利用它我们可以方便快捷搭建出搜索平台，但通用的配置还需要根据平台内容的具体情况做进一步优化，才能产生令用户满意的搜索结果。下文将介绍对 ES 搜索排名的优化实践，希望与大家一同交流。文章作者：曹毅，腾讯应用开发工程师。
服务质量分析：腾讯会议&腾讯云Elasticsearch玩出了怎样的新操作？
2020-07-23
阅读 6 分钟
3.9k导语 | 腾讯会议于2019年12月底上线，两个月内日活突破1000万，被广泛应用于疫情防控会议、远程办公、师生远程授课等场景，为疫情期间的复工复产提供了重要的远程沟通工具。上线100天内，腾讯会议快速迭代20个版本，满足不断增长的用户需求，多次登顶APP STROE中国区免费榜总榜No.1。
QQ音乐Android客户端Web页面通用性能优化实践
2020-07-16
阅读 5 分钟
5.7kQQ音乐 Android 客户端的 Web 页面日均 PV 达到千万量级，然而页面的打开耗时与 Native 页面相距甚远，需要系统性优化。本文将介绍 QQ 音乐 Android 客户端在进行 Web 页面通用性能优化过程中的问题、思路、方案和效果，并尝试对跨端场景的常见瓶颈和对策进行归纳。文章作者：关岳，QQ音乐客户端开发工程师。
HDFS+ClickHouse+Spark：从0到1实现一款轻量级大数据分析系统
2020-07-14
阅读 4 分钟
2.4k在产品精细化运营时代，经常会遇到产品增长问题：比如指标涨跌原因分析、版本迭代效果分析、运营活动效果分析等。这一类分析问题高频且具有较高时效性要求，然而在人力资源紧张情况，传统的数据分析模式难以满足。本文尝试从0到1实现一款轻量级大数据分析系统——MVP，以解决上述痛点问题。文章作者：数据熊，腾讯云大数据...
图计算黑科技：打开中文词嵌入训练实践新模式
2020-07-13
阅读 9 分钟
3.1k在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文将尝试从图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。文章...
腾讯“神盾-联邦计算”平台带你翻越数据合作的重重大山
2020-07-08
阅读 7 分钟
3.2k大数据及人工智能飞速发展的今天，法律法规和信任问题严重阻碍了企业之间的数据流通，数据孤岛问题像一只无形的手挡在了企业之间，因为缺乏有价值的数据合作，各行业用户获取成本居高不下。为了满足企业间数据安全共享、释放数据价值，助力业务创新，腾讯“神盾-联邦计算”平台应运而生！
区块链不好落地？腾讯云用区块链做了这些事
2020-07-03
阅读 12 分钟
4k十年前，随着比特币的推出，区块链在科技领域突如其来。它的首次引入致使许多企业领袖将区块链和加密数字货币视为同义词。事实上，区块链的价值主张远比加密数字货币丰富得多。区块链技术到底是什么？有何价值？又有哪些具体的应用？本文是腾讯云区块链专家李亮&王乐庆老师在「云加社区沙龙online」的分享整理，将从...
浪潮之巅，程序员如何拥抱新技术？
2020-07-02
阅读 16 分钟
5k回想从前，AI、云计算、5G……几年前还觉得遥远的技术，在快速发展之中，有了落地方案，慢慢成为了新的基础设施。展望未来，自动驾驶、边缘计算、量子计算……这些新技术又将会带来怎样的变革？本文是对腾讯量子实验室专家研究员郝少刚、PreAngel合伙人 & 腾讯云最具价值专家（TVP）李卓桓、青宁信安科技联合创始人 &...
鹅厂车联网探索：5G下边缘云计算的车路协同实践
2020-07-01
阅读 11 分钟
5.6k5G网络下，多接入边缘计算（MEC）应运而生。结合TKEStack强大的集群管理能力和异构计算资源管理能力，腾讯打造了一个功能完备的边缘计算PaaS平台TMEC，提供了高精确度定位、视频处理、无线网络QoS控制和5G切片等多种特色业务能力，很好地支撑了车路协同、5G云游戏、视频直播等应用。本文是腾讯云技术专家杨勇&何猛老...
音视频前沿：新一代 AV1 视频标准究竟是怎样一种存在？
2020-06-29
阅读 8 分钟
3.9kAV1是开放媒体联盟Alliance for Open Media (AOM) 开发的第一代视频编码标准，自推出以来获得了产业界巨大关注和支持。腾讯多媒体实验室也加入进来和其他公司团队一同积极推动AV1编码器的优化和落地，为客户提供高性能和高效率的云端编码服务。本文是对腾讯多媒体实验室专家研究员赵欣老师在「云加社区沙龙online」的分...
腾讯云Redis混合存储版重磅推出，万字长文助你破解缓存难题！
2020-06-18
阅读 11 分钟
2.7k导语 | 缓存+存储的系统架构是目前常见的系统架构，缓存层负责加速访问，存储层负责存储数据。这样的架构需要业务层或者是中间件去实现缓存和存储的双写、冷热数据的交换，同时还面临着缓存失效、缓存刷脏、数据不一致等问题。本文是对腾讯云数据库高级产品经理邹鹏老师在「云加社区沙龙online」的分享整理，希望与大家...
拒绝平庸，以程序员的名义定义新桌面！
2020-06-04
阅读 5 分钟
5.9k经过近半年时间的角逐，腾讯云IoT应用创新大赛日前完满落下帷幕，大赛期间不少优秀的作品脱颖而出，获得了评委和读者们的认可和喜爱。本文是对其中一篇获奖作品的摘录，基于TencentOS tiny与腾讯云物联网开发平台IoT Explorer，打造一款实现创意桌面的个性化物联网小产品。
腾讯云EMR大数据实时OLAP分析案例解析
2020-06-03
阅读 6 分钟
4.6kOLAP（On-Line Analytical Processing），是数据仓库系统的主要应用形式，帮助分析人员多角度分析数据，挖掘数据价值。本文基于QQ音乐海量大数据实时分析场景，通过QQ音乐与腾讯云EMR产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。
人人都在谈的区块链，真的人人都能懂吗？
2020-05-27
阅读 9 分钟
4.8k当前区块链技术已如火如荼，各行各业都积极落地应用，几乎人人都在谈。那么，区块链技术到底是什么？有何价值？又该如何应用呢？本文将从概念、技术构成、转账方式以及发展趋势等方面为大家详细介绍区块链技术的价值。
全球部署，弹性伸缩，就近调度：鹅厂这款游戏服务器引擎你看怎么样？
2020-05-25
阅读 4 分钟
5.7k腾讯游戏服务器引擎（Game Server Engine，缩写GSE），支持有状态的游戏服务部署和扩缩容，实现服务发现、高效灵活的服务器伸缩和就近调度的能力，帮助开发者快速构建稳定、低延时的多人游戏的部署环境，并节约大量的运维成本，下文将为大家全方位讲解和分析。