国产开源IoTOS：腾讯物联网操作系统TencentOS Tiny的探索与实践
2020-12-07
阅读 13 分钟
6.8k导语 | 腾讯物联网终端操作系统（TencentOS tiny）是腾讯面向物联网领域自主研发的嵌入式实时操作系统，可助力物联网终端设备及业务快速接入腾讯云物联网平台。本文是对腾讯高级工程师汪礼超、赵健在云＋社区 online 分享的整理，为大家介绍 TencentOS Tiny 操作系统开源过程中技术架构的探索、演进和实践。
企业级云原生：TKEStack 腾讯云原生开源实践之路
2020-12-07
阅读 11 分钟
3.1k导语丨TKEStack 是腾讯开源的一款集强壮性和易用性于一身的企业级容器编排引擎，是开放原子开源基金会的孵化项目之一。本文是对 TKEStack 开源项目负责人汝英哲、TKEStack 高级产品经理何鹏飞在云+社区沙龙online的分享整理，介绍 TKEStack 的开源方法论，希望与大家一同交流。
国产开源数据库：腾讯云TBase在分布式HTAP领域的探索与实践
2020-12-07
阅读 11 分钟
2.7k导语 | TBase 是腾讯TEG数据平台团队在开源 PostgreSQL 的基础上研发的企业级分布式 HTAP 数据库系统，可在同一数据库集群中同时为客户提供强一致高并发的分布式在线事务能力以及高性能的数据在线分析能力。本文是对腾讯 TBase 专家工程师伍鑫在云＋社区沙龙 online 的分享整理，将为大家带来腾讯云 TBase 在分布式 HTA...
每一位程序员，都可以贡献开源吗？
2020-12-07
阅读 9 分钟
3.2k导语 | 开源，是近几年技术圈特别火热的一个话题。在开源的背后，涉及到的不仅仅是技术本身，还包括人才、社区、商业，甚至更大范围的影响力。本文是对开放原子基金会TOC副主席谭中意、开源社理事长暨联合创始人 & ASF Member & 腾讯云TVP刘天栋、开源中国社区负责人&腾讯云TVP王永和在云+社区沙龙online上...
微信支付万亿日志在Hermes中的实践
2020-12-04
阅读 3 分钟
1.9k导语 | 微信支付日志系统利用 Hermes 来实现日志的全文检索功能，自从接入以来，日志量持续增长。目前单日入库日志量已经突破万亿级，单集群日入库规模也已经突破了万亿，存储规模达 PB 级。本文将介绍微信支付日志系统在 Hermes 上的实践，希望与大家一同交流。文章作者：宋新村，腾讯大数据高级运维工程师。
百亿级实时计算系统性能优化–—Elasticsearch篇
2020-12-01
阅读 12 分钟
4.2k导语 | 随着业务的发展，系统日益复杂，功能愈发强大，用户数量级不断增多，设备cpu、io、带宽、成本逐渐增加，当发展到某个量级时，这些因素会导致系统变得臃肿不堪，服务质量难以保障，系统稳定性变差，耗费相当的人力成本和服务器资源。这就要求我们：要有勇气和自信重构服务，提供更先进更优秀的系统。文章作者：刘...
腾讯看点视频推荐索引构建方案
2020-12-01
阅读 5 分钟
2.8k在视频推荐场景中，一方面我们需要让新启用的视频尽可能快的触达用户，这一点对于新闻类的内容尤为关键；另一方面我们需要快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量。
带宽利用率提升50%，腾讯云联网架构方案解析
2020-12-01
阅读 4 分钟
2.9k导语 | 企业 A 是一家互联网公司，当前在云上计算资源已经接近 10W 核，华东地域专线流量 24G+，资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构，本文主要分享企业A如何通过云联网架构优化实现带宽利用率提升50%，希望与大家一同交流。文章作者：李彬文，腾讯云售后架构师。
重构实践：基于腾讯云Elasticsearch搭建QQ邮箱全文检索
2020-11-02
阅读 7 分钟
2.8k导语 | 随着用户邮件数量越来越多，邮件搜索已是邮箱的基本功能。QQ 邮箱于 2008 年推出的自研搜索引擎面临着存储机器逐渐老化，存储机型面临淘汰的境况。因此，需要搭建一套新的全文检索服务，迁移存储数据。本文将介绍 QQ 邮箱全文检索的架构、实现细节与搜索调优。文章作者：干胜，腾讯后台研发工程师。
存算分离下写性能提升10倍以上，EMR Spark引擎是如何做到的？
2020-11-02
阅读 4 分钟
1.7k随着大数据技术架构的演进，存储与计算分离的架构能更好的满足用户对降低数据存储成本，按需调度计算资源的诉求，正在成为越来越多人的选择。相较 HDFS，数据存储在对象存储上可以节约存储成本，但与此同时，对象存储对海量文件的写性能也会差很多。
秒级去重：ClickHouse在腾讯海量游戏营销活动分析中的应用
2020-11-02
阅读 4 分钟
1.9k导语 | 腾讯内部每日都需要对海量的游戏营销活动数据做效果分析，而活动参与人数的去重一直是一项难点。本文将为大家介绍腾讯游戏营销活动分析系统——奕星，在去重服务上的技术思路和迭代方案，希望与大家一同交流探讨。文章作者：王方晓，腾讯运营开发工程师。
降本提效，贝壳搜索推荐架构统一之路
2020-10-19
阅读 12 分钟
3.3k导语 | 搜索和推荐是用户获取信息的两种主要方式，在贝壳也是帮助客户找到房子的主要手段，那么二者都有哪些相似和不同之处？是否可以使用同一套架构来实现？统一架构之后又能带来哪些收益呢？本文是对贝壳搜索推荐部平台架构负责人——高攀在云+社区沙龙online的分享整理，希望与大家一同交流。
亿级用户，腾讯看点信息流推荐系统的架构挑战
2020-10-19
阅读 6 分钟
4.5k导语 | 看点信息流每天为亿级用户提供海量实时推荐服务，除了大并发/低延迟/高性能等传统架构挑战以外，还有哪些推荐系统特有的架构挑战难题，又是如何解决的？本文是对腾讯看点独立端推荐研发中心总监——彭默在云＋社区沙龙online的分享整理，希望与大家一同交流。
优秀程序员，如何提高架构能力？
2020-10-19
阅读 12 分钟
2.8k导语 | 成为架构师是程序员进阶不可或缺的一条路径，尤其在当今愈加智能化的社会，对每位程序员的架构能力都提出了新的要求。本文是对腾讯云块存储与虚拟化总监马文霜、贝壳找房基础平台总经理&腾讯云最具价值专家「TVP」王超、同程艺龙机票事业群CTO&腾讯云最具价值专家「TVP」王晓波在云+社区沙龙online的分...
联邦计算：不暴露真实数据如何完成合作建模？
2020-09-30
阅读 6 分钟
2.8k导语 | 在金融场景下，银行等机构有强烈愿望和其他数据拥有方合作建模，但出于商业和合规方面的考虑，又不愿共享核心数据，导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发，从技术角度探讨如何解决这一困境，希望与大家一同交流。文章作者：王礼斌，腾讯云大数据研发工程师。
腾讯云Elasticsearch集群规划及性能优化实践
2020-09-30
阅读 9 分钟
3.6k随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位，导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。
腾讯云ClickHouse如何实现自动化的数据均衡？
2020-09-21
阅读 3 分钟
2.4kClickHouse 是一个用于联机分析( OLAP )的列式数据库管理系统( DBMS )。它于 2016 年以 Apache 2.0 协议开源，以优秀的查询性能，深受广大大数据工程师欢迎。
PB级大规模Elasticsearch集群运维与调优实践
2020-08-31
阅读 12 分钟
2.3k导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。文章作者：bellen，腾讯云大数据研发工程师。
鹰眼：海量级分布式日志系统上云的架构和实践
2020-08-31
阅读 3 分钟
2.3k导语 | 鹰眼是由腾讯PCG技术运营部负责的海量级分布式实时监控和日志分析系统，为响应公司战略要求，将原先的业务迁移上云，最终产生了可喜的变化。本文将介绍分布式日志系统（鹰眼）的整体上云方案，希望与大家一同交流。
腾讯云大数据：神盾首创非对称联邦学习，深度保障数据隐私
2020-08-28
阅读 7 分钟
2.5k导语：在过去的几年中，我们见证了大数据及人工智能技术的飞速发展，许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通，对相关产业的发展起着至关重要的作用。在上一篇文章中，我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景...
开源搜索引擎排名第一，Elasticsearch是如何做到的？
2020-08-28
阅读 7 分钟
3.1k随着移动互联网、物联网、云计算等信息技术蓬勃发展，数据量呈爆炸式增长。如今我们可以轻易得从海量数据里找到想要的信息，离不开搜索引擎技术的帮助。
自绘引擎时代，为什么Flutter能突出重围？
2020-08-17
阅读 5 分钟
3k导语 | Flutter 框架是当下非常热门的跨端解决方案，能够帮助开发者通过一套代码库高效构建多平台精美应用，支持移动、Web、桌面等多端开发。但仍然有很多产品、设计、甚至开发同学并不了解 Flutter，所以本文将深入浅出和大家聊聊 Flutter 的设计背景、技术特点，以及与其他同类技术之间的对比，希望与大家一同交流。
总是搜不到想要的内容？Elasticsearch搜索排名优化了解一下
2020-07-23
阅读 8 分钟
9k导语 | Elasticsearch（下文简称ES） 是当前热门的开源全文搜索引擎，利用它我们可以方便快捷搭建出搜索平台，但通用的配置还需要根据平台内容的具体情况做进一步优化，才能产生令用户满意的搜索结果。下文将介绍对 ES 搜索排名的优化实践，希望与大家一同交流。文章作者：曹毅，腾讯应用开发工程师。
服务质量分析：腾讯会议&腾讯云Elasticsearch玩出了怎样的新操作？
2020-07-23
阅读 6 分钟
4k导语 | 腾讯会议于2019年12月底上线，两个月内日活突破1000万，被广泛应用于疫情防控会议、远程办公、师生远程授课等场景，为疫情期间的复工复产提供了重要的远程沟通工具。上线100天内，腾讯会议快速迭代20个版本，满足不断增长的用户需求，多次登顶APP STROE中国区免费榜总榜No.1。
QQ音乐Android客户端Web页面通用性能优化实践
2020-07-16
阅读 5 分钟
6.1kQQ音乐 Android 客户端的 Web 页面日均 PV 达到千万量级，然而页面的打开耗时与 Native 页面相距甚远，需要系统性优化。本文将介绍 QQ 音乐 Android 客户端在进行 Web 页面通用性能优化过程中的问题、思路、方案和效果，并尝试对跨端场景的常见瓶颈和对策进行归纳。文章作者：关岳，QQ音乐客户端开发工程师。
HDFS+ClickHouse+Spark：从0到1实现一款轻量级大数据分析系统
2020-07-14
阅读 4 分钟
2.6k在产品精细化运营时代，经常会遇到产品增长问题：比如指标涨跌原因分析、版本迭代效果分析、运营活动效果分析等。这一类分析问题高频且具有较高时效性要求，然而在人力资源紧张情况，传统的数据分析模式难以满足。本文尝试从0到1实现一款轻量级大数据分析系统——MVP，以解决上述痛点问题。文章作者：数据熊，腾讯云大数据...
图计算黑科技：打开中文词嵌入训练实践新模式
2020-07-13
阅读 9 分钟
3.2k在自然语言处理领域，文本表示学习技术可以帮助我们将现实世界转化为计算机可以处理的数据，以求更精准地建立学习模型。而在中文搜索场景下，同音词、易混词、错别字等文本的召回和相似度匹配一直存在着棘手的问题，本文将尝试从图计算的角度来进行中文词向量的训练，并取得了积极的效果，希望与大家一同分享交流。文章...
腾讯“神盾-联邦计算”平台带你翻越数据合作的重重大山
2020-07-08
阅读 7 分钟
3.4k大数据及人工智能飞速发展的今天，法律法规和信任问题严重阻碍了企业之间的数据流通，数据孤岛问题像一只无形的手挡在了企业之间，因为缺乏有价值的数据合作，各行业用户获取成本居高不下。为了满足企业间数据安全共享、释放数据价值，助力业务创新，腾讯“神盾-联邦计算”平台应运而生！
区块链不好落地？腾讯云用区块链做了这些事
2020-07-03
阅读 12 分钟
4.1k十年前，随着比特币的推出，区块链在科技领域突如其来。它的首次引入致使许多企业领袖将区块链和加密数字货币视为同义词。事实上，区块链的价值主张远比加密数字货币丰富得多。区块链技术到底是什么？有何价值？又有哪些具体的应用？本文是腾讯云区块链专家李亮&王乐庆老师在「云加社区沙龙online」的分享整理，将从...
浪潮之巅，程序员如何拥抱新技术？
2020-07-02
阅读 16 分钟
5.2k回想从前，AI、云计算、5G……几年前还觉得遥远的技术，在快速发展之中，有了落地方案，慢慢成为了新的基础设施。展望未来，自动驾驶、边缘计算、量子计算……这些新技术又将会带来怎样的变革？本文是对腾讯量子实验室专家研究员郝少刚、PreAngel合伙人 & 腾讯云最具价值专家（TVP）李卓桓、青宁信安科技联合创始人 &...