万字通俗讲解何为复杂度

2022-02-23
阅读 14 分钟
2.4k
摘要:复杂度分析主要就是时间复杂度和空间复杂度。本文分享自华为云社区《用通俗的语言讲解复杂度》,作者: 龙哥手记 。复杂度分析刚刚我说过,在俺看来,复杂度分析是数据结构和算法中最重要的知识点,当然学这篇只是把门找到,反之,学不会它,你就永远找不到火门。为什么复杂度分析会这么重要?这个要从宇宙大爆炸...

一文讲清楚FusionInsight MRS CDL如何使用

2021-09-30
阅读 7 分钟
1.6k
摘要:CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取Data Change事件,然后推送至Kafka中,最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中,从而实现数据的实时入湖。

带你全面的了解二叉树

2021-09-24
阅读 5 分钟
1.7k
摘要:日常生活中,很多事物都可以用树来描述,例如书的目录、工作单位的组织架构等等。树是计算机中非常重要的一种数据结构,树存储方式可以提高数据的存储、读取效率。

Linux IPTables:如何添加防火墙规则

2021-09-23
阅读 4 分钟
3.4k
摘要:本文介绍了如何使用“iptables -A”命令添加 iptables 防火墙规则。本文分享自华为云社区《Linux IPTables:如何添加防火墙规则(使用允许 SSH 示例)》,作者:Tiamo_T 。本文介绍了如何使用“iptables -A”命令添加 iptables 防火墙规则。“-A”用于追加。如果它让你更容易记住“-A”作为添加规则(而不是附加规则),那...

华为云严选上新啦!高效准确的数据同步方案来了

2021-09-01
阅读 2 分钟
3k
近期,上海英方软件股份有限公司(简称“英方软件”)宣布加入华为云沃土云创计划,同时基于i2Stream(数据流复制管理软件)产品服务,联合提出GaussDB数据同步解决方案,并成功入驻华为云严选商城,通过华为云平台进一步拓宽商业变现之路,实现更大商业成功。

训练千亿参数模型的法宝,昇腾CANN异构计算架构来了~

2021-08-31
阅读 2 分钟
2.3k
摘要:盘古的训练以「昇腾AI处理器」为基座,同时借助了「CANN 异构计算架构」,让硬件算力得以充分释放,大大缩短了训练时间!2021年4月,“华为云盘古大模型”一炮走红AI人工智能领域。如果你问:明明明明明白白白喜欢他,但他就是不说,白白喜欢谁?你的同伴可能还要犹豫3秒钟,而盘古却能轻松地回答出:明明!诸如此类...

遇到联邦计算数据碰撞难题怎么办?不妨试一试PSI

2021-08-30
阅读 2 分钟
2.2k
摘要:随着MPC、隐私计算等概念的流行,诸多政府机构、金融企业开始考虑参与到多方计算的场景中,扩展数据的应用价值。本文分享自华为云社区《使用PSI解决联邦计算的数据碰撞问题》,作者:breakDraw。联邦计算场景随着MPC、隐私计算等概念的流行,诸多政府机构、金融企业开始考虑参与到多方计算的场景中,扩展数据的应...

最小二乘法,了解一下?

2021-08-24
阅读 2 分钟
1.8k
摘要:最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

华为海外女科学家为您揭秘:GaussDB(for MySQL)云栈垂直集成的力量有多大?

2021-08-19
阅读 4 分钟
2.4k
如今云计算越来越普及,云堆栈作为云计算的重要服务模式,其关键组件之一是事务数据库服务。在实际业务场景中,应用程序依赖于可扩展、高性能的托管数据库服务,以充分受益于云平台。而云数据库也需要高效利用底层云基础架构,以释放云规模运营的潜力。

如何将知识引入机器学习模型提升泛化能力?

2021-08-16
阅读 3 分钟
1.8k
基于物理学的模型是当今技术和科学的核心。近年来,基于数据驱动的机器学习模型开始提供可替代的方法,并在许多任务中优于纯物理学驱动模型。但是,基于数据驱动的模型训练需要大量的数据,而且它们的决策推理可能难以解释,而且泛化性能仍然是一个挑战。而同时结合数据和物理学则可以两全其美,当机器学习算法在学习时...

大数据集群跨多版本升级、业务0中断,只因背后有TA

2021-08-11
阅读 3 分钟
1.6k
2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级,突破传统方案需离线停机多次升级模式,一次性将核心现网集群版本由FusionInsight HD C70升级到FusionInsight MRS 8.0.2,横跨C80、6.5.1两个版本,同时完成了大数据集群从物理机向云服务的模式转变,实现该案例在金...

Mysql读写锁保姆级图文教程

2021-08-06
阅读 2 分钟
5k
摘要:读锁会阻塞写,但是不会阻塞读,而写锁会把杜希俄都阻塞。本文分享自华为云社区《Mysql保姆级读写锁图文教程丨【绽放吧!数据库】》,作者:Code皮皮虾 。准备 {代码...} 读锁读锁(共享锁):针对同一份数据,多个读操作可以同时进行而不会互相影响。共享锁又称为读锁,简称S锁,顾名思义,共享锁就是多个事务对于...

教你如何将二进制文件导入到数据库

2021-07-26
阅读 2 分钟
1.7k
摘要:使用copymanager接口,读取二进制文件流,将二进制文件中的数据导入到数据库中。本文分享自华为云社区《从二进制文件导入到GaussDB(DWS)》,作者:你怎么这么好看。1.1 现网业务场景源数据推送二进制流-->解析二进制-->解析后的数据导入数据库为了模拟生产的业务场景,客户提供了一个二进制文件及二进制文件...

带你了解WDR-GaussDB(DWS) 的性能监测报告

2021-07-23
阅读 6 分钟
1.6k
GaussDB(DWS) 8.1.1版本引入了负荷诊断报告(Workload Diagnosis Report,以下简称WDR)功能,可以提供指定时间段内的性能数据,以html网页报告的形式呈现给用户。通过分析该报告,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。

支持60+数据传输链路,华为云DRS链路商用大盘点

2021-07-22
阅读 1 分钟
1.5k
如今,业务上云已是时代潮流,技术的迅猛发展也使得上云变得愈发轻松起来。但在实际迁移过程中,客户仍会担心以下问题:不同数据库之间能迁吗?迁移前后数据不一致怎么办?可以不停机迁移吗……

带你了解两种线性规划的方法:稀疏矩阵存储和预处理

2021-07-19
阅读 4 分钟
2.3k
随着AI时代的发展,线性规划问题的规模越来越大是一种必然。面对大规模的线性规划问题,如何存储数据,使得存储空间节省以避免资源的浪费,并且使得数据的查询、修改和增删方便快捷,是一个急需解决的问题。本文为大家带来线性规划的稀疏矩阵存储和数据预处理。

看CarbonData如何用四招助力Apache Spark

2021-06-30
阅读 6 分钟
2k
Spark 无疑是一个强大的处理引擎和一个用于更快处理的分布式集群计算框架。不幸的是,Spark在一些方面也存在不足。如果我们将 Apache Spark 与 Apache CarbonData 结合使用,它可以克服这些不足:

图解 Redis丨这就是 RDB 快照,能记录实际数据的

2021-06-29
阅读 3 分钟
1.5k
摘要:所谓的快照,就是记录某一个瞬间东西,比如当我们给风景拍照时,那一个瞬间的画面和信息就记录到了一张照片。RDB 快照就是记录某一个瞬间的内存数据,记录的是实际数据。

数据膨胀了?你的数仓又没有空间了?

2021-06-16
阅读 4 分钟
1.5k
摘要:为了解决数据膨胀,GaussDB(DWS)通过vacuum和FSM来清理和重用物理空间。本文简单介绍FSM的设计和原理,并通过一个例子对FSM功能进行简单的测试和验证。

如何解决回归任务数据不均衡的问题?

2021-06-11
阅读 4 分钟
4.1k
现有的处理不平衡数据/长尾分布的方法绝大多数都是针对分类问题,而回归问题中出现的数据不均衡问题确极少被研究。但是,现实很多的工业预测场景都是需要解决回归的问题,也就是涉及到连续的,甚至是无限多的目标值,如何解决回归问题中出现的数据不均衡问题呢?ICML2021一篇被接收为Long oral presentation的论文:Delv...

解读8大场景下Kunpeng BoostKit 使能套件的最佳能力和实践

2021-06-08
阅读 9 分钟
2.8k
摘要:本次鲲鹏 BoostKit 训练营为开发者介绍如何基于鲲鹏 BoostKit 使能套件实现应用性能的加速,并重点剖析性能优化技术和关键能力。

GaussDB(DWS)发生数据倾斜不要慌,一文教你轻松获取表倾斜率

2021-06-08
阅读 3 分钟
2.7k
摘要:GaussDB(DWS)是MPP并行架构,若表的数据存在倾斜情况,会引起一系列性能问题,影响用户体验,严重时可能会引起系统故障。因此能快速获取倾斜的表并整改是GaussDB(DWS)运维管理人员比较关注的事情。

MySQL数据库事务隔离性的实现

2021-05-29
阅读 6 分钟
2.5k
事实上在数据库引擎的实现中并不能实现完全的事务隔离,比如串行化。这种事务隔离方式虽然是比较理想的隔离措施,但是会对并发性能产生比较大的影响,所以在MySQL中事务的默认隔离级别是 REPEATABLE READS(可重复读),下面我们展开讨论一下MySQL对数据库隔离性的实现。

MySQL事务处理特性的实现原理

2021-05-28
阅读 4 分钟
1.9k
摘要:事务这个词来自于英语中的transactional这个词的翻译,这个词的含义更多的是指 “交易”。在数据库系统或者软件系统中我们通常 称 transactional 为事务

云小课|DSC帮您管数据,保障您的云上数据安全

2021-05-21
阅读 2 分钟
1.9k
云上数据分布在哪里,如何管理这些数据,如何识别数据风险,您需要全貌感知! 华为云汇聚各服务安全数据,重磅推出数据安全中心,助您轻松实现数据分级分类,用户异常形为识别,行为轨迹可视化。

浅析决策树的生长和剪枝

2021-05-20
阅读 2 分钟
1.5k
决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象...

还不会使用分布式锁?教你三种分布式锁实现的方式

2021-05-18
阅读 6 分钟
4k
摘要:在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量,而同步本质上通过锁来实现。

消除数据孤岛,华为云DRS让一汽红旗ERP系统数据活起来

2021-05-10
阅读 2 分钟
2.1k
数字化时代,数据成为新的生产资料,在经济文化生活中扮演着越来越重要的角色。买票你需要查询各种票务信息,网购你需要搜索商品和服务,出行你需要精准定位,这些动作背后都隐藏着大量的数据信息,如何利用好这些信息成为企业数字化转型的一道关卡。

从5大挑战带你了解多模态机器学习

2021-05-08
阅读 8 分钟
9k
摘要:多模态机器学习旨在从多种模态建立一种模型,能够处理和关联多种模态的信息。考虑到数据的异构性,MMML(Multimodal Machine Learning)领域带来了许多独特的挑战,总体而言五种:表示、转化、对齐、融合、协同学习。

一文带你了解华为云GaussDB的五大黑科技

2021-04-30
阅读 2 分钟
2k
4月24-26日,华为开发者大会2021(HDC·Cloud)在深圳隆重举办。在名师大讲堂分会场,华为云数据库多位技术专家分享了GaussDB系列数据库全新5大黑科技,包括支持亿级时间线、千万级tpmC突破、两地三中心、AI自治等,通过技术创新不断为企业数字化转型注入新动力。