DCache 分布式存储系统|安装部署与应用创建

TARS基金会

作者 | Eaton

导语 | 随着微服务与云的发展,分布式架构的需求变得越来越普遍,Web 上的数据类型不再单一,数据量呈爆发式增长。传统的 SQL 结构化存储方案已经跟不上脚步, NoSQL 便出现了。DCache 作为基于 TARS 的分布式 NoSQL 缓存系统,完美支持 TARS 服务,能够方便地在 TARS 服务中使用,本系列文章将着重介绍 DCache 的安装与使用。那么如何拥有这套系统呢?本文将对 DCache 的安装和应用创建方式进行介绍。

目录

  • 简介

    • 背景
    • SQL 与 NoSQL
    • DCache
  • 安装 DCache

    • 环境依赖
    • 编译构建
    • 部署
  • 创建 DCache 应用
  • 总结

简介

背景

随着移动互联网和云的发展,用户量不断增长,业务访问量与日俱增,光靠资源的扩容已经无法解决所有的问题。特别是像电商平台、音视频点播等,存在大规模的数据访问,对查询效率要求很高,传统的数据库磁盘 IO 已经很难满足。

为了解决这一问题,NoSQL 数据库诞生了,它通过将数据缓存到内存中,使用时直接从内存中调用,大大减少磁盘 IO 的开销,提升查询效率,与分布式结合还能够实现海量数据的处理。这个NoSQL,具体No在哪呢?

SQL 与 NoSQL

SQL 是指数据库的结构化查询语言,它是数据库的操作命令集,传统的关系型数据库都使用标准的 SQL 语句操作处理数据。

NoSQL 是指一类数据库,主要用于高性能处理超海量数据,它的一大特点是数据结构简单,以 key-value 为主,数据之间非关联,容易做水平扩展。

从字面上看,NoSQL 似乎是与 SQL 对立的,做 NoSQL 似乎就意味着放弃 SQL,然而实际上 NoSQL 本意是 Not Only SQL,它不仅仅是 SQL,那么也就可以包含 SQL 的能力。

DCache

DCache 是一个基于 TARS 框架开发的分布式 NoSQL 存储系统,数据采用内存存储,同时支持连接后端 DB 实现数据持久化,结合了 NoSQL 和 SQL 的优势,具备以下特点

  • 高性能存储引擎,支持 key-value(键值对),k-k-row(多键值),list(列表),set(集合),zset (有序集合)等多种数据结构;
  • 采用集群模式,实现高扩展性和高可用性,支持异地镜像,就近接入;
  • 支持通过 TARS 名字服务访问,支持同步、异步、单向 RPC 调用方式;
  • 高效运维平台,在线完成服务部署、扩缩容、迁移,以及服务配置,服务调用质量监控;
  • 业务无须和直接和 MySQL 交互, DCache 会自动缓写 DB。
更多关于 DCache 的信息,可以查看 DCache的GitHub仓库

那么接下来,我们来看看如何在 TARS 上安装部署 DCache。

安装 DCache

环境依赖

DCache 基于 TARS 开发,因此编译安装之前,需要先安装 TARS 框架,具体安装步骤可以参考 TARS 框架部署文档

编译构建

先将 DCache 源码克隆下来

git clone https://github.com/Tencent/DCache.git

接着进入 DCache 目录,执行以下命令进行编译构建

mkdir build
cd build
cmake ..
make
make release
make tar

执行完之后即可生成 DCache 中各服务的发布包。

部署

生成发布包后,接下来就是将 DCache 部署在 TARS 中了。这一步,我们直接使用 DCache 中的自动部署脚本就可以了。

我们只需要进入前面编译构建项目的 build 目录,填写参数,执行安装脚本即可

cd build
../deploy/install.sh $TARS_MYSQL_IP $TARS_MYSQL_PORT $TARS_MYSQL_USER $TARS_MYSQL_PASSWORD $DCACHE_MYSQL_IP $DCACHE_MYSQL_PORT $DCACHE_MYSQL_USER $DCACHE_MYSQL_PASSWORD $CREATE $WEB_HOST $WEB_TOKEN $NODE_IP

各参数释义如下

  • TARS_MYSQL_IP: TARS 数据库的 IP;
  • TARS_MYSQL_PORT: TARS 数据库的端口;
  • TARS_MYSQL_USER: TARS 数据库的用户名;
  • TARS_MYSQL_PASSWORD: TARS 数据库的密码;
  • DCACHE_MYSQL_IP: DCache 数据库的 IP;
  • DCACHE_MYSQL_PORT: DCache 数据库的端口;
  • DCACHE_MYSQL_USER: DCache 数据库的用户名;
  • DCACHE_MYSQL_PASSWORD: DCache 数据库的密码;
  • CREATE: 是否重新创建 DCache 的数据库,为 true 则重新创建;如果已经创建,例如需要升级原有 DCache,可以设置为 false,避免重新创建;
  • WEB_HOST: TarsWeb 平台地址;
  • WEB_TOKEN: TarsWeb 平台 Token (需要进入web平台, 用户中心上, 创建一个 Token);
  • NODE_IP: 公共服务部署节点 IP, 部署完成后, 你可以在 TarsWeb 平台扩容到多台节点机上。

例如

../deploy/install.sh 192.168.1.123 3306 tarsAdmin Tars@2019 192.168.1.124 3306 root 123456 192.168.1.123:3000 abcdefg1randomtoken12345 192.168.1.123

TARS 与 DCache 的数据库可以相同,但如果在正式环境中使用,建议分开使用,为 DCache 建立独立的数据库。

执行完成后,DCache 即安装完成,如下图。

创建 DCache 应用

安装完 DCache,我们就可以来创建第一个 DCache 应用了。

首先我们需要先添加一个地区,用于标识我们创建的 DCache 应用。点击顶部的 服务创建,点击下方 Tab 栏中的 地区,点击 新增地区,填写地区和标签,例如 深圳,标签 sz,如下

创建完成后,点击 Tab 栏中的 创建应用,填写应用名,并选择一个 IDC 地区,点击 创建应用。比如我们创建一个 TestDemo 应用,地区选择 深圳,如下

Router配置信息 中,选择 服务IP,并填写 MySQL 实例信息;Proxy配置信息 中,选择代理服务的 服务IP,点击 创建 router、proxy 服务 完成应用创建。

最后,点击 安装发布,即可发布应用

发布完成后,回到 服务管理,刷新即可看到刚刚创建的 DCache 应用 TestDemo

我们将在下一篇文章中介绍如何在这一应用中部署缓存模块,并在 TARS 服务中使用,敬请期待。

总结

本文简要介绍了 DCache 的特性,并详细说明了如何安装 DCache 并创建一个 DCache 应用,帮助开发者快速部署、上手 DCache。关于 DCache 服务模块的创建和使用,将在后续系列文章中进行介绍,尽请期待。

TARS 可以在考虑到易用性和高性能的同时快速构建系统并自动生成代码,帮助开发人员和企业以微服务的方式快速构建自己稳定可靠的分布式应用,从而令开发人员只关注业务逻辑,提高运营效率。多语言、敏捷研发、高可用和高效运营的特性使 TARS 成为企业级产品。

TARS微服务助您数字化转型,欢迎访问:

TARS官网:https://TarsCloud.org

TARS源码:https://github.com/TarsCloud

Linux基金会官方微服务免费课程:https://www.edx.org/course/bu...

获取《TARS官方培训电子书》:https://wj.qq.com/s2/6570357/...

或扫码获取:

QR

阅读 238

TARS FOUNDATION
TARS Foundation is a Microservice Eco-system with goal of build a neutral home for open source Mi...

2020年3月10日,Linux基金会正式宣布旗下的TARS开源项目将成立TARS基金会。TARS基金会是一个专注于微服务领域的开源基金会,致力于帮助企业在拓展新领域时拥抱微服务体系架构,解决在使用微服务方面可能出现的问题,包括减少开发和服务治理的难度。它旨在解决多编程语言的互通、数据传输、数据存储一致性问题,并在支持海量请求的同时保证高性能。TARS基金会希望吸纳上下游的开源项目,以建立更好的微服务生态,包含但不限于基础设施、存储、开发框架、服务治理、DevOps和基于任何编程语言的应用。

11 声望
2 粉丝
0 条评论

2020年3月10日,Linux基金会正式宣布旗下的TARS开源项目将成立TARS基金会。TARS基金会是一个专注于微服务领域的开源基金会,致力于帮助企业在拓展新领域时拥抱微服务体系架构,解决在使用微服务方面可能出现的问题,包括减少开发和服务治理的难度。它旨在解决多编程语言的互通、数据传输、数据存储一致性问题,并在支持海量请求的同时保证高性能。TARS基金会希望吸纳上下游的开源项目,以建立更好的微服务生态,包含但不限于基础设施、存储、开发框架、服务治理、DevOps和基于任何编程语言的应用。

11 声望
2 粉丝
宣传栏