shell通过通道批量插入大量数据到redis

前言:

当我们需要短时间内快速插入大量数据到redis中,就需要一个行之有效的方式。
实践发现redis的(Redis Mass Insertion – Redis)是个比较高效的方法。

借助于pipline插入

  1. 首先通过简单的脚本生成例如如下的:

    SET Key0 Value0
    SET Key1 Value1
    ...
    SET KeyN ValueN

    的目标文本文件。

  2. 转码

    redis-cli中只支持dos格式的换行符 \r\n ,如果在Linux下、Mac下或者Windows下创建的文件,最好都转个码。没有转码的文件,执行会失败。

    转换的方法有好多种:
    a. 利用todos进行转化。如未进行安装可参考这里

    todos set_ins_redis.txt

    b. 利用vim格式化

    $ vim set_ins_redis.txt
    :set fileformat=dos
    :wq
  3. 最后执行如下命令:

    cat set_ins_redis.txt | redis-cli  -p 8244 --pipe

    执行成功后会出现如下信息:

    All data transferred. Waiting for the last reply...
    Last reply received from server.
    errors: 0, replies: 10654294

Done

转载请注明出处。原文唯一链接:https://segmentfault.com/a/11...


luochenxi
深度学习算法服务,docker,工程服务
29 声望
1 粉丝
0 条评论
推荐阅读
Mac&Linux在命令行中预览图片
该文收录在我的blog中,地址:[链接] Preface 在[Mac/Linux]命令行中查看中预览图片 Install {代码...} Usage shell {代码...} code Show

luochenxi阅读 4.8k

Redis的线程模型和事务
我原本只是想学习Redis的事务,但后来发现,Redis和传统关系型数据库的事务在ACID的表现上差异很大。而要想详细了解其中的缘由,就离不开Redis独特的单线程模型,因此本文将二者联系在一起讲解。

KerryWu6阅读 6.2k评论 2

又一款内存数据库横空出世,比 Redis 更强,性能直接飙升一倍!杀疯了
KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份...

民工哥4阅读 1.7k评论 2

封面图
Redis分布式锁的实现
很多新手将 分布式锁 和 分布式事务 混淆,个人理解:锁 是用于解决多程序并发争夺某一共享资源;事务 是用于保障一系列操作执行的一致性。我前面有几篇文章讲解了分布式事务,关于2PC、TCC和异步确保方案的实现...

KerryWu4阅读 7.1k评论 2

redis.conf 7.0 配置和原理全解,生产王者必备
我是 Redis, 当程序员用指令 ./redis-server /path/to/redis.conf 把我启动的时候,第一个参数必须是redis.conf 文件的路径。

码哥字节4阅读 281

封面图
Redis集群介绍及测试思路
Redis集群一般有四种方式,分别为:主从复制、哨兵模式、Cluster以及各大厂的集群方案。在3.0版本之前只支持单实例模式,3.0之后支持了集群方式。在3.0之前各大厂为了解决单实例Redis的存储瓶颈问题各自推出了自...

京东云开发者2阅读 479

封面图
Windows环境下搭建Redis集群
最近因项目需要搭建Redis集群。查找了一些相关博文和资料,踩了不少坑。下面是本人总结的Redis集群搭建步骤和搭建过程中遇到的坑,希望对大家有帮助。篇幅有点长,请耐心看。

张三行阅读 5.6k

29 声望
1 粉丝
宣传栏