shell通过通道批量插入大量数据到redis
前言:
当我们需要短时间内快速插入大量数据到redis中,就需要一个行之有效的方式。
实践发现redis的(Redis Mass Insertion – Redis)是个比较高效的方法。
借助于pipline插入
-
首先通过简单的脚本生成例如如下的:
SET Key0 Value0 SET Key1 Value1 ... SET KeyN ValueN
的目标文本文件。
-
转码
redis-cli中只支持dos格式的换行符 \r\n ,如果在Linux下、Mac下或者Windows下创建的文件,最好都转个码。没有转码的文件,执行会失败。
转换的方法有好多种:
a. 利用todos进行转化。如未进行安装可参考这里。todos set_ins_redis.txt
b. 利用vim格式化
$ vim set_ins_redis.txt :set fileformat=dos :wq
-
最后执行如下命令:
cat set_ins_redis.txt | redis-cli -p 8244 --pipe
执行成功后会出现如下信息:
All data transferred. Waiting for the last reply... Last reply received from server. errors: 0, replies: 10654294
Done
转载请注明出处。原文唯一链接:https://segmentfault.com/a/11...
luochenxi
深度学习算法服务,docker,工程服务
被 1 篇内容引用
29 声望
1 粉丝
推荐阅读
Mac&Linux在命令行中预览图片
该文收录在我的blog中,地址:[链接] Preface 在[Mac/Linux]命令行中查看中预览图片 Install {代码...} Usage shell {代码...} code Show
luochenxi阅读 4.8k
Redis的线程模型和事务
我原本只是想学习Redis的事务,但后来发现,Redis和传统关系型数据库的事务在ACID的表现上差异很大。而要想详细了解其中的缘由,就离不开Redis独特的单线程模型,因此本文将二者联系在一起讲解。
KerryWu赞 6阅读 6.2k评论 2
又一款内存数据库横空出世,比 Redis 更强,性能直接飙升一倍!杀疯了
KeyDB是Redis的高性能分支,专注于多线程,内存效率和高吞吐量。除了多线程之外,KeyDB还具有仅在Redis Enterprise中可用的功能,例如Active Replication,FLASH存储支持以及一些根本不可用的功能,例如直接备份...
民工哥赞 4阅读 1.7k评论 2
Redis分布式锁的实现
很多新手将 分布式锁 和 分布式事务 混淆,个人理解:锁 是用于解决多程序并发争夺某一共享资源;事务 是用于保障一系列操作执行的一致性。我前面有几篇文章讲解了分布式事务,关于2PC、TCC和异步确保方案的实现...
KerryWu赞 4阅读 7.1k评论 2
redis.conf 7.0 配置和原理全解,生产王者必备
我是 Redis, 当程序员用指令 ./redis-server /path/to/redis.conf 把我启动的时候,第一个参数必须是redis.conf 文件的路径。
码哥字节赞 4阅读 281
Redis集群介绍及测试思路
Redis集群一般有四种方式,分别为:主从复制、哨兵模式、Cluster以及各大厂的集群方案。在3.0版本之前只支持单实例模式,3.0之后支持了集群方式。在3.0之前各大厂为了解决单实例Redis的存储瓶颈问题各自推出了自...
京东云开发者赞 2阅读 479
Windows环境下搭建Redis集群
最近因项目需要搭建Redis集群。查找了一些相关博文和资料,踩了不少坑。下面是本人总结的Redis集群搭建步骤和搭建过程中遇到的坑,希望对大家有帮助。篇幅有点长,请耐心看。
张三行阅读 5.6k
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。