素材牛VIP会员
如何向redis快速插入大量数据
 马***1  分类:PHP代码  人气:1218  回帖:7  发布于6年前 收藏

现在用循环效果不是很好,数据量三万多条时,就要两秒多的插入时间,有没有一种批量插入大量数据的方法
之前我是用这样的方法

for ($i=0; $i < count($list); $i++)
{

            $redis->lpush('list',$list[$i]['phone']);
            $redis->lpush('code',$list[$i]['smscode']);
         
  }
  

效果并不是很好

 标签:redisphp

讨论这个帖子(7)垃圾回帖将一律封号处理……

Lv4 码徒
Su***er JS工程师 6年前#1

@elarity 之前确实没有注意到过PHP的这个关键字,thinks

我就强行答一个其他的方法吧

可以利用Redis的 Pipeline, 也就是管道

目的是为了对多个命令进行打包,多次网络请求合并成单次。

$redis = new Redis();
$redis->connect('127.0.0.1', '6379');
$redis->multi(Redis::PIPELINE);
for ($i=0; $i < count($list); $i++) {
    $redis->lpush('list',$list[$i]['phone']);
    $redis->lpush('code',$list[$i]['smscode']);
}
$redis->exec();

ps:foreach的性能优于for

Lv7 码师
to***09 PHP开发工程师 6年前#2

这是由于Redis是一个 请求/响应 式服务器决定的,试试 Pipeline

Lv3 码奴
韩***3 学生 6年前#3

半年前我在实现批量插入的时候,也是用官方文档中的mass-insert的。
从txt里读内容,然后生成供redis批量插入的语句,写入一个文件。
然后再用命令行调用插入命令来批量插入。(或者说批量执行指令)

Lv5 码农
疯***斯 职业无 6年前#4

用队列啊!
(服务提供者,消费者)
步骤: 把数据 用JSON 格式存入 缓存(消费者),由服务提供者(另一个进程) 去操作这些数据

这样就不会占用当前进程,你就直接反馈给页面 加入任务中

我就是这么干的

Lv3 码奴
ba***pc JAVA开发工程师 6年前#5

https://redis.io/topics/mass-...

Lv6 码匠
許***愿 Linux系统工程师 6年前#6

pipe执行或者用redis执行脚本lua,在lua里实现批量插入的程序

Lv7 码师
to***09 PHP开发工程师 6年前#7

你看下我图中的代码 , 第一张图是代码 , 第二张是运行结果 .
可以参考下 .

然后是我得做几条补充说明 :

  1. 我是在php cli下测试的 , 该脚本从头到尾只连接了redis一次 , 一直到最终脚本执行完毕释放连接 .

  2. ... 是php 5.6新加入的特性 , 你可以搜php 5.6不定参数关键字 .

  3. 我只针对单个key进行操作 , 而楼主似乎是需要对不同的key进行操作 .

  4. 我操作的key是个set集合 , 而不是楼主的list .

我再补充下 , 原来之前 , 我还用过如下方法 :
关键字 call_user_func_array()

 文明上网,理性发言!   😉 阿里云幸运券,戳我领取