素材牛VIP会员
大量的 key => value 值用什么方式存储?
 li***09  分类:SQL代码  人气:737  回帖:9  发布于6年前 收藏

有大量 key=>value 形式的值对,如:xxxx=>aaaaaaa,值一旦建立就不会更改,数量的话后期会达到百万级别,且经常会访问到,并发不高,但要保证数据完整。用什么方案去存比较好?

讨论这个帖子(9)垃圾回帖将一律封号处理……

Lv5 码农
ah***xr 软件测试工程师 6年前#1

其实把问题再问得完整一点自然就有答案了

  • 被访问的方式,除了“经常会访问到,并发不高”之外,访问的形式是单key查询还是查多条?数据是否有序?是否有类似“搜索key前缀为foo”的需求?有“列出10个key”的需求?有“列出全部key”的需求?访问是随机key的还是集中在部分热点key值?冷热key值的比例大概怎样?目前并发不高,是否需要考虑后期并发增加以后的方案?

  • 数据完整,是否需要备份?key增加的频率如何?新增加的key是否立刻需要能访问?

  • key和value的长度分别是多少?百万条1K是一条内存条,可百万条1M就是一块磁盘了

一般而言,条件不是特别极端的话,选单redis&备份,单mysql&备份,或是mysql+redis都行,各有长短,看你想要什么和你手里有什么资源来找平衡点了

PS:别忘了mysql还分ssd上的mysql和机械磁盘上的mysql,也是各有优劣的

Lv4 码徒
sk***e4 页面重构设计 6年前#2

根据key哈希到不同的文件中, 根据访问量来决定要不要加一层内存cache

Lv7 码师
Sl***rk 软件测试工程师 6年前#3

memcached

Lv5 码农
马***1 技术总监 6年前#4

用mysql存储,然后前面加redis做缓存。

Lv5 码农
sh***ao 职业无 6年前#5

从你的需求上面主要针对两个点:值一旦建立就不会更改,以及保证数据完整。
数据库是跑不掉的,目前在保证数据完整性方面数据库是首选,同时也是最通用最值得信赖的。而针对数量的话后期会达到百万级别,且经常会访问到,并发不高这三个点可以考虑使用内存数据库提供访问效率,如redis,数据结构使用普通的k-v结构即可。

Lv6 码匠
飞***神 PHP开发工程师 6年前#6

redis 比较方便 一般放内存里 也可以放硬盘

Lv 牛魔王
素材牛 PHP开发工程师 6年前#7

只是Key-Value的话,可以不用放数据库.找一些kv型的nosql就可以用.有持久化的话,可以考虑redis,或者SSDB之类的.Nosql上可以很容易做基于key的分片来解决你的数据容量和访问量的问题.

Lv2 入门
龙***c 技术总监 6年前#8

直接用apc吧,这样比较简单!

Lv3 码奴
65***14 PHP开发工程师 6年前#9

并发不高,数据库,百万级别单表够了;并发高的话,前面加一层memcached

 文明上网,理性发言!   😉 阿里云幸运券,戳我领取