Redis Notes

Redis 踩坑笔记

概述

  • 记录一下在使用redis的过程中碰到的一些问题

1.redis磁盘满了无法持久化

报错信息

1
MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details about the error.

出错原因:

  • 强制关闭Redis快照导致不能持久化
  • 这里在重新发一下redis 的回写机制
  • Redis的数据回写机制分同步和异步两种,
    • 同步回写即SAVE命令,主进程直接向磁盘回写数据。在数据大的情况下会导致系统假死很长时间,所以一般不是推荐的。
    • 异步回写即BGSAVE命令,主进程fork后,复制自身并通过这个新的进程回写磁盘,回写结束后新进程自行关闭。由于这样做不需要主进程阻塞,系统不会假死,一般默认会采用这个方法。
  • 简单地说:Redis在保存数据到硬盘时为了避免主进程假死,需要Fork一份主进程,然后在Fork进程内完成数据保存到硬盘的操作,如果主进程使用了4GB的内存,Fork子进程的时候需要额外的4GB,此时内存就不够了,Fork失败,进而数据保存硬盘也失败了。

解决方案

Solution1 :直接修改内核参数

1
2
vm.overcommit_memory = 1
sysctl -p 使内核参数生效
  • Linux内核会根据参数vm.overcommit_memory参数的设置决定是否放行。
    • 如果 vm.overcommit_memory = 1,直接放行
    • vm.overcommit_memory = 0:则比较 此次请求分配的虚拟内存大小和系统当前空闲的物理内存加上swap,决定是否放行。
    • vm.overcommit_memory = 2:则会比较 进程所有已分配的虚拟内存加上此次请求分配的虚拟内存和系统当前的空闲物理内存加上swap,决定是否放行。

Solution2 :将 stop-writes-on-bgsave-error 设置为 no

1
127.0.0.1:6379> config set stop-writes-on-bgsave-error no
  • 默认配置 stop-writes-on-bgsave-error yes当bgsave出错时数据将不能修改
  • 只是忽略了错误,你的rdb持久化仍然会错误,导致rdb备份失效,出现你这个问题最好检查一下:
    • redis程序用户是否有rdb文件的读写权限。
    • rdbfork子进程备份数据时,redis占用内存会翻一倍,看看你服务器此时内存够用不。

顺道补充一下,如何备份redis到其他的地方

1
2
3
4
5
6
7
8
# redis-cli
127.0.0.1:6379> CONFIG SET dir /data/tmp
OK
127.0.0.1:6379> CONFIG SET dbfilename temp.rdb
OK
127.0.0.1:6379> BGSAVE
Background saving started
127.0.0.1:6379>
  • 这样就可以备份数据到/data/tmp/temp.rdb中了