1. 先恢复，后排查     → 优先让业务可用
2. 最小化变更         → 一次只改一个参数
3. 保留现场           → 记录当前状态再操作
4. 安全优先           → 评估每个操作的风险
5. 沟通同步           → 告知受影响方

# Step 1: 确认进程状态
ps aux | grep redis-server
systemctl status redis-server

# Step 2: 检查退出原因
dmesg | tail -20                     # 检查 OOM Killer
tail -100 /var/log/redis/redis.log   # 检查 Redis 日志
/var/log/syslog | tail -20           # 系统日志

# Step 3: 尝试启动
systemctl start redis-server

# Step 4: 验证恢复
redis-cli PING
redis-cli DBSIZE
redis-cli INFO replication

# Step 5: 如果无法启动，从备份恢复
cp /backup/redis/dump.rdb /var/lib/redis/
systemctl start redis-server

# Step 1: 确认状态
redis-cli INFO Memory | grep -E "used_memory_human|maxmemory_human|maxmemory_policy"
redis-clI INFO Stats | grep evicted_keys

# Step 2: 立即扩容（几分钟内解决）
redis-cli CONFIG SET maxmemory 12G

# Step 3: 检查淘汰策略，必要时调整
redis-clI CONFIG SET maxmemory-policy allkeys-lru

# Step 4: 查找并清理大 Key
redis-cli --bigkeys
redis-cli UNLINK "big:key:name"   # 异步删除

# Step 5: 分析内存增长原因
redis-cli MEMORY STATS

# Step 1: 快速诊断
redis-cli SLOWLOG GET 10           # 检查慢查询
redis-cli INFO CPU                  # 检查 CPU
redis-clI INFO Stats               # 检查统计
top -p $(pgrep -f redis-server)    # 系统 CPU

# Step 2: 检查是否在持久化
redis-cli INFO Persistence | grep -E "rdb_bgsave_in_progress|aof_rewrite_in_progress"
# 如果是持久化导致 → 等到持久化完成

# Step 3: 检查大 Key
redis-cli --bigkeys

# Step 4: 如果是因为大 Key 阻塞
# 使用 UNLINK 替代 DEL 删除大 key
redis-clI UNLINK "problematic:key"

# Step 5: 降级措施
# 临时关闭持久化（风险操作）
redis-clI CONFIG SET save ""
redis-clI CONFIG SET appendonly no

# Step 1: 检查复制状态
redis-cli INFO replication
# master_link_status:down
# master_last_io_seconds_ago:300

# Step 2: 尝试重连
redis-cli SLAVEOF NO ONE
redis-cli SLAVEOF master-host 6379

# Step 3: 如果重连失败，检查网络
ping master-host
telnet master-host 6379

# Step 4: 检查复制积压缓冲区
# 如果 repl-backlog 太小，增大
redis-clI CONFIG SET repl-backlog-size 512mb

# Step 5: 紧急情况：从库丢失 → 重新全量同步
redis-cli SLAVEOF master-host 6379

# Step 1: 确认状态
redis-cli -p 26379 SENTINEL MASTER mymaster

# Step 2: 临时增大判定时间
redis-cli -p 26379 SENTINEL SET mymaster down-after-milliseconds 60000

# Step 3: 检查网络和负载
# 临时停止非核心服务

# Step 4: 锁定主库地位（紧急情况）
# 在所有哨兵上执行临时禁用
for port in 26379 26380 26381; do
    redis-cli -p $port SENTINEL SET mymaster failover-timeout 99999999
done

# 30 秒内完成基础诊断
redis-cli PING
redis-cli INFO Server | grep uptime_in_seconds
redis-cli INFO Memory | grep -E "used_memory_human|maxmemory_human"
redis-clI INFO Clients | grep connected_clients
redis-clI INFO Stats | grep -E "evicted|rejected"
redis-clI INFO Persistence | grep -E "bgsave|rewrite"
redis-clI INFO Replication | grep master_link_status
redis-clI SLOWLOG GET 5
redis-clI --bigkeys

# 故障复盘模板

## 基本信息
- 时间：2026-05-18 16:00 - 16:30
- 影响范围：订单服务 30 分钟不可用
- 影响程度：P0 级故障

## 故障经过
1. 15:55 - 内存使用飙升至 95%
2. 16:00 - 写入开始报 OOM
3. 16:05 - 订单服务发现不可用
4. 16:10 - 扩容 maxmemory 至 12G
5. 16:15 - 服务恢复
6. 16:20 - 查找内存增长原因
...

## 根因分析
- 缓存未设置过期时间
- 没有监控告警

## 改进措施
- [ ] 所有缓存 key 增加 TTL
- [ ] 配置 80% 内存告警
- [ ] 设置 maxmemory-policy allkeys-lru
- [ ] 每周巡检大 Key