【更新中】Java架构师成长直通车:主从复制高可用Redis集群

Alan

5 年前

分布式阶段的主要内容

分布式缓存中间件 Redis
分布式会话与单点登录
分布式搜索引擎 Elasticsearch
分布式文件系统
分布式消息队列
分布式锁
数据库读写分离与分库分表
数据库表全局唯一主键 id 设计
分布式事务与数据一致性
接口幂等设计与分布式限流

本文主要内容

分布式架构概述
分布式缓存及Redis 简介
安装和使用

分布式架构概述

什么是分布式架构？

不同的业务（功能模块）分散部署在不同的服务器
每个子系统负责一个或多个不同的业务模块
服务之间可以相互交互与通信
分布式系统设计对用户透明
可以发展为集群分布式系统架构

分布式架构优点

业务解耦
系统模块化、可重用化
提升系统并发量
优化运维部署效率

分布式架构缺点

架构复杂
部署多个子系统复杂
系统之间通信耗时
新人带入团队缓慢
调试复杂

设计原则

异步解耦
幂等一致性
拆分原则
融合分布式中间件
容错高可用

LVS+Nginx实现高可用集群中的架构有一个缺点是服务端对数据库的请求并不存在“屏障”，这样数据库在高并发时会承担巨大的压力，而缓存中间件如Redis可以很好地解决这一问题。

Nosql 和分布式缓存

什么是 NoSql？

Not Only Sql
传统项目使用纯数据库
为互联网和大数据而生
水平（横向）扩展方便高效
高性能读取
高可用
存数据、做缓存

NoSql 常见分类

键值对数据库：Redis, Memcache
列存储数据库：Hbase, Cassandra
文档型数据库：MongoDB, CouchDB
图形数据库：Neo4J, FlockDB

分布式缓存及Redis 简介

什么是分布式缓存？

提升读取速度性能
分布式计算领域
为数据库降低查询压力
跨服务器缓存
内存式缓存

什么是Redis？

NoSql
分布式缓存中间件
key-value 存储
提供海量数据存储访问
数据存储在内存里，读取更快
非关系型、分布式、开源、水平扩展

缓存方案对比

Ehcache

优点：

基于 Java 开发
基于 JVM 缓存
简单、轻巧、方便

缺点：

集群不支持
分布式不支持

Memcache

优点：

简单的 key-value 存储
内存使用比较高
多核处理、多线程

缺点：

无法容灾
无法持久化

Redis

优点：

丰富的数据结构
持久化
主从同步、故障转移
内存数据库

缺点：

单线程
单核

安装和使用

安装

下载地址：https://redis.io/

wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar -zxvf redis-5.0.7.tar.gz
cd redis-5.0.7/
yum install gcc-c++ -y
make && make install
cp utils/redis_init_script /etc/init.d/
mkdir /usr/local/redis
cp redis.conf /usr/local/redis/
cd /usr/local/redis/
mkdir persistent # 目录名可自定义

vi redis.conf
# 修改配置
daemonize yes
dir /usr/local/redis/persistent
bind 0.0.0.0    # 可在本地之外访问
requirepass passwd_xxx # 密码
# 修改相应行命令添加所设置密码，用于执行 stop 命令
$CLIEXEC -a passwd_xxx -p $REDISPORT shutdown

cd /etc/init.d/
vi redis_init_script
CONF="/usr//local/redis/redis.conf"

# 启动服务
./redis_init_script start
# 开机自启动
chkconfig redis_init_script on

wget http://download.redis.io/releases/redis-5.0.7.tar.gz

tar -zxvf redis-5.0.7.tar.gz

cd redis-5.0.7/

yum install gcc-c++ -y

make && make install

cp utils/redis_init_script /etc/init.d/

mkdir /usr/local/redis

cp redis.conf /usr/local/redis/

cd /usr/local/redis/

mkdir persistent # 目录名可自定义

vi redis.conf

# 修改配置

daemonize yes

dir /usr/local/redis/persistent

bind 0.0.0.0 # 可在本地之外访问

requirepass passwd_xxx # 密码

# 修改相应行命令添加所设置密码，用于执行 stop 命令

$CLIEXEC -a passwd_xxx -p $REDISPORT shutdown

cd /etc/init.d/

vi redis_init_script

CONF="/usr//local/redis/redis.conf"

# 启动服务

./redis_init_script start

# 开机自启动

chkconfig redis_init_script on

客户端使用

redis-cli # 进入客户端

auth passwd_xxx # requirepass后所设置的密码
set name alanhou # 设置键值
get name # 获取所设置的值
del name # 删除name
# Ctrl + C 或输入 exit退出 
/etc/init.d/redis_init_script stop # 停止服务
redis-cli -a passwd ping # 查看服务是否存活

redis-cli # 进入客户端

auth passwd_xxx # requirepass后所设置的密码

set name alanhou # 设置键值

get name # 获取所设置的值

del name # 删除name

# Ctrl + C 或输入 exit退出

/etc/init.d/redis_init_script stop # 停止服务

redis-cli -a passwd ping # 查看服务是否存活

Redis 的数据类型

注：方括号中为可选项

默认类型为string

KEYS * # 查看当前所有的键
KEYS a* # 查看所有以 a 开始的键
KEYS *e # 查看所有以 e 结束的键
TYPE value1 # 查看指定键的类型
SETNX key1 value1 # 在键不存在时设置值，存在则不设置
TTL value1 # 查看键的过期时间，-1表示无限久，-2表示过期
EXPIRE key1 xxx # 设置过期时间，xxx 为多少秒
SET key1 value1 ex xxx # 在设置值时设置过期时间，xxx 为多少秒
APPEND key1 value2 # 拼接
STRLEN key1 # 查看长度

SET key1 value1 # value1为数值
INCR key1 # 累加
DECR key1 # 递减
INCRBY key1 value2 # 以数值 value2累加
DECRBY key1 value2 # 以数值 value2递减

GETRANGE key1 start end # 以下标start 和 end 截取 key1的值
SETRANGE key1 offset value2 # 从下标 offset 开始以 value2替换原值

MSET key1 value1 key2 value2... # 设置多个键值对
MGET key1 key2... # 获取多个键的值
MSETNX  key1 value1 key2 value2... # 设置多个键值对（对已存在的不重复设置）

SELECT index # index为0到15之间的值，因为 Redis 默认有16个库，可在这些库之间进行切换，在配置文件中有相关配置，默认使用的为0号库
FLUSHDB # 清除当前库的所有内容
FLUSHALL # 清除所有库的内容

KEYS * # 查看当前所有的键

KEYS a* # 查看所有以 a 开始的键

KEYS *e # 查看所有以 e 结束的键

TYPE value1 # 查看指定键的类型

SETNX key1 value1 # 在键不存在时设置值，存在则不设置

TTL value1 # 查看键的过期时间，-1表示无限久，-2表示过期

EXPIRE key1 xxx # 设置过期时间，xxx 为多少秒

SET key1 value1 ex xxx # 在设置值时设置过期时间，xxx 为多少秒

APPEND key1 value2 # 拼接

STRLEN key1 # 查看长度

SET key1 value1 # value1为数值

INCR key1 # 累加

DECR key1 # 递减

INCRBY key1 value2 # 以数值 value2累加

DECRBY key1 value2 # 以数值 value2递减

GETRANGE key1 start end # 以下标start 和 end 截取 key1的值

SETRANGE key1 offset value2 # 从下标 offset 开始以 value2替换原值

MSET key1 value1 key2 value2... # 设置多个键值对

MGET key1 key2... # 获取多个键的值

MSETNX key1 value1 key2 value2... # 设置多个键值对（对已存在的不重复设置）

SELECT index # index为0到15之间的值，因为 Redis 默认有16个库，可在这些库之间进行切换，在配置文件中有相关配置，默认使用的为0号库

FLUSHDB # 清除当前库的所有内容

FLUSHALL # 清除所有库的内容

hash

HSET key field1 value1 # 设置字段值，当前测试也可像 HMSET 那样设置多个字段值，key 为所设置的对象名称
HGET key field # 获取字段值
HMSET key field1 value1 field2 value2... # 设置多个字段值
HMGET key field1 field2... # 获取多个字段值
HGETALL key # 获取 key 中的所有字段值
HLEN key # 包含的字段数
HKEYS key # 打印 key 中的所有字段
HVALS key # 打印 key中的所有值
HINCRBY key field1 value2 # 对field1进行数值 value2的累加
HINCRBYFLOAT key field1 value2 # 对field1进行浮点值 value2的累加
HEXISTS key field1 # 查看字段是否存在
HDEL key  field1 # 删除字段

HSET key field1 value1 # 设置字段值，当前测试也可像 HMSET 那样设置多个字段值，key 为所设置的对象名称

HGET key field # 获取字段值

HMSET key field1 value1 field2 value2... # 设置多个字段值

HMGET key field1 field2... # 获取多个字段值

HGETALL key # 获取 key 中的所有字段值

HLEN key # 包含的字段数

HKEYS key # 打印 key 中的所有字段

HVALS key # 打印 key中的所有值

HINCRBY key field1 value2 # 对field1进行数值 value2的累加

HINCRBYFLOAT key field1 value2 # 对field1进行浮点值 value2的累加

HEXISTS key field1 # 查看字段是否存在

HDEL key field1 # 删除字段

list

LPUSH list1 value1 value2... # 从 list1左侧开始插入元素，不存在则创建一个 list
LRANGE list1 0 -1 # 查看 list1中的所有元素，也可指定相应下标
RPUSH list2 value1 value2... # 从 list2右侧开始插入元素，不存在则创建一个 list
LPOP list1 # 从左侧开始取出值，取出后从list中删除
RPOP list1 # 从右侧开始取出值，取出后从list中删除
LLEN list1
LINDEX list1 2 # 下标为2的元素
LSET list1 index value # 将下标为 index 的值替换为 value
LINSERT list1 BEFORE value1 value # 在 value1之前插入值 value，与 BEFORE 对应的是 AFTER
LREM list1 count value # 删除 count 个值为 value 的元素
LTRIM list1 start stop # 截取下标为 start 和 stop 之间的元素并替换 list1

LPUSH list1 value1 value2... # 从 list1左侧开始插入元素，不存在则创建一个 list

LRANGE list1 0 -1 # 查看 list1中的所有元素，也可指定相应下标

RPUSH list2 value1 value2... # 从 list2右侧开始插入元素，不存在则创建一个 list

LPOP list1 # 从左侧开始取出值，取出后从list中删除

RPOP list1 # 从右侧开始取出值，取出后从list中删除

LLEN list1

LINDEX list1 2 # 下标为2的元素

LSET list1 index value # 将下标为 index 的值替换为 value

LINSERT list1 BEFORE value1 value # 在 value1之前插入值 value，与 BEFORE 对应的是 AFTER

LREM list1 count value # 删除 count 个值为 value 的元素

LTRIM list1 start stop # 截取下标为 start 和 stop 之间的元素并替换 list1

set

set会进行去重操作

SADD set1 value1 value2... # 创建或添加元素
SMEMBERS set1 # 查看元素
SCARD set1 # 查看有多少个元素
SISMEMBER set1 value1 # 判断set1中是否存在 value1元素
SREM set1 value1 ... # 删除元素
SPOP set1 [count] # 随机删除 count 个元素，不指定 count 默认为1个
SRANDMEMBER set1 [count] # 随机取 count 个元素，不指定 count 默认为1个
SMOVE set1 set2 value1 # 将 set1中的元素 value1移动到 set2中
SDIFF set1 set2 # set1中包含但 set2中不包含的元素（差集）
SINTER set1 set2 # set1和 set2中共同包含的元素（交集）
SUNION set1 set2 # set1及 set2中包含的元素（并集）

SADD set1 value1 value2... # 创建或添加元素

SMEMBERS set1 # 查看元素

SCARD set1 # 查看有多少个元素

SISMEMBER set1 value1 # 判断set1中是否存在 value1元素

SREM set1 value1 ... # 删除元素

SPOP set1 [count] # 随机删除 count 个元素，不指定 count 默认为1个

SRANDMEMBER set1 [count] # 随机取 count 个元素，不指定 count 默认为1个

SMOVE set1 set2 value1 # 将 set1中的元素 value1移动到 set2中

SDIFF set1 set2 # set1中包含但 set2中不包含的元素（差集）

SINTER set1 set2 # set1和 set2中共同包含的元素（交集）

SUNION set1 set2 # set1及 set2中包含的元素（并集）

zset

有序 set

ZADD zset1 score1 value1 score2 value2... # 创建或添加zset，scorex为分值
ZRANGE zset1 0 -1 [WITHSCORES] # 指定开始和结束下标显示 zset1中的值, 0 -1表示显示所有值
ZRANK zset1 value1 # 查看指定值的下标
ZSCORE zset1 value1 # 查看指定值的分数
ZCARD zset1 # 查看元素总数
ZCOUNT zset1 min max # min和max为所指定的分值，最终显示在这两个分数（含）间的元素个数，若要不包含 min 或 max，只需在前面加括号即可，如(20，下同
ZRANGEBYSCORE zset1 min max [WITHSCORES] [LIMIT offset count] # 显示 min和 max 分值之间的元素（及分数）
ZREM zset1 value1... # 删除指定的一个或多个元素

ZADD zset1 score1 value1 score2 value2... # 创建或添加zset，scorex为分值

ZRANGE zset1 0 -1 [WITHSCORES] # 指定开始和结束下标显示 zset1中的值, 0 -1表示显示所有值

ZRANK zset1 value1 # 查看指定值的下标

ZSCORE zset1 value1 # 查看指定值的分数

ZCARD zset1 # 查看元素总数

ZCOUNT zset1 min max # min和max为所指定的分值，最终显示在这两个分数（含）间的元素个数，若要不包含 min 或 max，只需在前面加括号即可，如(20，下同

ZRANGEBYSCORE zset1 min max [WITHSCORES] [LIMIT offset count] # 显示 min和 max 分值之间的元素（及分数）

ZREM zset1 value1... # 删除指定的一个或多个元素

完整命令参考：官方文档或中文翻译

常见问题

1、(error) MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist o

config set stop-writes-on-bgsave-error no

1	config set stop-writes-on-bgsave-error no