5-1-2 Redis底层结构和缓存原理 - Go语言中文社区

5-1-2 Redis底层结构和缓存原理


一、Redis 的 介绍

1.1 Redis简介

Redis是一个Key-Value的存储系统,使用ANSI C语言编写。

key的类型是字符串。

value的数据类型有:
常用的:string字符串类型、list列表类型、set集合类型、sortedset(zset)有序集合类型、hash类
型。

不常见的:bitmap位图类型、geo地理位置类型。

Redis5.0新增一种:stream类型

注意:Redis中命令是忽略大小写,(set SET),key是不忽略大小写的 (NAME name)

1.2 Redis的Key的设计

  1. 用:分割
  2. 把表名转换为key前缀, 比如: user:
  3. 第二段放置主键值
  4. 第三段放置列名

比如:用户表user, 转换为redis的key-value存储

useridusernamepasswordemail
9zhangf111111zhangf@lagou.com

username 的 key: user:9:username
{userid:9,username:zhangf}
email的key user:9:email
表示明确:看key知道意思
不易被覆盖

1.3、Redis常用数据类型

删除key : del key

1.3.1 string字符串类型

Redis的String能表达3种值的类型:字符串、整数、浮点数 100.01 是个六位的串

常见操作命令如下表:

命令名称命令格式命令描述
setset key value赋值
getget key取值
getsetgetset key value取值并赋值
setnxsetnxkey value当value 不存在是采用赋值,set key value NX PX 3000 原子操作,px 设置毫秒值
appendappead key value向尾部追加值
strlenstrlen key获取字符串长度
incrincr key递增数字
incrbyincrby key increment增加指定的整数
decrdecr key递减数字
decrbydecrby key decrement减少指定的整数

应用场景:

1、key和命令是字符串
2、普通的赋值
3、incr用于乐观锁 incr:递增数字,可用于实现乐观锁 watch(事务)
4、setnx用于分布式锁 当value不存在时采用赋值,可用于实现分布式锁

举例:
setnx:

127.0.0.1:6379> setnx name zhangf #如果name不存在赋值 
(integer) 1 
127.0.0.1:6379> setnx name zhaoyun #再次赋值失败
 (integer) 0
 127.0.0.1:6379> get name "zhangf"

1.3.2、list列表类型

list列表类型可以存储有序、可重复的元素
获取头部或尾部附近的记录是极快的
list的元素个数最多为2^32-1个(40亿)
常见操作命令如下表:

命令名称命令格式命令描述
lpushlpush key v1 v2 v3从左侧插入列表
lpoplpop key从列表左侧取出
rpushrpush key v1 v2 v3从右侧插入列表
rpoprpop key从列表右侧取出
lpushxlpushx key value将值插入到列表头部
rpushxrpush key value将值插入到列表尾部
blpopblpop key timeout从列表左侧取出,当列表为空时阻塞,可以设置最大阻塞时间,单位为秒
brpopbrpop key timeout从列表右侧取出,当列表为空时阻塞,可以设置最大阻塞时间,单位为秒
llenllen key获取列表中元素个数
lindexlindex key index获得列表中下标为index的元素 index从0开始
lrangelrange key start end返回列表中指定区间的元素,区间通过start和end指定
lremlrem key count value删除列表中与value相等的元素。当count>0时, lrem会从列表左边开始遍历,然后删除;当count<0时,lrem会从列表后边开始遍历,然后删除;当count=0时, lrem删除所有值为value的元素
lsetlset key index value将列表index 位置的元素设置成value 的值
ltrimltrim key index value对列表进行修剪,只保留start到end区间
rpoplpushrpoplpush key1 key2从key1列表右侧弹出并插入到key2列表左侧,只会取一个值
brpoplpushbrpoplpush从key1列表右侧弹出并插入到key2列表左侧,会阻塞
linsertlinsert key BEFORE/AFTER pivot value将value插入到列表,且位于值pivot之前或之后

应用场景:
1、作为栈或队列使用 :列表有序可以作为栈和队列使用
2、可用于各种列表,比如用户列表、商品列表、评论列表等。

1.3.3 set集合类型

Set:无序、唯一元素
集合中最大的成员数为 2^32 - 1
常见操作命令如下表:

命令名称命令格式命令描述
saddsadd key mem1 mem2 …为集合添加新成员
sremsrem key mem1 mem2 …删除集合中指定成员
smemberssmembers key获得集合中所有元素
spopspop key返回集合中一个随机元素,并将该元素删除
srandmembersrandmember key返回集合中一个随机元素,不会删除该元素
scardscard key获得集合中元素的数量
sismembersismember key member判断元素是否在集合内
sintersinter key1 key2 key3求多集合的交集
sdiffsdiff key1 key2 key3求多集合的差集
sunionsunion key1 key2 key3求多集合的并集

应用场景:
适用于不能重复的且不需要顺序的数据结构
比如:关注的用户,还可以通过spop进行随机抽奖

1.3.4 sortedset有序集合类型

SortedSet(ZSet) 有序集合: 元素本身是无序不重复的
每个元素关联一个分数(score)
可按分数排序,分数可重复
常见操作命令如下表:

命令名称命令格式描述
zaddzadd key score1 member1 score1 member2为有序集合添加新成员
zremzrem key mem1 mem2删除有序集合中指定成员
zcardzcard key获的有序集合中的元素数量
zcountzcount key min max返回集合中score值在[min,max]区间的元素数量
zincrbyzincrby key increment member在集合的member分值上加increment
zscorezscore key member获得集合中member的分值
zrankzrank key member获得集合中member的排名(按分值从小到大)
zrevrankzrevrank key member获得集合中member的排名(按分值从大到小)
zrangezrange key start end获得集合中指定区间成员,按分数递增排序
zrevrangezrevrange key start end获得集合中指定区间成员,按分数递减排序

应用场景:
由于可以按照分值排序,所以适用于各种排行榜。比如:点击排行榜,限量排行榜,关注排行榜

1.3.5 hash类型(散列表)

Redis hash 是一个 string 类型的 field 和 value 的映射表,它提供了字段和字段值的映射。
每个 hash 可以存储 2^32 - 1 键值对(40多亿)。

在这里插入图片描述
常见操作命令如下表:

命令名称命令格式描述
hsethset key field value赋值,不区别新增或修改
hmsethmset key field1 value1 field2 value2批量赋值
hsetnxhsetnx key field value赋值,如果filed存在则不操作
hexistshexists key filed查看某个field是否存在
hgethget key field赋值,不区别新增或修改
hmgethmget key field1 field2 …获取多个字段值
hgetallhgetall key获取该key的所有值
hdelhdel key field1 field2…删除指定字段
hincrbyhincrby key field increment指定字段自增increment
hlenhlen key获得字段数量

应用场景:
对象的存储 ,表数据的映射

1.4、Redis不常用数据类型

1.4.1 bitmap位图类型

bitmap是进行位操作的

通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身。

bitmap本身会极大的节省储存空间

常见操作命令如下表:

命令名称命令格式描述
setbitsetbit key offset value设置key 在offset 处的bit值(只能是0或者1)
getbitgetbit key offset获得key 在offset 出的bit 值
bitcountbitcount key获得key 的bit位为1的个数
bitposbitpos key value返回第一个被设置为bit值的索引值
bitopbitop and[or/xor/not] destkey key[key …]对多个key 进行逻辑运算后存入destkey中

应用场景:
1、用户每月签到,用户id为key , 日期作为偏移量 1表示签到
2、统计活跃用户, 日期为key,用户id为偏移量 1表示活跃
3、查询用户在线状态, 日期为key,用户id为偏移量 1表示在线

举例:

127.0.0.1:6379> setbit user:sign:1000 20200101 1 #id为1000的用户20200101签到
(integer) 0 
127.0.0.1:6379> setbit user:sign:1000 20200103 1 #id为1000的用户20200103签到 
(integer) 0 
127.0.0.1:6379> getbit user:sign:1000 20200101 #获得id为1000的用户20200101签到状态 1 表示签到 
(integer) 1 
 127.0.0.1:6379> getbit user:sign:1000 20200102 #获得id为1000的用户20200102签到状态 0表示未签到
 (integer) 0

127.0.0.1:6379> bitcount user:sign:1000 # 获得id为1000的用户签到次数 
(integer) 2 
127.0.0.1:6379> bitpos user:sign:1000 1 #id为1000的用户第一次签到的日期 
(integer) 20200101 
127.0.0.1:6379> setbit 20200201 1000 1 #20200201的1000号用户上线 
(integer) 0 
127.0.0.1:6379> setbit 20200202 1001 1 #20200202的1000号用户上线 
(integer) 0 
127.0.0.1:6379> setbit 20200201 1002 1 #20200201的1002号用户上线 
(integer) 0 
127.0.0.1:6379> bitcount 20200201 #20200201的上线用户有2个 
(integer) 2 
127.0.0.1:6379> bitop or desk1 20200201 20200202 #合并20200201的用户和20200202上线 了的用户 
(integer) 126 
127.0.0.1:6379> bitcount desk1 #统计20200201和20200202都上线的用 户个数 
(integer) 3

1.4.2 geo地理位置类型

geo是Redis用来处理位置信息的。在Redis3.2中正式使用。主要是利用了Z阶曲线、Base32编码和geohash算法

Z阶曲线
在x轴和y轴上将十进制数转化为二进制数,采用x轴和y轴对应的二进制数依次交叉后得到一个六位数编码。把数字从小到大依次连起来的曲线称为Z阶曲线,Z阶曲线是把多维转换成一维的一种方法。

在这里插入图片描述

Base32编码
Base32这种数据编码机制,主要用来把二进制数据编码成可见的字符串,其编码规则是:任意给定一个二进制数据,以5个位(bit)为一组进行切分(base64以6个位(bit)为一组),对切分而成的每个组进行编码得到1个可见字符。Base32编码表字符集中的字符总数为32个(0-9、b-z去掉a、i、l、o),这也是Base32名字的由来。

在这里插入图片描述
geohash算法
Gustavo在2008年2月上线了geohash.org网站。Geohash是一种地理位置信息编码方法。 经过geohash映射后,地球上任意位置的经纬度坐标可以表示成一个较短的字符串。可以方便的存储在数据库中,附在邮件上,以及方便的使用在其他服务中。以北京的坐标举例,[39.928167,116.389550]可以转换成 wx4g0s8q3jf9 。

Redis中经纬度使用52位的整数进行编码,放进zset中,zset的value元素是key,score是GeoHash的52位整数值。在使用Redis进行Geo查询时,其内部对应的操作其实只是zset(skiplist)的操作。通过zset的score进行排序就可以得到坐标附近的其它元素,通过将score还原成坐标值就可以得到元素的原始坐标。

常见操作命令如下表:

命令名称命令格式描述
geoaddgeoadd key 经度 纬度 成员名称1 经度1 纬度1 成员名称2 经度2 纬度 2 …添加地理坐标
geohashgeohash key 成员名称1 成员名称2…返回标准的geohash串
geoposgeopos key 成员名称1 成员名称2…返回成员经纬度
geodistgeodist key 成员1 成员2 单位计算成员间距离
georadiusbymembergeoradiusbymember key 成员 值单位 count 数asc[desc]根据成员查找附近的成员

应用场景:
1、记录地理位置
2、计算距离
3、查找"附近的人"

举例

#添加用户地址 zhangf、zhaoyun、diaochan的经纬度 
127.0.0.1:6379> geoadd user:addr 116.31 40.05 zhangf 116.38 39.88 zhaoyun 116.47 40.00 diaochan 
(integer) 3
#获得zhangf和diaochan的geohash码
127.0.0.1:6379> geohash user:addr zhangf diaochan  
1) "wx4eydyk5m0" 
2) "wx4gd3fbgs0"

#获得zhaoyun的经纬度
127.0.0.1:6379> geopos user:addr zhaoyun

1) 1) "116.38000041246414185" 
   2) "39.88000114172373145"


#计算zhangf到diaochan的距离,单 位是m
127.0.0.1:6379> geodist user:addr zhangf diaochan
"14718.6972"

#计算zhangf到diaochan的距离, 单位是km
127.0.0.1:6379> geodist user:addr zhangf diaochan km
"14.7187"

127.0.0.1:6379> geodist user:addr zhangf zhaoyun km 
"19.8276" 
127.0.0.1:6379> georadiusbymember user:addr zhangf 20 km withcoord withdist count 3 asc


# 获得距离zhangf20km以内的按由近到远的顺序排出前三名的成员名称、距离及经纬度 
#withcoord : 获得经纬度 withdist:获得距离 withhash:获得geohash码

1) 1) "zhangf" 
   2) "0.0000" 
   3) 1) "116.31000012159347534" 
      2) "40.04999982043828055"


2) 1) "diaochan"
   2) "14.7187"  
   3) 1) "116.46999925374984741" 
      2) "39.99999991084916218"


3) 1) "zhaoyun" 
   2) "19.8276" 
   3) 1) "116.38000041246414185"  
      2) "39.88000114172373145"

1.4.3 stream数据流类型

stream是Redis5.0后新增的数据结构,用于可持久化的消息队列。

几乎满足了消息队列具备的全部内容,包括:

消息ID的序列化生成
消息遍历
消息的阻塞和非阻塞读取
消息的分组消费
未完成消息的处理
消息队列监控

每个Stream都有唯一的名称,它就是Redis的key,首次使用 xadd 指令追加消息时自动创建。
常见操作命令如下表:

命令名称命令格式描述
xaddxadd key id <*> field1 value1…将指定消息数据追加到指定队列(key)中,*表示最新生成的id(当前时间+序列号)
xreadxread [COUNT count] [BLOCK milliseconds] STREAMS key[key …] ID [ID …]从消息队列中读取,COUNT:读取条数,BLOCK:阻塞读(默认不阻塞)key:队列名称 id:消息id
xrangexrange key start end [COUNT]读取队列中给定ID范围的消息 COUNT:返回消息条数(消息id从小到大)
xrevrangexrevrange key start end[COUNT]读取队列中给定ID范围的消息 COUNT:返回消息条数(消息id从大到小)
xdelxdel key id删除队列的消息
xgroupxgroup create key groupnameid创建一个新的消费组
xgroupxgroup destory keygroupname删除指定消费组
xgroupxgroup delconsumer keygroupname cname删除指定消费组中的某个消费者
xgroupxgroup setid key id修改指定消息的最大id
xreadgroupxreadgroup group groupnameconsumer COUNT streams key从队列中的消费组中创建消费者并消费数据(consumer不存在则创建)

应用场景:
消息队列的使用:

127.0.0.1:6379> xadd topic:001 * name zhangfei age 23 
"1591151905088-0" 
127.0.0.1:6379> xadd topic:001 * name zhaoyun age 24 name diaochan age 16 
"1591151912113-0" 
127.0.0.1:6379> xrange topic:001 - +

1) 1) "1591151905088-0" 
    2) 1) "name" 
       2) "zhangfei" 
       3) "age" 
       4) "23" 
2) 1) "1591151912113-0" 
   2) 1) "name" 
      2) "zhaoyun" 
      3) "age" 
      4) "24"
      5) "name" 
      6) "diaochan" 
      7) "age" 
      8) "16" 

127.0.0.1:6379> xread COUNT 1 streams topic:001 0 
1) 1) "topic:001" 
   2) 1) 1) "1591151905088-0" 
         2) 1) "name" 
            2) "zhangfei"  
            3) "age" 
            4) "23"



#创建的group1 
127.0.0.1:6379> xgroup create topic:001 group1 0 
OK

# 创建cus1加入到group1 消费 没有被消费过的消息 消费第一条 
127.0.0.1:6379> xreadgroup group group1 cus1 count 1 streams topic:001 >

1) 1) "topic:001" 
   2) 1) 1) "1591151905088-0" 
      2) 1) "name" 
         2) "zhangfei" 
         3) "age" 
         4) "23"


#继续消费 第二条 
127.0.0.1:6379> xreadgroup group group1 cus1 count 1 streams topic:001 > 
1) 1) "topic:001"
   2) 1) 1) "1591151912113-0" 
         2) 1) "name" 
            2) "zhaoyun" 
            3) "age" 
            4) "24" 
            5) "name" 
            6) "diaochan" 
            7) "age" 
            8) "16"



#没有可消费 
127.0.0.1:6379> xreadgroup group group1 cus1 count 1 streams topic:001 > (nil)

二、代码的演示

2.1 Jedis 的使用

    <dependency>
        <groupId>redis.clients</groupId>
        <artifactId>jedis</artifactId>
        <version>2.9.0</version>
    </dependency>

package com.lagou;

import redis.clients.jedis.Jedis;
public class JedisTest {

    public static void main(String[] args) {
        Jedis jedis = new Jedis("127.0.0.1", 6379,10000);
        jedis.set("name","zhangfei");
        System.out.println(jedis.get("name"));
        jedis.lpush("list1","1","2","3");
        System.out.println(jedis.rpop("list1"));
    }
}

2.2 spring + redis


<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">

    <bean id="propertyConfigurer"
          class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="locations">
            <list>
                <value>classpath:redis.properties</value>
            </list>
        </property>
    </bean>

    <!-- redis config -->
    <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
        <property name="maxActive" value="${redis.pool.maxActive}" />
        <property name="maxIdle" value="${redis.pool.maxIdle}" />
        <property name="maxWait" value="${redis.pool.maxWait}" />
        <property name="testOnBorrow" value="${redis.pool.testOnBorrow}" />
    </bean>

    <bean id="jedisConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">
        <property name="hostName" value="${redis.server}"/>
        <property name="port" value="${redis.port}"/>
        <property name="timeout" value="${redis.timeout}" />
        <property name="poolConfig" ref="jedisPoolConfig" />
    </bean>

    <bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
        <property name="connectionFactory" ref="jedisConnectionFactory"/>
        <property name="KeySerializer">
            <bean class="org.springframework.data.redis.serializer.StringRedisSerializer"></bean>
        </property>
        <property name="ValueSerializer">
            <bean class="org.springframework.data.redis.serializer.StringRedisSerializer"></bean>
        </property>
    </bean>

</beans>

redis.pool.maxActive=100
redis.pool.maxIdle=50
redis.pool.maxWait=1000
redis.pool.testOnBorrow=true

redis.timeout=50000
redis.server=127.0.0.1
redis.port=6379


package com.lagou;

import org.junit.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.AbstractJUnit4SpringContextTests;

@ContextConfiguration("classpath:redis.xml")
public class SpringRedisTest extends AbstractJUnit4SpringContextTests {

    @Autowired
    RedisTemplate<String,String> redisTemplate;

    @Test
    public void testConn(){
    
        redisTemplate.opsForValue().set("name-s","赵云");
        System.out.println(redisTemplate.opsForValue().get("name-s"));
    }
}

2.3 springboot + redis

yml

spring:
  redis:
    host: 127.0.0.1
    port: 6379
    jedis:
      pool:
        min-idle: 0
        max-idle: 8
        max-active: 80
        max-wait: 30000
        timeout: 3000



package com.lagou.springbootredis.config;


import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.StringRedisSerializer;

@Configuration
public class RedisConfig {


    @Autowired
    RedisConnectionFactory factory;


    @Bean
    public RedisTemplate<String,Object> redisTemplate(){
        RedisTemplate<String,Object> redisTemplate=new RedisTemplate<>();

        redisTemplate.setKeySerializer(new StringRedisSerializer());
        redisTemplate.setValueSerializer(new StringRedisSerializer());
        redisTemplate.setHashKeySerializer(new StringRedisSerializer());
        redisTemplate.setHashValueSerializer(new StringRedisSerializer());

        redisTemplate.setConnectionFactory(factory);

        return redisTemplate;
    }



}

package com.lagou.springbootredis.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

import java.util.concurrent.TimeUnit;

@RestController
@RequestMapping(value="/redis")
public class RedisController {
    @Autowired
    RedisTemplate redisTemplate;

    @GetMapping("/put")
    public String put(@RequestParam(required = true) String key,
                      @RequestParam(required = true) String value){
        // 设置数据 20秒过期
        redisTemplate.opsForValue().set(key,value,20, TimeUnit.SECONDS);
                        
版权声明:本文来源CSDN,感谢博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/qq_42082278/article/details/114334994
站方申明:本站部分内容来自社区用户分享,若涉及侵权,请联系站方删除。

0 条评论

请先 登录 后评论

官方社群

GO教程

猜你喜欢