听说会redis的帅哥都拿到了月入过万

2022-07-26,,

   来吧,兄弟们,前几天用redis干了个大数据事件,今天和大家探讨干SpringBoot整合redis,以及redis处理大量数据,不要怂,干就完了。

   一、SpringBoot整合redis:

      1、首先在pom文件中导入redis依赖,用来引入redis的jar包。

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>

      2、在yml文件中配置redis连接,包括redis主机地址,如果本地也可以不写,因为redis中的redis.conf配置文件中是127.0.01(也就是本地);端口号port的设置,默认端口号是6379,如果是6379的话,大家也可以不需要在配置文件中进行配置。配置代码如下所示:

spring:
  redis:
    host: 127.0.0.1
    port: 6379

      3、经过导入redis依赖和配置redis连接,我们到测试类中测试下是否成功连接redis非关系型数据库,大家一定要记得开redis哈,否则这个肯定是连接不上redis的。

	 @Autowired
    //引入官方redisTemplate,这个官方RedisTemplate不太好用,后期我们自己会进行编写,在RedisTemplate中允许我们不使用官方的。
    private RedisTemplate redisTemplate;
    @Test
    public void test3(){
        //获取redis连接
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        //清空数据库中当前库的所有数据,类似在redis客户端中操作FLUSHDB操作
        connection.flushDb();
        
        //这个是操作字符串的set方法
        redisTemplate.opsForValue().set("name","ygl");
        //打印获取的key为name的value值
        System.out.println(redisTemplate.opsForValue().get("name"));

    }

      在控制台成功打印出该key为name的value值。下面给大家展示下在Java中如何像直接在redis客户端中操作redis数据类型:

接下来给大家进去官方RedisTemplate中源码分析下,和不用它的原因。

   二、编写自己RedisTemplae

      将自己的Template设置成<String,Object>类型,且进行序列化,代码如下所示,该config大家也可以在企业中使用。

package com.ygl.config;

import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.annotation.AliasFor;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;

import java.net.UnknownHostException;

/**
 * @author ygl
 * @description
 * @date 2020/10/10 19:45
 */
@Configuration
public class RedisConfig {
    //编写自己的redisTemplate 给该方法起别名,
    @Bean(name = "redisTemplate1")
    @SuppressWarnings("all")
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {
        RedisTemplate<String, Object> template = new RedisTemplate<String, Object>();
        template.setConnectionFactory(factory);
        Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);
        ObjectMapper om = new ObjectMapper();
        om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
        om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
        jackson2JsonRedisSerializer.setObjectMapper(om);
        StringRedisSerializer stringRedisSerializer = new StringRedisSerializer();

        // key采用String的序列化方式
        template.setKeySerializer(stringRedisSerializer);
        // hash的key也采用String的序列化方式
        template.setHashKeySerializer(stringRedisSerializer);
        // value序列化方式采用jackson
        template.setValueSerializer(jackson2JsonRedisSerializer);
        // hash的value序列化方式采用jackson
        template.setHashValueSerializer(jackson2JsonRedisSerializer);
        template.afterPropertiesSet();

        return template;
    }
}

    接下来在自动导入RrdisTemplate时,千万要导成自己的,不要再导入官方Template。

   三、编写redisUntil工具类

        刚刚我们每次操作都需要引入RedisTemplate和每次操作redis时都需要类似redisTemplate.opsForValue().set(“name”,“ygl”); 等等,大家肯定不像类似这样操作,太恶心了吧,年轻人不讲武德 ,接下来我给大家来秀一波,写个工具类,不需要每次都这么恶心操作,工具类代码如下:

package com.kuang.utils;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.CollectionUtils;

import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.TimeUnit;
//@Component作用是将RedisUtil注入Spring容器中,交由Spring管理
@Component
public final class RedisUtil {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    // =============================common============================
    /**
     * 指定缓存失效时间
     * @param key  键
     * @param time 时间(秒)
     */
    public boolean expire(String key, long time) {
        try {
            if (time > 0) {
                redisTemplate.expire(key, time, TimeUnit.SECONDS);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    /**
     * 根据key 获取过期时间
     * @param key 键 不能为null
     * @return 时间(秒) 返回0代表为永久有效
     */
    public long getExpire(String key) {
        return redisTemplate.getExpire(key, TimeUnit.SECONDS);
    }


    /**
     * 判断key是否存在
     * @param key 键
     * @return true 存在 false不存在
     */
    public boolean hasKey(String key) {
        try {
            return redisTemplate.hasKey(key);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 删除缓存
     * @param key 可以传一个值 或多个
     */
    @SuppressWarnings("unchecked")
    public void del(String... key) {
        if (key != null && key.length > 0) {
            if (key.length == 1) {
                redisTemplate.delete(key[0]);
            } else {
                redisTemplate.delete(CollectionUtils.arrayToList(key));
            }
        }
    }


    // ============================String=============================

    /**
     * 普通缓存获取
     * @param key 键
     * @return 值
     */
    public Object get(String key) {
        return key == null ? null : redisTemplate.opsForValue().get(key);
    }

    /**
     * 普通缓存放入
     * @param key   键
     * @param value 值
     * @return true成功 false失败
     */

    public boolean set(String key, Object value) {
        try {
            redisTemplate.opsForValue().set(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 普通缓存放入并设置时间
     * @param key   键
     * @param value 值
     * @param time  时间(秒) time要大于0 如果time小于等于0 将设置无限期
     * @return true成功 false 失败
     */

    public boolean set(String key, Object value, long time) {
        try {
            if (time > 0) {
                redisTemplate.opsForValue().set(key, value, time, TimeUnit.SECONDS);
            } else {
                set(key, value);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 递增
     * @param key   键
     * @param delta 要增加几(大于0)
     */
    public long incr(String key, long delta) {
        if (delta < 0) {
            throw new RuntimeException("递增因子必须大于0");
        }
        return redisTemplate.opsForValue().increment(key, delta);
    }


    /**
     * 递减
     * @param key   键
     * @param delta 要减少几(小于0)
     */
    public long decr(String key, long delta) {
        if (delta < 0) {
            throw new RuntimeException("递减因子必须大于0");
        }
        return redisTemplate.opsForValue().increment(key, -delta);
    }


    // ================================Map=================================

    /**
     * HashGet
     * @param key  键 不能为null
     * @param item 项 不能为null
     */
    public Object hget(String key, String item) {
        return redisTemplate.opsForHash().get(key, item);
    }

    /**
     * 获取hashKey对应的所有键值
     * @param key 键
     * @return 对应的多个键值
     */
    public Map<Object, Object> hmget(String key) {
        return redisTemplate.opsForHash().entries(key);
    }

    /**
     * HashSet
     * @param key 键
     * @param map 对应多个键值
     */
    public boolean hmset(String key, Map<String, Object> map) {
        try {
            redisTemplate.opsForHash().putAll(key, map);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * HashSet 并设置时间
     * @param key  键
     * @param map  对应多个键值
     * @param time 时间(秒)
     * @return true成功 false失败
     */
    public boolean hmset(String key, Map<String, Object> map, long time) {
        try {
            redisTemplate.opsForHash().putAll(key, map);
            if (time > 0) {
                expire(key, time);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 向一张hash表中放入数据,如果不存在将创建
     *
     * @param key   键
     * @param item  项
     * @param value 值
     * @return true 成功 false失败
     */
    public boolean hset(String key, String item, Object value) {
        try {
            redisTemplate.opsForHash().put(key, item, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }

    /**
     * 向一张hash表中放入数据,如果不存在将创建
     *
     * @param key   键
     * @param item  项
     * @param value 值
     * @param time  时间(秒) 注意:如果已存在的hash表有时间,这里将会替换原有的时间
     * @return true 成功 false失败
     */
    public boolean hset(String key, String item, Object value, long time) {
        try {
            redisTemplate.opsForHash().put(key, item, value);
            if (time > 0) {
                expire(key, time);
            }
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 删除hash表中的值
     *
     * @param key  键 不能为null
     * @param item 项 可以使多个 不能为null
     */
    public void hdel(String key, Object... item) {
        redisTemplate.opsForHash().delete(key, item);
    }


    /**
     * 判断hash表中是否有该项的值
     *
     * @param key  键 不能为null
     * @param item 项 不能为null
     * @return true 存在 false不存在
     */
    public boolean hHasKey(String key, String item) {
        return redisTemplate.opsForHash().hasKey(key, item);
    }


    /**
     * hash递增 如果不存在,就会创建一个 并把新增后的值返回
     *
     * @param key  键
     * @param item 项
     * @param by   要增加几(大于0)
     */
    public double hincr(String key, String item, double by) {
        return redisTemplate.opsForHash().increment(key, item, by);
    }


    /**
     * hash递减
     *
     * @param key  键
     * @param item 项
     * @param by   要减少记(小于0)
     */
    public double hdecr(String key, String item, double by) {
        return redisTemplate.opsForHash().increment(key, item, -by);
    }


    // ============================set=============================

    /**
     * 根据key获取Set中的所有值
     * @param key 键
     */
    public Set<Object> sGet(String key) {
        try {
            return redisTemplate.opsForSet().members(key);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 根据value从一个set中查询,是否存在
     *
     * @param key   键
     * @param value 值
     * @return true 存在 false不存在
     */
    public boolean sHasKey(String key, Object value) {
        try {
            return redisTemplate.opsForSet().isMember(key, value);
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 将数据放入set缓存
     *
     * @param key    键
     * @param values 值 可以是多个
     * @return 成功个数
     */
    public long sSet(String key, Object... values) {
        try {
            return redisTemplate.opsForSet().add(key, values);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 将set数据放入缓存
     *
     * @param key    键
     * @param time   时间(秒)
     * @param values 值 可以是多个
     * @return 成功个数
     */
    public long sSetAndTime(String key, long time, Object... values) {
        try {
            Long count = redisTemplate.opsForSet().add(key, values);
            if (time > 0)
                expire(key, time);
            return count;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 获取set缓存的长度
     *
     * @param key 键
     */
    public long sGetSetSize(String key) {
        try {
            return redisTemplate.opsForSet().size(key);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 移除值为value的
     *
     * @param key    键
     * @param values 值 可以是多个
     * @return 移除的个数
     */

    public long setRemove(String key, Object... values) {
        try {
            Long count = redisTemplate.opsForSet().remove(key, values);
            return count;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }

    // ===============================list=================================

    /**
     * 获取list缓存的内容
     *
     * @param key   键
     * @param start 开始
     * @param end   结束 0 到 -1代表所有值
     */
    public List<Object> lGet(String key, long start, long end) {
        try {
            return redisTemplate.opsForList().range(key, start, end);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 获取list缓存的长度
     *
     * @param key 键
     */
    public long lGetListSize(String key) {
        try {
            return redisTemplate.opsForList().size(key);
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }
    }


    /**
     * 通过索引 获取list中的值
     *
     * @param key   键
     * @param index 索引 index>=0时, 0 表头,1 第二个元素,依次类推;index<0时,-1,表尾,-2倒数第二个元素,依次类推
     */
    public Object lGetIndex(String key, long index) {
        try {
            return redisTemplate.opsForList().index(key, index);
        } catch (Exception e) {
            e.printStackTrace();
            return null;
        }
    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     */
    public boolean lSet(String key, Object value) {
        try {
            redisTemplate.opsForList().rightPush(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 将list放入缓存
     * @param key   键
     * @param value 值
     * @param time  时间(秒)
     */
    public boolean lSet(String key, Object value, long time) {
        try {
            redisTemplate.opsForList().rightPush(key, value);
            if (time > 0)
                expire(key, time);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }

    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     * @return
     */
    public boolean lSet(String key, List<Object> value) {
        try {
            redisTemplate.opsForList().rightPushAll(key, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }

    }


    /**
     * 将list放入缓存
     *
     * @param key   键
     * @param value 值
     * @param time  时间(秒)
     * @return
     */
    public boolean lSet(String key, List<Object> value, long time) {
        try {
            redisTemplate.opsForList().rightPushAll(key, value);
            if (time > 0)
                expire(key, time);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 根据索引修改list中的某条数据
     *
     * @param key   键
     * @param index 索引
     * @param value 值
     * @return
     */

    public boolean lUpdateIndex(String key, long index, Object value) {
        try {
            redisTemplate.opsForList().set(key, index, value);
            return true;
        } catch (Exception e) {
            e.printStackTrace();
            return false;
        }
    }


    /**
     * 移除N个值为value
     *
     * @param key   键
     * @param count 移除多少个
     * @param value 值
     * @return 移除的个数
     */

    public long lRemove(String key, long count, Object value) {
        try {
            Long remove = redisTemplate.opsForList().remove(key, count, value);
            return remove;
        } catch (Exception e) {
            e.printStackTrace();
            return 0;
        }

    }

}

    里面大致放了以下这么多的操作,接下来给大家大概总结下:
       1、缓存失效时间;
       2、五大基本数据类型的基本常用操作;
       3、判断该key值是否存在;
       4、删除缓存;
       5、缓存放入并设置失效时间;
       6、递增,每次增加几;递减,每次减几
       7、移除指定value的值等等。
    下面来说下如何使用工具类来直接操作redis,代码如下:

	@Autowired
    private RedisUtil redisUtil;
    @Test
    public void test3(){
        //获取redis连接
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        //清空数据库中当前库的所有数据,类似在redis客户端中操作FLUSHDB操作
        connection.flushDb();
        
        redisUtil.set("age",18);
        System.out.println(redisUtil.get("age"));

        //这个是操作字符串的set方法
        //redisTemplate.opsForValue().set("name","ygl");

        //打印获取的key为name的value值
        //System.out.println(redisTemplate.opsForValue().get("name"));

    }

    自动导入RedisUtil,然后就可以直接进行操作即可。接下来开始讲Oracle数据库大量数据导入redis数据库中且进行模糊查询方法。
    刚刚梳理好数据库中数据如何更快更快的导入redis中和获取,来吧,开干

四:Spring Boot引入Oracle数据库(为了 获取大量数据)

        首先引入SpingBoot整合myBatis依赖(千万不要引错了,否则起不来,这个坑踩过),和Oracle数据库依赖

        <dependency>
            <groupId>com.oracle</groupId>
            <artifactId>ojdbc7</artifactId>
            <version>12.1.0.1</version>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.0</version>
        </dependency>

PS:这个jar包可能下不来,我给大家放到我CSDN资源里了,大家可以下载,地址为:https://download.csdn.net/download/weixin_45150104/13452835
        这里我就不和大家写查询数据库中所有内容的controller、service和mapper层了哈,直接写操作redis的关键,算了,还是写一下吧,直接贴代码,不具体分析: 大家这部分可以不看,直接跳到第五部分写好的优化代码,这里的redis导入和导出只是我做测试分析所使用
        总体架构如下图所示:

        实体类Test1.class如下图所示:

package com.kuang.pojo;

import lombok.Data;

/**
 * @author ygl
 * @description
 * @date 2020/12/1 19:54
 */
@Data
public class Test1 {
    public String name;
    public String address;
}

        controller层如下图所示:

package com.kuang.controller;

import com.kuang.service.RedisService;
import com.kuang.service.TestService;
import com.kuang.utils.RandomUtil;
import com.kuang.utils.RedisUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.*;

/**
 * @author ygl
 * @description
 * @date 2020/12/1 19:15
 */
@RestController
@RequestMapping("/redis")
public class TestController {
    @Autowired
    @Qualifier("redisTemplate")
    private RedisTemplate redisTemplate;

    @Autowired
    private RandomUtil randomUtil;

    @Autowired
    private RedisUtil redisUtil;

    @Autowired
    private TestService testService;

    @Autowired
    private RedisService redisService;

    //存入value中,是hash类型,查询数据库,导入到redis中,采用逐条查询
    @GetMapping("/intoRedis")
    private void intoRedis(){
        testService.start1();
    }
    //将值存入到key中,是set类型,导入到redis中,采用逐条查询
    @GetMapping("/intoRedis2")
    private void intoRedis2(){
        testService.start2();
    }

    @GetMapping("/test")
    private void test(){
        long l = redisUtil.sSet("key01", "1", "2", "3");
        System.out.println("长度:"+l);
        redisUtil.sGet("key01");
        System.out.println();
        
    }

    @GetMapping("/likeByOne")
    private List test1(String pattern){
        Date date1 = new Date();
        //模糊查询
//        Set keys = redisTemplate.keys("*" + pattern + "*");

        //通过外层key拿到下面的对象,外层key一般都是已知的
        Map<String, String> entries = redisTemplate.opsForHash().entries("key01");
        List<String> list = new ArrayList<>();
        List<String> listNew = new ArrayList<>();
        //遍历缓存对象
        for (String value : entries.keySet()) {
            //如果value是对象直接强转对象即可
            String o = (String) entries.get(value);
            //字符串在缓存中取出来有的时候会多出一对双引号,可以debug看一下,把引号去掉
            o = o.replace("\"", "");
            //用假设前端的value和对象下的value相比较,相同则添加到list集合中,然后返回
            if (o.matches(".*"+pattern+".*")){
                System.out.println("值:"+o);
//                String key01 =(String) redisUtil.hget("key01", o);
//                System.out.println("key01:"+key01);
                listNew.add(o);
            }
        }
        System.out.println("总条数:"+list.size());
        Date date2 = new Date();
        System.out.println("结束时间:"+date1);
        System.out.println("结束时间:"+date2);
        return listNew;
    }
    //将值存入到key中进行查询
    @GetMapping("/likeByOne2")
    private Set test2(String pattern){
        Date date1 = new Date();
        //模糊查询
        Set keys = redisTemplate.keys("*" + pattern + "*");
        Date date2 = new Date();
        System.out.println("结束时间:"+date1);
        System.out.println("结束时间:"+date2);
        return keys;
    }
}

    这里在查询到数据库,取到大量数据(47万8千多条),然后进行插入redis和从redis中模糊取得数据,进行了多种对比,我先把这三层写完,最后做详细描述。
    TestService接口:

package com.kuang.service;

import com.kuang.pojo.Test1;

import java.util.List;

/**
 * @author ygl
 * @description
 * @date 2020/12/1 19:51
 */
public interface TestService {
    List<Test1> findAll();
    void start1();
    void start2();
}

    TestService实现类:

package com.kuang.service.impl;

import com.kuang.mapper.TestMapper;
import com.kuang.pojo.Test1;
import com.kuang.service.TestService;
import com.kuang.utils.RandomUtil;
import com.kuang.utils.RedisUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Service;

import java.util.Date;
import java.util.List;

/**
 * @author ygl
 * @description
 * @date 2020/12/1 19:56
 */
@Service
public class TestServiceImpl implements TestService {
    @Autowired
    private TestMapper testMapper;

    @Autowired
    private TestService testService;

    @Autowired
    private RedisTemplate redisTemplate;
    @Autowired
    private RandomUtil randomUtil;
    @Autowired
    private RedisUtil redisUtil;

    @Override
    public List<Test1> findAll() {
        return testMapper.findAll();

    }

    @Override
    //定时任务
    @Scheduled(cron = "0 8 0 1-31 * ? ")
    public void start1() {
        System.out.println("开始、、、、");
        Date date1 = new Date();
        List<Test1> all = testService.findAll();
        //获取redis连接  且将当前库中所有key value删除
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
//        connection.flushDb();
//        String str= JSON.toJSONString(all);
//        redisUtil.hset("key01","10001",str);

        System.out.println("大小:"+all.size());
        for (int i=0;i<all.size();i++){
            Test1 test = all.get(i);
            String s = test.toString();
            String itemID = randomUtil.getItemID(10);
            redisUtil.hset("key01",itemID,s);
        }
        Date date2 = new Date();
        System.out.println("结束时间:"+date1);
        System.out.println("结束时间:"+date2);
    }

    @Override
    //定时任务
    @Scheduled(cron = "0 8 1 1-31 * ? ")
    public void start2() {
        Date date1 = new Date();
        List<Test1> all = testService.findAll();
        //获取redis连接  且将当前库中所有key value删除
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        //connection.flushDb();

        System.out.println("大小:"+all.size());
        for (int i=0;i<all.size();i++){
            Test1 test = all.get(i);
            String s = test.toString();
            redisUtil.set(s,"你好");
        }
        Date date2 = new Date();
        System.out.println("结束时间:"+date1);
        System.out.println("结束时间:"+date2);
    }
}

    TestMapper代码如下图所示:

package com.kuang.mapper;

import com.kuang.pojo.Test1;
import org.apache.ibatis.annotations.Mapper;

import java.util.List;

/**
 * @author ygl
 * @description
 * @date 2020/12/1 19:57
 */
@Mapper
public interface TestMapper {
    List<Test1> findAll();
}

    TestMapper.xml文件如下图所示:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.kuang.mapper.TestMapper">
    <select id="findAll" resultType="com.kuang.pojo.Test1">
        select NAME,ADDRESS
        from TBL_SZ_KJJG_SHOW
    </select>
</mapper>

    配置文件如下图所示:

#reids的IP地址
#spring.redis.host=127.0.0.1
#redis端口号
#spring.redis.port=6379

spring:
  redis:
    host: 127.0.0.1
    port: 6379
  application:
    name: user-service
  datasource:
    driver-class-name: oracle.jdbc.driver.OracleDriver
    url: jdbc:oracle:thin:@192.168.31.203:1521:orcl203  写自己的
    username: root  写自己的
    password: 123456  写自己的
    max-idle: 10
    max-wait: 10000
    min-idle: 5
    initial-size: 5
  servlet:
    multipart:
      max-file-size: 50MB
      max-request-size: 50MB`在这里插入代码片`

mybatis:
  type-aliases-package: com.kuang.pojo
  mapper-locations: classpath:mapper/*.xml

    接下来我给大家分析下上面我所写的 垃圾代码 ,当时为了和各种情况做对比使用:
        1、首先我为了简便,直接存放的数据类型为String类型,因为redisTemplate中有自带的模糊查询(Set keys = redisTemplate.keys("*" + pattern + "*");),这里我就直接将查询出来的值放到key中,效率贼快,在迷糊查询时,当查询出来一万多条时,直接秒出,效率真的是高,但是这不符合常规啊,哪有把数据放在redis中的key里面的,吓唬闹,换吧,所有有了第二种。
PS: 插入的时候,采用的47万多条数据逐条插入,来个for循环,效率特别低,大概用时122秒左右(真实实验数据支撑,包括查询数据库时间)。
        2、第二种放到value中,采用的hash结构,key值就设定一个,item我设置成随机生成的十位字符,value放存放的从数据库中查出内容。大量数据放redis中和第一种一样。这个插入也是采用逐条插入,效率特别特别低,这个47万多条插入,用了121秒左右(包括查询数据库时间),这个我等会给大家分析个牛逼方法。
        3、这个在模糊查询中,采用的是先取出所有的key值,然后把key值放到list集合中,再遍历所有的key值,逐个取出value值,然后和从前端的值去对比,才用方法是(value.matches(". * “+str+”. *")),如何满足就将value放到list集合中然后返回。这种查询出来一万多条符合条件的数据用时9秒左右,效率也是比较低。

    五、放大招,不瞒各位,前面全是垃圾,开始牛逼的批量导入redis和从redis中导出数据:

          开始扔干货,接着哈。刚才上面分享的那种逐条导入和导出数据库真的效率太慢了,无法用语言来形容。昨天晚上就和经常使用redis的同学商量如何批量导入数据和导出数据,他给出的建议是采用管道流(Pipelined),RedisTemplate中有redisTemplate.executePipelined(); 进行管道操作
      批量插入实现代码如下图所示:

@Test
    public void testPipellined(){
        RedisConnection connection = redisTemplate.getConnectionFactory().getConnection();
        connection.flushDb();
        System.out.println("开始查询数据库");
        List<Test1> all = testService.findAll();
        System.out.println("大小:"+all.size());
        System.out.println("开始导入redis");
        long l = System.currentTimeMillis();
//        for (int i = 0;i<all.size();i++){
//            Test1 test1 = all.get(i);
//            String s = JSON.toJSONString(test1);
//            redisUtil.set(("iii"+i),s);
//
//        }
        redisTemplate.executePipelined(new RedisCallback<String>() {
            @Override
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                for (int i = 0; i < all.size(); i++) {
                    Test1 test1 = all.get(i);
                    String s = JSON.toJSONString(test1);
                    connection.set(("pipel:" + i).getBytes(),s.getBytes() );
                }

                return null;
            }
        });
        long l1 = System.currentTimeMillis();
        System.out.println("结束:"+(l1-l));
    }

     这次47万多条数据用时9272毫秒毫秒哈,为了做对比,我又写了个对照组,又写了个普通的for循环逐条插入。这个逐条插入数据用时57766毫秒左右(真实数据支撑哈)
      批量查询实现代码如下图所示:

	@Test
    public void selectPipellined(){
        System.out.println("开始查询");
        long l = System.currentTimeMillis();
        List<String> keys = new ArrayList<>();
        for (int i = 0; i < 478385; i++) {
            keys.add(("pipel:" + i));
            System.out.println("第一次:"+i);
        }
        redisTemplate.executePipelined(new RedisCallback<String>() {
            @Override
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                for (String key : keys) {
                    connection.get(key.getBytes());
                    System.out.println("第二次:"+key);
                }
                System.out.println("大小:"+redisTemplate.keys("*").size());
                return null;
            }
        });
        long l1 = System.currentTimeMillis();

        System.out.println("结束:"+(l1-l));
    }

这里的第一个for循环是为了模拟前端传来的key集合。
好了以上就是批量导入导出,速度贼快。希望能够帮助大家。

    六、redis缓存和数据库一致性问题

         说起redis,那么和数据库一致性问题就没法不谈啊,redis的软肋啊。接下来我和大家分析分析这方面的解决方法和存在的问题:
         1、更新:先更新数据库,然后删除缓存
               读取:先进缓存中进行读取,如果不存在进进数据库中查询,数据库中查询到的话然后再将数据放到redis缓存中。
               问题:当数据库已经更新,缓存中还没有删除,这是过来读取的线程,先直接从缓存中读取到,然后就直接返回,这肯定不行。
         2、更新:先删除缓存,后更新数据库,
               读取:先进缓存中进行读取,如果不存在进进数据库中查询,数据库中查询到的话然后再将数据放到redis缓存中。
               问题:缓存已经删除,数据库还没有更新,这个时候来读取数据,缓存中找不到,然后进数据库中拿取数据,拿到的是未更新的数据,这肯定是脏数据啊,所以这个也不行。
         面对这两种问题,我们可以在写的时候来进行视情况而定
               第一种并发量不高:关于写的时候,先写数据库,然后写redis.
               第二种并发量比较高:关于写的时候,先写redis,然后直接返回,定期或者特定动作的时候将redis中的数据更新至数据库中,可以多次更新,一次保存。
               第三种:可以写个定时任务全部删除redis中数据,然后将数据库中数据重新写入redis中。
               第五种:这个成本可能比较高些,redis和数据库分离,也就是根本不要数据库,所有数据放到缓存redis中,这个方法还是昨天晚上和同学探讨出来的。嘻嘻。

七、补充: json中的json.parseObject()方法和json.tojsonString()方法。

首先引入阿里巴巴的fastjson依赖:

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.62</version>
    <scope>compile</scope>
</dependency>

然后就可以直接使用。
JSON.parseObject,是将Json字符串转化为相应的对象;JSON.toJSONString则是将对象转化为Json字符串。
目前先到此结束吧,后期有新的知识点再进行更新,那些讲的不太明白的小伙伴可以在下面留言讨论,欢迎转发点赞和评论。
让自己变的更强,唯有不断努力,加油,冲啊

本文地址:https://blog.csdn.net/weixin_45150104/article/details/110624466

《听说会redis的帅哥都拿到了月入过万.doc》

下载本文的Word格式文档,以方便收藏与打印。