将MySQL数据高效导入Redis

目录

1. RESP 协议

（1）RESP 协议的优点

（2）RESP 支持的 5 种数据类型

（3）RESP 的用途

（4）RESP 协议示例

2. redis-cli 的 pipe 模式

（1）pipe 模式的作用

（2）pipe 模式的使用场景

（3）pipe 模式的使用方法

（4）pipe 模式的输出

（5）pipe 模式的优点

3. 生成测试数据

4. 使用 SQL 构造导入文件

5. 编写脚本导入 Redis

参考：

---

1. RESP 协议

        RESP（REdis Serialization Protocol）是 Redis 的通信协议，用于客户端和服务器之间的数据传输。它简单、高效，支持多种数据类型。

（1）RESP 协议的优点 高效：RESP 是二进制安全的，支持高效的数据传输。简单：格式简单，易于实现和解析。灵活：支持多种数据类型，适用于各种场景。 （2）RESP 支持的 5 种数据类型 简单字符串

格式：+<字符串>\r\n 示例：+OK\r\n（表示字符串 OK）

错误

格式：-<错误信息>\r\n 示例：-ERR unknown command\r\n（表示错误信息）

整数

格式：:<整数>\r\n 示例：:1000\r\n（表示整数 1000）

批量字符串

格式：$<长度>\r\n<数据>\r\n 示例：$6\r\nfoobar\r\n（表示字符串 foobar）

数组

格式：*<元素数量>\r\n<元素1><元素2>...<元素N> 示例：*2\r\n$3\r\nfoo\r\n$3\r\nbar\r\n（表示数组 ["foo", "bar"]）

（3）RESP 的用途 Redis 客户端与服务器通信：客户端发送命令，服务器返回响应。数据导入导出：用于 Redis 的数据备份和恢复。主从复制：主节点通过 RESP 协议将数据同步到从节点。 （4）RESP 协议示例

        客户端发送一个 SET 命令：

*3\r\n$3\r\nSET\r\n$5\r\nmykey\r\n$7\r\nmyvalue\r\n

        解析：

*3：表示一个包含 3 个元素的数组。$3\r\nSET\r\n：第一个元素是字符串 SET，长度为 3。$5\r\nmykey\r\n：第二个元素是字符串 mykey，长度为 5。$7\r\nmyvalue\r\n：第三个元素是字符串 myvalue，长度为 7。

        服务器返回一个成功响应：

+OK\r\n

        服务器返回一个错误响应：

-ERR unknown command\r\n 2. redis-cli 的 pipe 模式

        redis-cli 的 --pipe 模式是一种高效批量处理数据的功能，特别适合处理大规模数据。

（1）pipe 模式的作用 高效批量处理：一次性发送大量命令或数据到 Redis 服务器，减少网络往返时间（RTT，Round-Trip Time），提升性能。减少开销：Redis 服务器会批量处理接收到的命令，减少每条命令的解析和响应开销。 （2）pipe 模式的使用场景 大规模数据导入：适合导入数百万甚至数千万条数据。数据迁移：将数据从一个 Redis 实例迁移到另一个实例。批量命令执行：批量执行大量 Redis 命令（如 SET、INCR 等）。 （3）pipe 模式的使用方法 命令格式：将 Redis 命令写入文件，每行一个命令。如示例文件 f1： SET key1 value1 SET key2 value2 INCR counter

RESP 格式：将 RESP 协议格式的数据写入文件。如示例文件 f2： *3\r\n$3\r\nSET\r\n$4\r\nkey1\r\n$6\r\nvalue1\r\n *3\r\n$3\r\nSET\r\n$4\r\nkey2\r\n$6\r\nvalue2\r\n

通过 pipe 导入数据：使用 cat 命令将文件内容通过管道传递给 redis-cli --pipe，例如： cat f1 | redis-cli --pipe cat f2 | redis-cli --pipe

（4）pipe 模式的输出

        导入完成后，redis-cli 会显示统计信息，例如：

All data transferred. Waiting for the last reply... Last reply received from server. errors: 0, replies: 1000

        errors 是错误数量，replies 是成功执行的命令数量。

（5）pipe 模式的优点 高性能：批量发送数据，减少网络和解析开销。简单易用：只需将数据写入文件并通过管道传递即可。支持多种格式：支持命令格式和 RESP 格式。 3. 生成测试数据 use test; create table t_book (id int, name varchar(50), descrition varchar(50)); drop procedure if exists sp_insert; delimiter // create procedure sp_insert(cnt int) begin declare s int default 1; set session autocommit=0; insert into t_book select s, concat('book',s), concat('book_description',s); while s<=cnt do insert into t_book select n, concat('book',n), concat('book_description',n) from (select id+s n from t_book where id+s <=cnt) t; set s=s*2; end while; commit; end; // delimiter ; call sp_insert(1000000); 4. 使用 SQL 构造导入文件

        将下面这个构造 RESP 内容的查询语句保存到文件 RESP.sql

select concat("*4\r\n","$",length(redis_cmd),"\r\n",redis_cmd,"\r\n","$",length(redis_key),"\r\n",redis_key,"\r\n","$",length(hkey),"\r\n",hkey,"\r\n","$",length(hval),"\r\n",hval,"\r")   from (select "hset" as redis_cmd, id as redis_key, name as hkey, descrition as hval           from t_book) as t; 5. 编写脚本导入 Redis

        一百万数据，命令格式文件的数据导入用时 4 秒，RESP 格式文件的数据导入用时 3 秒：

# date;mysql -uroot -p123456 -h127.0.0.1 -P3306 -Dtest --default-character-set=utf8mb4 --skip-column-names --raw -e "select concat('hset ',id,' ',name,' ',descrition) from t_book" | \ > redis-cli -p 6379 -a 123456 --pipe;date; Tue Mar 4 16:33:51 CST 2025 mysql: [Warning] Using a password on the command line interface can be insecure. Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. All data transferred. Waiting for the last reply... Last reply received from server. errors: 0, replies: 1000000 Tue Mar 4 16:33:55 CST 2025 # # redis-cli -p 6379 -a 123456 flushdb Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. OK # # date;mysql -uroot -p123456 -h127.0.0.1 -P3306 -Dtest --default-character-set=utf8mb4 --skip-column-names --raw < RESP.sql | \ > redis-cli -p 6379 -a 123456 --pipe;date; Tue Mar 4 16:34:19 CST 2025 Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. mysql: [Warning] Using a password on the command line interface can be insecure. All data transferred. Waiting for the last reply... Last reply received from server. errors: 0, replies: 1000000 Tue Mar 4 16:34:22 CST 2025 # 参考：

MySQL百万级数据高效导入Redis