您的位置: 网界网 > 软件 > 正文

Redis数据分片以及扩容

2012年07月22日 08:29:57 | 作者:xiaotianqio | 来源:nosqlfan | 查看本文手机版

摘要:本文介绍了Redis的数据分片以及扩容,作者根据自身的经历给出了具体的Redis切分脚本。

标签
扩容
数据分片
Redis

场景

一开始数据比较少,一台服务器的内存就足够,因此一个Redis 就能满足需求,但是随着业务发展,数据量变大,可能需要在多台服务器上运行多个Redis,所以需要将已有的数据进行分片(避免数据丢失),不同的片交给不同的Redis 服务。如果在一开始就考虑到这个问题,在只有一个Redis时,也将数据存放在Redis的不同db中,当增加Redis时,将dump.rdb中的数据按照db切分为多个文件,每个Redis使用各自的db,通过这种方式来实现无缝的扩展,因此需要有脚本能够切分dump.rdb。

分片方法

我们单服务器的内存是64G,我们估计64* 16G 在很长一段时间内是满足需求的,但是这个数据积累的过程可能比较缓慢,很长一段时间不会超过64G,因此一台Redis 服务器就足够,但是为了考虑到以后的扩展,一开始将数据sharding 到16个db中,也就是说在只有一个Redis时,client每次写数据会先计算key的hash,模16,得到db num,select db,然后写入,也可以为每个db 保持一个client,这样就可以避免每次select db 了。 当需要变更为两个Redis时,为了不丢失数据,需要将原来Redis的数据分为2份,一份是db 0-7,第二份是db 8-15, 用这两个数据启动Redis,就可以实现扩容了(+本站微信networkworldweixin),因此必须要要有脚本能够切分Redis dump 出来的dump.rdb, 下面介绍我们的切分脚本:

1.dump.rdb 结构: head + db 0 + db 1 + … + db n + eof

2.修改Redis,在启动过程中打印出每部分的offset

3.提供一个c 程序,可以将一个大文件按照指定的offset 进行切分

4.将切分出的各个部分进行重新组装

例如我们的例子

1.初始时dump.rdb 的结构: head + db0 + … + db15 + eof

2.得到head 以及每个db的offset

3.切分出head, db0 + … + db7 , db8 + … + db15 三个部分

4.将head ,db0 + … + db7 cat 在一个文件中,并在结尾加上eof,同样,将head , db7 + … + db15 cat在一个文件中,加上eof

5.用上面的两个文件启动Redis,完成数据切分

脚本

切分脚本如下

echo "Usage start-end db"

startdb=$1 #上面的例子start 0

enddb=$2 # end 是 7

outdb="$1-$2.rdb" #输出文件的名字

if [[ ! -f "dump.rdb" ]]; then #使用当前目录下dump.rdb 作为源文件

echo "no dump.rdb,must have"

exit -1

fi

#使用修改过的redis,打印offset,然后退出,使用awk 得到head 的offset

headstart=`/global/share/bin/chenjp/redis-db-offset >& tmp.log ; cat tmp.log | grep offset | grep -v dbid | awk -F '=' '{print $NF}'`

headfile="split-0-$headstart" #head所在文件

/global/share/bin/chenjp/vsplit dump.rdb 0 $headstart #根据offset 切分文件,0- headoffset 为head

dbstartoffset=`cat tmp.log | grep "dbid=$startdb" | awk -F '=|,' '{print $(NF-2)}'` #找到db的offset

dbendoffset=`cat tmp.log | grep "dbid=$enddb" | awk -F '=|,' '{print $(NF-2)}'`

if [[ $dbendoffset -eq "" ]];then

dbendoffset=`ls -l dump.rdb | awk -F ' ' '{print $5}'`

fi

echo "start:"$dbstartoffset":"$dbendoffset

dbfile="split-$dbstartoffset-$dbendoffset"

/global/share/bin/chenjp/vsplit dump.rdb $dbstartoffset $dbendoffset #得到db 文件

cat $headfile $dbfile > $outdb #拼接

printf "\xff" >> $outdb #eof

#rm -rf tmp.log

#rm -rf split-*

echo "file $dbfile ok, containts db $startdb to $enddb, pls mv to dump.rdb to start redis server"

redis-db-offset原理

而上面的redis-db-offset实现也并不困难,只需要在load的时候将各个db开始的offset值打印也来就行了。diff如下:

[chenjp@nb290 redis-2.4.10]$ diff src/rdb.c ../../redis-2.4.10/src/rdb.c

959c959

<

---

> fprintf(stderr,"redis_db head finished,offset=%lld\n",ftell(fp));

982a983,984

>

> long db_start = ftell(fp) - 1;

988a991

> fprintf(stderr,"redis_db select,offset=%lld,dbid=%d\n",db_start,dbid);

[chenjp@nb290 redis-2.4.10]$ diff src/redis.c ../../redis-2.4.10/src/redis.c

1790a1791,1792

>

> //exit(1);

[责任编辑:软件频道 yu_xiang@cnw.com.cn]