MySQL数据库同redis以及hbase高速全量,增量同步工具
实现MySQL数据库到Redis,以及HBASE的全量,以及增量同步
程序作为基础组件,在新浪以及微博的数据运维中,其可靠性得到了充分验证
使用方式如下:
一. 编译程序
二. 启动configservice
2. redis官网下载redis随便一个版本, 安装,并运行,得到redis_ip, redis_port,暂不支持rediscluster
3. 进入bus_manager/business目录,修改views.py文件,填入具体的redis_ip, redis_port
4. 然后返回bus_manger目录,执行nohup python manage.py runserver 0.0.0.0:8888 &
三. 配置msg_test模拟业务
四. 编译转换插件并copy到具体位置
五. 建立上游数据库,我们选用的mysql版本为5.5
六. 建立下游数据库,redis数据库版本没有具体要求
七. 根据设定配置,执行命令
这里说的这些对于真正要run起来还是不太够的,我们的思路其实很清晰
关于同步到hbase的问题
关于mysql部署问题
关于同步点的问题
1.同步点我们保存在下游数据库中,如hbase就保存在下游hbase中,需要单独建一个表databus, 保存位置点信息,如
下游是redis,就会直接将位置点存在redis中,这样位置点和数据库放在一个存储中,即使出现了问题,进行了恢复 数据和位置点也会保持一致
No open issues yet, or sync has not completed.