1 Star 1 Fork 0

fqlee / canal-client

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

canal-client

项目介绍

canal客户端、解析binlog日志将数据从mysql过渡到rabbitmq和mongodb中

软件架构

软件架构说明

安装教程

  1. 下载最新版本的canal服务端,下载地址 输入图片说明
  2. 解压缩 mkdir /tmp/canal tar zxvf canal.deployer-$version.tar.gz -C /tmp/canal

解压完成后,进入/tmp/canal目录,可以看到如下结构:

drwxr-xr-x 2 jianghang jianghang 136 2013-02-05 21:51 bin drwxr-xr-x 4 jianghang jianghang 160 2013-02-05 21:51 conf drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib drwxr-xr-x 2 jianghang jianghang 48 2013-02-05 21:29 logs

  1. 配置修改

应用参数:

vi conf/example/instance.properties

#################################################
#### mysql serverId
canal.instance.mysql.slaveId = 1234

#################################################
#### mysql serverId
canal.instance.mysql.slaveId = 1234

 **position info,需要改成自己的数据库信息** 
canal.instance.master.address = 127.0.0.1:3306
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =

username/password,需要改成自己的数据库信息

canal.instance.dbUsername = canal

canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8

table regex

canal.instance.filter.regex = .\..

#################################################

说明:

  • 这里是列表文本这里是列表文本canal.instance.connectionCharset 代表数据库的编码方式对应到java中的编码类型,比如UTF-8,GBK , ISO-8859-1
  1. 准备启动

sh bin/startup.sh

  1. 查看日志

vi logs/canal/canal.log

2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

具体instance的日志:

vi logs/example/example.log

2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

使用说明

  1. git clone https://gitee.com/fqlee2018/canal-client.git
  2. 更改配置文件application.properties,修改canal服务端的连接信息和rabbitmq连接信息
  3. 启动CanalClientApplication
  4. 编辑用户表user数据,触发binlog
  5. 查看rabbitmq中是否有对应的队列新增,注意队列名命名为${database}.{table}.{eventType},例如测试的是test库的user表
    插入user数据则队列为 TEST.USER.INSERT
    修改user数据则队列为 TEST.USER.UPDATE
    删除user数据则队列为 TEST.USER.DELETE
  1. 查看mongodb是否有对应的数据

参与贡献

  1. Fork 本项目
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request

空文件

简介

canal客户端、解析binlog日志将数据从mysql过渡到rabbitmq和mongodb中 展开 收起
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/fqlee2018/canal-client.git
git@gitee.com:fqlee2018/canal-client.git
fqlee2018
canal-client
canal-client
master

搜索帮助

14c37bed 8189591 565d56ea 8189591