SymmetricDS数据同步工具
安装使用说明书
随着大数据产品功能的丰富，以及用户对于大数据的时效性的需求，需要」款能够实现跨数据库，以及同一种数据库跨版本的数据同步工具，同时要能够支撑数据库到Kafka的数据推送。
目前大数据技术组研发了一款yhbi的同步工具，支持从oracle到oracle的同步，以及oracle 到Kafka的同步，但是受限于不能支持oracle12c版本数据的
同步。
OGG也可以实现oracle至ijoracle，以及oracle到其他目标端数据库或者消息队列的同步，但OGG的费用、维护成本较高。
故采用了一款名为SymmetricDS的开源数据库同步工具。
2.简介
SymmetricDS就像其名称一样，是为了实现数据源的对称性"也就是数据同步。
郭碧婷回应恋情SymmetricDS是用于数据库和文件同步的开源软件，支持多主复制、过滤同步和转换。它使用web（HTTP传输）和数据库技术（触发器）将更改数据复制
为预定的或接近实时的操作，并且它还包含了完整数据负载的初始负载特性。该软件的设计目的是针对大量节点，跨低带宽连接工作，并经得起网络中断。
2.1.概述
八大沙漠SymmetricDS的同步原理如下图所示。
节点负责使用HTTP 将来自数据库或文件系统的数据与网络中的其他节点进行同步。节点被分配给作为一个单元配置在一起的节点组之一。节点组与组链接链接在一起，以定义推或拉通信。pull 使一个节点与其他节点连接并请求正在等待的更改，而push 使一个节点在需要发送更改时与其他节点连接。
每个节点都通过使用连接URL 用户名和密码的
Java 数据库连接（JDB 砥区动程序连接到
数据库。虽然节点可以跨广泛的区域网络进行分隔，但是为了获得最佳性能，节点所连接的数据库应该位于局域网络附近。节点使用其数据库连接创建表作为配置设置和运行时操作的数据模型。用户填充配置表以定义同步，运行
时表捕获更改并跟踪活动。要同步的表可以位于连接可访问的任何目录和模式中，而要同步的文件可以位于本地服务器可访问的任何目录中。
在启动时，SymmetricDS 查节点属性文件，并为到的每个文件启动一个节点，这允许多个节点在同一个实例中运行并共享资源。节点的属性文件包含其外部ID 、节点组、注册服务器URL 和数据库连接信息。外部ID 是用于从其他节点识别它的节点的名称。一个节点被配置为存储主配置的注册服务器。当第一次启动节点时，它使用发送外部ID 和节点组的注册进程与注册服务器联系。作为响应，节点接收其配置和节点密码，这些密码必须在与其他节点同步时作为身份验证发送。
2.2. 架构
节点中的每个子系统负责部分数据移动，并通过配置进行控制。数据流经系
统的步骤如下：
3. .捕获到源数据库的运行时表中
HTTPS
<=>
Node
ExternalIO 0
G 『ou 。sen/er
JDBC
<=>
HTTP5
Node
L'ternnrID 1
Gtcupclient ExternalID.2Gro
up client
4..发送到目标节点和成批组的路由
5..提取并转换为输出批处理所需的行、列和值
6..将发出的批处理发送到目标节点
7..在目标节点接收到的批处理
8..转换为进入批处理所需的行、列和值
9..加载数据并向源节点返回确认信息
架构图如下图所示:
湖北省旅游.3. 自动恢复秦始皇灭六国的顺序和时间
数据传送是持久的和低维护，承受停机时间和自动从网络故障恢复。
.3. 安全和高效
通信使用为低带宽网络设计的数据协议，并通过HTTPS 专输加密传输。
Capture
Route Incoming
Transform Load
Sytnm&tficDE
Capture Houle Incoming
Traristorm Load
SymmetricOG
特点
SymmetricDSI
供了丰富的特性集，具有灵活的配置，可用于在具有多个系统的混合
伽罗的历史原型是谁环境中进行大规模部署。
煎鱼的做法#
数据同步
更改关系数据库的数据捕获和文件系统的文件同步可以是周期性的，也可以
是接近实时的，有一个初始负载特性可以完全填充节点。
#
集中管理
从一个可以调查和解决冲突和错误的集中位置配置、监视和故障排除同步。
JDBC
Extract
Dalabase
Transtorm File System
Batch
Outgoing
Outgoing
HTTP/S
Extract TrariSfoTin
FileSyslem
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。
发表评论