異質資料庫同步：SymmetricDS

下載套件：SymmetricDS
技術文件：使用手冊
安裝：
- 解壓縮至【SymmetricDS 目錄】如："D:\Java\Symmetric-DS-2.0.6"
- 假設：
  - 欲同步之資料庫為【mySQL】
  - 欲同步之資料庫 Schema 為【emprogria】
  - 欲同步之資料表格為【item】，來源資料庫 → 目的資料庫
  - 來源資料庫服務器為【apollo-desktop】
  - 目的資料庫服務器為【apollo-cluster】
  - 資料庫同步服務器為【本機-apollo】，由獨立服務器執行資料庫同步
- 在【SymmetricDS 目錄】下，建立【同步設定目錄】如："D:\Java\Symmetric-DS-2.0.6\emprogria"
- 複製【SymmetricDS 目錄】下，*.properties 檔案至【同步設定目錄】
測試程式工具：jython
設定：
- 修改 root.properties 如下：
  - db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://apollo-desktop/emprogria db.user=【資料庫帳號】 db.password=【資料庫密碼】 sync.url=http://apollo:38080/sync group.id=sunexternal.id=00000 job.purge.period.time.ms=7200000
- 修改 client.properties 如下：
  - db.driver=com.mysql.jdbc.Driver db.url=jdbc:mysql://apollo-cluster/emprogria db.user=【資料庫帳號】 db.password=【資料庫密碼】 registration.url=http://apollo:38080/sync group.id=earth external.id=1 job.routing.period.time.ms=2000 job.push.period.time.ms=5000 job.pull.period.time.ms=5000 job.purge.period.time.ms=7200000
- 撰寫命令稿如下：
  - 建立同步資料表格【create_emprogria.xml】：
    - <?xml version="1.0"?> <!DOCTYPE database SYSTEM "http://db.apache.org/torque/dtd/database.dtd"> <database name="emprogria"> <table name="item"> <column name="item_id" type="INTEGER" required="true" primaryKey="true" /> <column name="price_id" type="INTEGER" required="true" /> <column name="name" type="VARCHAR" size="100" /> </table> </database>
  - 設定單向同步機制資料【create_nodes_emprogria.sql 】：
    - -- 設定同步節點：來源=sun/目的=earth insert into sym_node_group (node_group_id, description) values ('sun', 'Headquarters:Sun'); insert into sym_node_group (node_group_id, description) values ('earth', 'Branch:Earth'); insert into sym_node_group_link (source_node_group_id, target_node_group_id, data_event_action) values ('earth', 'sun', 'P'); insert into sym_node_group_link (source_node_group_id, target_node_group_id, data_event_action) values ('sun', 'earth', 'W'); insert into sym_node (node_id, node_group_id, external_id, sync_enabled) values ('00000', 'sun', '00000', 1); insert into sym_node_identity values ('00000'); -- Channels insert into sym_channel (channel_id, processing_order, max_batch_size, enabled, description) values('sunshine', 1, 100000, 1, 'Headquarters:Sun => Branch:Earth'); -- Routers insert into sym_router (router_id,source_node_group_id,target_node_group_id,create_time,last_update_time) values('sunshine_identity', 'sun', 'earth', current_timestamp, current_timestamp);
  - 設定同步機制【insert_emprogria.sql】：
    - -- Sample Data insert into item (item_id, price_id, name) values (11000001, 1, 'Yummy Gum'); -- Triggers insert into sym_trigger (trigger_id,source_table_name,channel_id,last_update_time,create_time) values('item','item','sunshine',current_timestamp,current_timestamp); -- Example of a "dead" trigger, which is used to only sync the table during initial load insert into sym_trigger (trigger_id,source_table_name,channel_id, sync_on_insert, sync_on_update, sync_on_delete, last_update_time,create_time) values('item_dead','item','sunshine',0,0,0,current_timestamp,current_timestamp); -- Trigger Router Links insert into sym_trigger_router (trigger_id,router_id,initial_load_order,last_update_time,create_time) values('item','sunshine_identity', 200, current_timestamp, current_timestamp); -- Example of a "dead" trigger, which is used to only sync the table during initial load insert into sym_trigger_router (trigger_id,router_id,initial_load_order,last_update_time,create_time) values('item_dead','sun_identity', 300, current_timestamp, current_timestamp);
  - 設定來源資料庫同步機制【root_init.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p root.properties --run-ddl create_emprogria.xml -v CALL %SYMMETRIC_DS_PATH%\bin\sym -p root.properties --auto-create -v CALL %SYMMETRIC_DS_PATH%\bin\sym -p root.properties --run-sql create_nodes_emprogria.sql -v CALL %SYMMETRIC_DS_PATH%\bin\sym -p root.properties --run-sql insert_emprogria.sql -v
  - 設定目的資料庫同步機制【client_init.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p client.properties --run-ddl create_emprogria.xml -v
  - 首次資料同步【root_init_load.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p %CONFIG_PATH%\root.properties -v --reload-node 1
  - 登錄欲同步節點【root_register.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p %CONFIG_PATH%\root.properties --open-registration "earth,1" -v
  - 啟動來源同步服務【start_root.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p %CONFIG_PATH%\root.properties --port 38080 --server -v
  - 啟動目的同步服務【start_client.bat】：
    - SET SYMMETRIC_DS_PATH=D:\Java\Symmetric-DS-2.0.6 SET CONFIG_PATH=%SYMMETRIC_DS_PATH%\emprogria CALL %SYMMETRIC_DS_PATH%\bin\sym -p %CONFIG_PATH%\client.properties --port 38090 --server -v
- 執行設定順序：
  - 設定目的資料庫同步機制【client_init.bat】
  - 設定來源資料庫同步機制【root_init.bat】
  - 啟動來源同步服務【start_root.bat】
  - 啟動目的同步服務【start_client.bat】
  - 首次資料同步【root_init_load.bat】
測試：
- 撰寫 jython 資料庫設定檔【dbexts.ini】如下：
  - [default] name=apollo [jdbc] name=apollo url=jdbc:mysql://apollo-desktop/emprogria user=【資料庫帳號】 pwd=【資料庫密碼】 driver=com.mysql.jdbc.Driver [jdbc] name=apollo_cluster url=jdbc:mysql://apollo-cluster/emprogria user=【資料庫帳號】 pwd=【資料庫密碼】 driver=com.mysql.jdbc.Driver
- 撰寫測試命令稿【emprogria_check_data.py】如下：
  - import time from dbexts import dbexts class emprogria: confifFile = "dbexts.ini" def __init__(self, confifFile): self.confifFile = confifFile def root_task(self, connName): print "-- root --" root_jdbc = dbexts(connName, self.confifFile) root_jdbc.isql("SELECT * FROM emprogria.item ORDER BY item_id") root_jdbc.isql("UPDATE emprogria.item SET name='" + time.strftime("%Y%m%d%H%M%S") + "' WHERE item_id=104") # root_jdbc.isql("DELETE FROM emprogria.item WHERE item_id=104") # root_jdbc.isql("INSERT INTO emprogria.item (item_id,price_id,name) VALUES (104,1,'" + time.strftime("%Y%m%d%H%M%S") + "')") def client_task(self, connName): print "-- client --" client_jdbc = dbexts(connName, self.confifFile) client_jdbc.isql("SELECT * FROM emprogria.item ORDER BY item_id") if __name__ == "__main__": myObject = emprogria("dbexts.ini") myObject.root_task("apollo_laptop") time.sleep(10) myObject.client_task("apollo_cluster")
- 執行測試：
  - jython emprogria_check_data.py

Page updated

Google Sites

Report abuse