高可用,高并发需求一直以来都是备受关注的话题,下面以etl-engine为例说明ETL工具如何实现高可用。
使用场景
为解决高可用场景,etl-crontab提供向consul进行服务注册,第三方系统可通过从consul进行服务发现来获取etl-crontab所提供的服务地址。
前置条件
- 因etl-engine与etl-crontab所涉及的配置文件均以XML文件形式进行存储,所以需要将上述两种配置文件存储在数据中心的共享目录下,并将该目录读写权限赋予给etl-engine和etl-crontab使用。
- etl-engine和etl-crontab均可进行多实例运行,etl-crontab启动后自动向consul进行服务注册以供第三方系统使用。
文件服务器
- Windows为目录服务器,共享文件目录给Linux
Windows配置目录共享,Linux配置CIFS服务
Linux文件路径样本
/sharedir/sample.grf - Windows为目录服务器,共享文件目录给Windows
Windows配置目录共享
Windows文件路径样本
//192.168.31.19/sharedir/sample.grf - Linux为目录服务器,共享文件目录给Window
Linux配置samba服务实现目录共享
Windows文件路径样本
//192.168.31.19/sharedir/sample.grf - Linux为目录服务器,共享文件目录给Linux
Linux配置NFS服务实现目录共享
Linux文件路径样本
/sharedir/sample.grf
以上方案根据实际使用场景进行配置。
consul服务
https://developer.hashicorp.c...
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。