电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
软件简介
ChunJun是一个基于 Flink 提供易用、稳定、高效的批流统一的数据集成工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如binlog，Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。目前ChunJun在实际应用过程中已服务了上百家客户，经过多次迭代与沉淀，积累了大量的客户案例。
ChunJun主要应用于大数据开发平台的数据同步/数据集成模块，通常采用将底层高效的同步插件和界面化的配置方式相结合的方式，使大数据开发人员可简洁、快速的完成数据同步任务开发，实现将业务数据库的数据同步至大数据存储平台，从而进行数据建模开发，以及数据开发完成后，将大数据处理好的结果数据同步至业务的应用数据库，供企业数据业务使用。
Chunjun目前包含下面这些特性：
-
大部分插件支持并发读写数据，可以大幅度提高读写速度；
-
部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复
-
关系数据库的Source插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询
-
可以限制source的读取速度，降低对业务数据库的影响；
-
可以记录sink插件写数据时产生的脏数据；
-
可以限制脏数据的最大数量；
-
支持多种运行模式；
-
同步任务支持执行flinksql语法的transformer操作；
-
sql任务支持和flinkSql自带connectors共用；
Chunjun目前支持下面这些数据库：
| ? | Database Type | Source | Sink | Lookup |
|---|---|---|---|---|
| Batch Synchronization | MySQL | doc | doc | doc |
| ? | TiDB | ? | 参考mysql | 参考mysql |
| ? | Oracle | doc | doc | doc |
| ? | SqlServer | doc | doc | doc |
| ? | PostgreSQL | doc | doc | doc |
| ? | DB2 | doc | doc | doc |
| ? | ClickHouse | doc | doc | doc |
| ? | Greenplum | doc | doc | ? |
| ? | KingBase | doc | doc | ? |
| ? | MongoDB | doc | doc | doc |
| ? | SAP HANA | doc | doc | ? |
| ? | ElasticSearch7 | doc | doc | doc |
| ? | FTP | doc | doc | ? |
| ? | HDFS | doc | doc | ? |
| ? | Stream | doc | doc | ? |
| ? | Redis | ? | doc | doc |
| ? | Hive | ? | doc | ? |
| ? | Hbase | doc | doc | doc |
| ? | Solr | doc | doc | ? |
| ? | File | doc | ? | ? |
| ? | StarRocks | ? | doc | ? |
| Stream Synchronization | Kafka | doc | doc | ? |
| ? | EMQX | doc | doc | ? |
| ? | MySQL Binlog | doc | ? | ? |
| ? | Oracle LogMiner | doc | ? | ? |
| ? | Sqlserver CDC | doc | ? | ? |
?
下载该资料的人也在下载
下载该资料的人还在阅读
更多 >
- Flink学习精要 0次下载
- 工具集成窜口网口MODBUS调试工具免费下载 25次下载
- 环保行业数据计算工具免费下载 4次下载
- 数据分析工具下载 5次下载
- STM8配置工具STM8CubeMX数据手册 14次下载
- 拼版工具 0次下载
- pcb阻抗计算工具
- EDA工具CADENCE原理图与PCB设计说明 58次下载
- 液晶电视升级工具mboot使用及强制升级方法 13次下载
- 蓝牙调试工具BTool v1.40.5资源下载 27次下载
- 基于区块链并行的以太坊数据快速导出工具 7次下载
- 16位CRC验证码生成VI工具下载 55次下载
- 软件工具Altium Designer免费下载入口 83次下载
- 一种基于数据集成的随机森林算法 12次下载
- 基于元数据的ETL工具集成研究
- 更强的无线(双)串口数据记录 调试工具 731次阅读
- 小米电脑数据恢复的常用方法、工具和步骤 2359次阅读
- POC管理和漏洞扫描小工具 879次阅读
- 持续集成工具jenkins和相关工作机会介绍 536次阅读
- 软件离线工具的新规则是什么？ 635次阅读
- OST中提取邮箱数据和重置丢失的WindowsServer 密码的工具 1261次阅读
- Oracle：数据库开发和管理的工具 693次阅读
- 数据分析有哪些工具 8791次阅读
- Rsync远程数据同步工具介绍 1069次阅读
- 使用集成的原理图、布局和仿真工具消除DDR设计中的猜测 1307次阅读
- 新规划PCI核查工具的使用方法和应用事例 3142次阅读
- 实时数据体系建设的总体方案的三部分 6771次阅读
- 一套符合标准SQL语义的开发语言,link的最新特性 2460次阅读
- 来看看Spark和Flink各自的优劣和主要区别 3.1w次阅读
- 如何正确找到你想要的数据集成工具 1845次阅读
上传资料赚积分下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图（支持平板，盒子VR）
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
工商网监
评论