Skip to content

Release v3.6.0

Pre-release
Pre-release
Compare
Choose a tag to compare
@baisui1981 baisui1981 released this 27 Nov 11:18
8541805

Abstract

经过几个月时间的开发TIS的v3.6.0版本终于要与大家见面了,v3.6.0着重在以下几方面进行了功能加强和升级。

  1. 对Apache Hudi Sink

    • 主键模型重新进行抽象,已经完全和Apache Hudi 主键模型匹配。
    • 为了支持Hudi能够支持三方包多版本多依赖,在TIS插件池中引入了插件多版本依赖,具体来说,在运行时可以选择Hudi版本所依赖的不同Hadoop依赖版本目前TIS中Hudi可以选择 Hadoop 2.7或者 Hadoop3.0。
    • 另外为云端用户加入了KerberOS设置项,使用大数据组件中为了网络安全需要,用户往往需要为组件访问开启KerberOS认证功能,为了简化添加该认证机制流程,3.6.0中添加了开启KerberOS认证功能
  2. 引入 Chunjun 来完善TIS Source/Sink 的端覆盖面 #139,
    在TIS的生态中以MySQL为例,如需以MySQL作为Source端,用户可以根据自身业务特点,可以选择 基于 Flink-CDC MySQL 插件或者基于 Chunjun 基于polling 策略实现的插件,两种插件各有特点,至于选择使用那种就取决于使用者自己的判断了。

    临近发布发现一个很有意思的使用场景,那就是用户可以选择基于Flink-CDC实现 MySQL插件来监听MySQL 表的增量变更来将数据同步到以 Chunjun 构建的 Sink端中去,这样的混搭使用方式给用户带来了更多的选择自由度,也避免了
    在Flink-CDC和Chunjun各自的框架内部重复造轮子从而造成生态内卷。

  3. 完善各个端(Source/Sink)的单元测试,由于添加到TIS生态中的数据端(Source/Sink)逐渐增多,每次发布无法通过人肉的方式把所有的端功能回归
    一遍,因此在v3.6.0版本中通过引入testcontainer将各中数据库进行Stub化,最大限度保证每次发布功能稳定。

Bug Fix

  • Oracle table column NUMBER(11,0) mapper to MySQL error#166
  • mysql -> doris Flink 实时同步 出错#162
  • postgresql作为Writer source的bug#149
  • MySQL8 的Chunjun Source 执行datetime类型的数据映射出错#148
  • 定义Oracle数据源过程使用ServiceName连接方式导致找不到表#147
  • DataX 执行过程中,出错日志信息写入到了tis.log 中,没有打印到控制台执行日志中#146

Others

  • 通过querySql中where条件实现增量抽取,flink 脚本支持SQL并且让用户自行修改#160

New Feature

  • 配置Hologres数据源问题 ,用户名支持$符#163
  • Orcale到MySQL的实时同步#95

Installation

Related Projects