開源項目丨 Taier 1.1 版本正式發布,新增功能一覽為快
數棧DTinsight · 程式 ·

開源項目丨 Taier 1.1 版本正式發布,新增功能一覽為快

githubcom/DTStack/Taiergitee地

2022 年 5 月 8 日,Taier 1.1 版本正式發布!

本次版本更新對 Flink 的支持升級到 Flink1.12,支持多種流類型任務,新版本的使用文檔已在社區中推送,大家可以隨時下載查閱。

github 地址:

https://github.com/DTStack/Taier

gitee 地址:

https://gitee.com/dtstack_dev_0/taier

Taier 1.1 版本介紹

Taier 是一個分布式可視化的 DAG 任務調度系統,是數棧數據中台整體架構的重要樞紐,負責調度日常龐大的任務量。

它旨在降低 ETL 開發成本,提高大數據平台穩定性,讓大數據開發人員可以在 Taier 直接進行業務邏輯的開發,而不用關心任務錯綜複雜的依賴關係與底層的大數據平台的架構實現,將工作的重心更多地聚焦在業務之中。

Taier1.0 版本於 2022 年 2 月發布,在 1.0 版本發布的第二天,1.1 版本的疊代就已提上日程,並於昨日正式發布。

本次版本更新,著重解決了 Taier 的適配性問題:對 Flink 的支持升級到 1.12;Taier 中的 Spark SQL 和 Flink SQL 兩個組件也實現了支持用戶在任務中自定義函數,明顯讓 Taier 的延展性有了更好的發揮;新增了許多例如 Hive SQL 類型任務、實時任務運維等強大功能。

這次版本更新對 Taier 的固有優勢進行了鞏固,同時也強化並改善了用戶體驗,進一步精細化提升產品性能。

Taier 1.1 功能詳解

01 對 Flink 版本支持升級到 1.12

Taier 作為一個分布式可視化的 DAG 任務調度系統,採用 ChunJun 作為分布式數據同步工具。1.1 版本將 Flink 版本升級到 1.12 ,支持 ChunJun 1.12 版本中新增的 transformer 算子等以及所有 Flink 原生語法及 Function

02 數據同步支持腳本模式、增量同步

數據同步任務除嚮導模式外,1.1 版本新增數據同步腳本模式。腳本模式通過 json 的方式配置,無需依賴 datasourcex 的支持的數據源,直接通過 json 配置的方式提交任務,腳本模式的 json 格式無縫兼容 ChunJun 的數據格式,用戶可以通過腳本模式調試各類數據源的數據同步。

以隨時下載查閱。github地址:https://

03 新增 Hive SQL

Apache Hive 是一個構建於 Hadoop 頂層的數據倉庫,可以將結構化的數據文件映射為一張資料庫表,並提供簡單的 SQL 查詢功能,可以將 SQL 語句轉換為 MapReduce 任務進行運行。Taier1.1 版本新增 Hive SQL ,支持對接 Hive 的不同版本 。

nk112,支持多種流類型任務,新版本的使用文檔已在社區中推送,大家可

04 新增多種實時類型任務

新增實時採集任務,支持將 MySQL、Oracle 的數據同步至 Kafka。

新增 Flink SQL 任務,通過標準 SQL 語義的開發幫助快速完成數據任務的配置工作。

本正式發布!本次版本更新對Flink的支持升級到Fli

05 新增實時任務運維

可通過實時運維中心查看實時任務的相關指標信息以及任務的詳細日誌信息。

2022年5月8日,Taier11版

06 支持用戶自定義函數

用戶自定義函數(User Defined Function,簡稱 UDF),是用戶除了使用系統函數外,自行創建的函數,用於滿足個性化的計算需求。自定義函數在使用上與普通的系統函數類似。

目前 Taier1.1 版本 Spark SQL 和 Flink SQL 任務均支持自定義函數。

07 全新暗黑主題上線

Taier 開發界面暗黑主題上線,提供多種主題切換,用戶可自行選擇。Taier 1.1 可支持用戶自由選擇 Dark Default 主題或 Light Default 主題等等界面風格,用戶體驗顯著提升。

未來規劃

Taier 作為一個新開源的項目,我們的疊代和更新一直在進行中,後續 Taier 將在擴展性、用戶自主性方向上繼續探索擴展,比如我們正在努力讓用戶可以基於 Taier 去自定義開發自己需要的類型任務等等。

Taier 的每一次進步都離不開社區開發者們的幫助和建議,希望大家保持關注,和 Taier 一起繼續前進,不斷攀登新高峰!

聲明:文章觀點僅代表作者本人,PTTZH僅提供信息發布平台存儲空間服務。
喔!快樂的時光竟然這麼快就過⋯
繼續其他精彩內容吧!
more