那個(gè)網(wǎng)站做外貿(mào)谷歌廣告代理公司
導(dǎo)讀 | 我們很高興向您介紹 Beam 的新版本 2.50.0。該版本包括改進(jìn)功能和新功能。請(qǐng)查看此版本的下載頁(yè)面。 |
亮點(diǎn)
- Spark 3.2.2 被用作 Spark 運(yùn)行程序的默認(rèn)版本(#23804)。
- Go SDK 新增默認(rèn)本地運(yùn)行程序,名為 Prism(#24789)。
- 所有 Beam 發(fā)布的容器鏡像現(xiàn)在都是多架構(gòu)鏡像,同時(shí)支持 x86 和 ARM CPU 架構(gòu)。
輸入/輸出
- Java KafkaIO 現(xiàn)在支持通過(guò) topicPattern 提取主題(#26948)
- 支持從 Cosmos DB Core SQL API 讀取數(shù)據(jù)(#23604)
- HBaseIO 升級(jí)至 HBase 2.5.5。(Java)(#27711)
- 增加了對(duì) GoogleAdsIO 源的支持(Java)(#27681)。
新功能/改進(jìn)
- Go SDK 現(xiàn)在需要 Go 1.20 才能構(gòu)建。(#27558)
- Go SDK 新增默認(rèn)本地運(yùn)行程序 Prism。(#24789).
- Prism 是一種可移植的運(yùn)行程序,能獨(dú)立執(zhí)行每個(gè)轉(zhuǎn)換,確保編碼人員的安全。
- 目前,它在功能上取代了 Go 直接運(yùn)行程序。Go 直接運(yùn)行程序現(xiàn)已棄用。
- 有關(guān) Prism 的目標(biāo)和功能,請(qǐng)參見(jiàn) https://github.com/apache/beam/blob/master/sdks/go/pkg/beam/runners/prism/README.md。
- 在 Python SDK 中添加了用于 RunInference 的抱臉模型處理程序。(#26632)
- 在 Python SDK 中添加了 RunInference 的 Hugging Face Pipelines 支持。(#27399)
- RunInference 的頂點(diǎn) AI 模型處理程序現(xiàn)在支持私有端點(diǎn) (#27696)
- 添加了 MLTransform 變換,支持常見(jiàn)的 ML 預(yù)/后處理操作 (#26795)
- 將 Java SDK 的 Kryo 擴(kuò)展升級(jí)至 Kryo 5.5.0。這帶來(lái)了錯(cuò)誤修復(fù)、性能改進(jìn)以及 Java 14 記錄的序列化。(#27635)
- 所有 Beam 發(fā)布的容器鏡像現(xiàn)在都是支持 x86 和 ARM CPU 架構(gòu)的多架構(gòu)鏡像。(#27674).多架構(gòu)容器鏡像包括:所有版本的 Go、Python、Java 和 Typescript SDK 容器;所有版本的 Flink 作業(yè)服務(wù)器容器;Java 和 Python 擴(kuò)展服務(wù)容器;Transform 服務(wù)控制器容器;Spark3 作業(yè)服務(wù)器容器.
- 添加了對(duì) AWS SQS 批量寫(xiě)入的支持,以提高吞吐量(Java、AWS 2)。
破壞性變更
- Python SDK:從 Dataflow 中移除傳統(tǒng)運(yùn)行程序支持,所有管道都必須使用運(yùn)行程序 v2。
- Python SDK:在管道提交時(shí),Dataflow Runner 不會(huì)再將來(lái)自 PyPI 的 Beam SDK 放在 –staging_location 中。非基于 Beam 默認(rèn)鏡像的自定義容器鏡像必須包含 Apache Beam 安裝。