(資料圖片僅供參考)

因為眾所周知的原因,俄羅斯開發(fā)者在開源領(lǐng)域遭到了各種 “不公正” 的對待。但即便如此,俄羅斯大型科技公司 Yandex 近日依然在 GitHub 上開源了一個項目,該項目名為YTsaurus,這是一個用于存儲和處理大數(shù)據(jù)的平臺,大多數(shù) Yandex 服務(wù)均在使用。

Yandex 分布式計算的負(fù)責(zé)人 Maxim Babenko 表示:

Yandex 自 2010 年以來一直在開發(fā) YTsaurus(在內(nèi)部稱之為 YT)。因為市場上沒有一個解決方案可以滿足我們所有的要求,我們決定開始建立自己的大數(shù)據(jù)生態(tài)?,F(xiàn)在 YTsaurus 是 Yandex 內(nèi)部基礎(chǔ)設(shè)施的關(guān)鍵技術(shù)之一。

根據(jù)官方說法,YTsaurus 適用于廣泛的任務(wù),從數(shù)據(jù)分析到訓(xùn)練具有數(shù)十億參數(shù)的復(fù)雜模型。例如:Yandex Search 用它建立搜索索引、自動駕駛汽車用它來處理海量數(shù)據(jù)和改進(jìn)算法、YTsaurus 還管理著 Yandex 的超級計算機(jī),分配負(fù)載,使計算能力得到盡可能有效的利用。

YTsaurus 具有的平臺優(yōu)勢包括:

多租戶生態(tài)可靠性和穩(wěn)定性可擴(kuò)展性豐富的功能由 ClickHouse 提供支持的 CHYT由 Apache Spark 提供支持的 SPYT

Yandex Cloud 的負(fù)責(zé)人 Alexey Bashkeev 則表示:

YTsaurus 已經(jīng)在 Yandex 內(nèi)部證明了自己,現(xiàn)在我們把它提供給所有開發(fā)者。在數(shù)以千計的服務(wù)器上處理大量數(shù)據(jù),并且負(fù)載不斷增加的大公司將獲得最大收益。我們相信將 YTsaurus 開源可以使其進(jìn)入一個新的發(fā)展階段,正如我們的其他產(chǎn)品那樣。

YTsaurus 的源代碼和文檔都可以在 GitHub 上找到,該項目采用的是 Apache 2.0 許可

標(biāo)簽: