FOS 是一款針對海量對象存儲的存儲系統(tǒng)，支持萬億級非結(jié)構(gòu)化數(shù)據(jù)存儲，提供 S3 Over RDMA 高性能協(xié)議訪問，支持多中心多活。具備高擴(kuò)展性、靈活性和低成本優(yōu)勢。采用的糾刪碼(EC)技術(shù)在成本控制方面與傳統(tǒng)的副本存儲方案相比具有顯著優(yōu)勢，于傳統(tǒng)的 RAID 配置相比具有更高的靈活性。對象存儲解決方案支持幾乎無限的容量擴(kuò)展，企業(yè)能夠根據(jù)業(yè)務(wù)需求靈活地調(diào)整存儲資源。特別是在公有云環(huán)境中，用戶可以按需使用存儲空間，從而實現(xiàn)資源的最優(yōu)配置和成本效益的最大化。且支持多租戶架構(gòu)，允許多個用戶或組織在同一個存儲基礎(chǔ)設(shè)施上獨(dú)立操作，同時保持?jǐn)?shù)據(jù)隔離。通過扁平化結(jié)構(gòu)和跨地域訪問能力，為企業(yè)提供安全、便捷的數(shù)據(jù)存儲與管理服務(wù)。適用于大數(shù)據(jù)分析、視頻/媒體存儲、數(shù)據(jù)備份與檔等業(yè)務(wù)。

• 無單點(diǎn)故障

系統(tǒng)中沒有單點(diǎn)故障，所有節(jié)點(diǎn)都是對等的，共同承擔(dān)存儲和管理任務(wù)，顯著提高了系統(tǒng)的可靠性和可用性。

• 極高的水平擴(kuò)展性

• 數(shù)據(jù)持續(xù)可訪問性

• 數(shù)據(jù)分散存儲

• 突破傳統(tǒng)限制： 傳統(tǒng)S3協(xié)議基于TCP/IP，在數(shù)據(jù)傳輸過程中引入延遲和CPU開銷

• RDMA直接內(nèi)存訪問： 數(shù)據(jù)直接在存儲設(shè)備和應(yīng)用程序內(nèi)存之間傳輸，繞過CPU和操作系統(tǒng)內(nèi)核

• 高吞吐量低延遲： 大幅降低數(shù)據(jù)傳輸延遲，提高吞吐量，接近本地存儲性能

• 無縫集成： 兼容標(biāo)準(zhǔn)S3 API，無需更改現(xiàn)有應(yīng)用程序代碼

性能突破

S3 Over RDMA技術(shù)使FOS在處理大規(guī)模數(shù)據(jù)集時，能夠提供接近本地存儲的性能，對于AI/ML訓(xùn)練、大數(shù)據(jù)分析等對數(shù)據(jù)訪問速度要求極高的場景至關(guān)重要。

FOS支持多中心多活部署，將數(shù)據(jù)實時同步到多個地理位置分散的數(shù)據(jù)中心。

根據(jù)數(shù)據(jù)訪問頻率、使用場景和生命周期，將數(shù)據(jù)智能分層存儲于性能、成本和容量各異的存儲介質(zhì)中，充分發(fā)揮本地私有云的高性能和公有云的彈性計費(fèi)優(yōu)勢。

5.安全可靠的存儲環(huán)境

分布式加密解決方案

采用 DKES（Distributed Key Encryption Service）技術(shù)，實現(xiàn)對每個數(shù)據(jù)對象使用獨(dú)立密鑰的加密，同時保持高性能。這種細(xì)粒度的加密控制為用戶提供了更高級別的數(shù)據(jù)安全保障。

數(shù)據(jù)保護(hù)機(jī)制

• 支持 EC、動態(tài) EC、折疊 EC 等高級數(shù)據(jù)保護(hù)技術(shù)。

動態(tài) EC

支持動態(tài)糾刪碼技術(shù)，可以根據(jù)數(shù)據(jù)的重要性和訪問頻率動態(tài)調(diào)整 EC 策略，更好地保護(hù)數(shù)據(jù)免受丟失和損壞的風(fēng)險。比如 8+2 的 EC，在有一塊盤故障時，會自動把新寫入對象的 EC 比例提高為 7+3，確保數(shù)據(jù)安全性。此功能可以開啟或關(guān)閉。

折疊 EC

支持折疊糾刪碼技術(shù)，例如 4+2:2 部署僅需 3 節(jié)點(diǎn)，這種高效的 EC 配置可以在少量節(jié)點(diǎn)中實現(xiàn)大比例的數(shù)據(jù)保護(hù)。例如在深度歸檔功能中能夠在少量節(jié)點(diǎn)上實現(xiàn)高效的數(shù)據(jù)保護(hù)和存儲。

• 提供多版本控制和 WORM 功能，以及 Bucket 回收站和 Bucket Replication方案，全面保障數(shù)據(jù)安全。

• 支持靜默錯誤檢查機(jī)制，配合 Bitrot 技術(shù)，能夠主動監(jiān)測和修復(fù)數(shù)據(jù)損壞問題，從而提供更高級別的數(shù)據(jù)完整性保護(hù)。

精細(xì)的訪問管理

使用與 AWS IAM 兼容的基于策略的訪問控制 （PBAC），對經(jīng)過身份驗證的應(yīng)用程序進(jìn)行精細(xì)的授權(quán)管理，確保只有授權(quán)用戶和應(yīng)用程序才能訪問相應(yīng)的數(shù)據(jù)資源。

6.智能化存儲業(yè)務(wù)

湖倉一體

助力企業(yè)實現(xiàn)數(shù)據(jù)分析的湖倉一體架構(gòu)革新，支持包括 Iceberg、Hudi 和 Delta Laked 等多種湖倉一體解決方案，以滿足不同業(yè)務(wù)場景下的數(shù)據(jù)存儲和分析需求。

在線解壓縮

想想 ML 分析需要數(shù)百萬個傳感器日志的情況，或者上傳數(shù)千個小型 Microsoft Excel 或 Word 文檔，如果您單獨(dú)上傳每個文件，則在設(shè)置和關(guān)閉大量連接時，在進(jìn)行數(shù)千個 API PutObject 調(diào)用時，會產(chǎn)生大量的網(wǎng)絡(luò)開銷。

一種常見的解決方案是將所有文件一起壓縮成一個大文件，上傳它，然后在服務(wù)端提取所有文件，即在線解壓縮功能。

S3Zip

S3Zip 功能允許在上傳到 FOS 的 ZIP 文件中檢索單個文件， 使用此功能，可以上傳包含數(shù)千個文件的單個 ZIP 文件。然后，F(xiàn)OS 索引工具確保訪問 ZIP 文件中的文件時，性能與單個對象相同。

Query in Place

Query in Place 功能允許用戶直接對存儲在 S3 中的數(shù)據(jù)進(jìn)行查詢，而無需將數(shù)據(jù)提取到外部計算環(huán)境。

這是一個非常強(qiáng)大的功能，尤其是當(dāng)你處理大規(guī)模數(shù)據(jù)集時，它可以大幅減少數(shù)據(jù)移動、降低延遲和節(jié)省成本。

Select 功能支持檢索以 CSV 和 JSON 格式存儲的對象，也支持檢索通過 GZIP 或 BZIP2 壓縮的對象（僅對于 CSV、JSON 格式的對象）。

除此之外，Select 功能還支持指定結(jié)果的格式為 CSV 或 JSON，并且可以確定結(jié)果中記錄的分隔方式。

Modify in Place

Modify in Place 功能允許用戶直接在服務(wù)器端修改對象的某一部分?jǐn)?shù)據(jù)，而無需將整個對象下載到本地進(jìn)行修改后再重新上傳。

這種機(jī)制極大地優(yōu)化了對象存儲的讀寫性能，減少數(shù)據(jù)傳輸量，提高操作效率。

多維度 Tag

對 Bucket 或?qū)ο罂梢源蛏?Tag 來進(jìn)行多維度的標(biāo)識。

這種多維度標(biāo)識在生命周期，桶復(fù)制，策略，Lambda 等功能里生效，幫助你進(jìn)行多維度的篩選操作。

Event 事件通知

FOS 可以監(jiān)控存儲桶中的文件操作，比如上傳、下載或刪除文件。

當(dāng)這些操作發(fā)生時，F(xiàn)OS 會發(fā)送通知到指定的地方，比如消息隊列、Webhook、數(shù)據(jù)庫等。

這使得下游應(yīng)用程序可以對存儲層中的變化做出實時響應(yīng)，是構(gòu)建現(xiàn)代事件驅(qū)動架構(gòu)（EDA）的核心能力。

S3 Lambda 集成

Lambda 功能讓你可以在 FOS 內(nèi)直接運(yùn)行代碼。

當(dāng)文件操作發(fā)生時（比如上傳一個新文件），F(xiàn)OS 會自動觸發(fā)預(yù)先定義好的程序來執(zhí)行任務(wù)。

這個功能就像“小機(jī)器人”，能夠幫你自動完成比如圖片審查、文件格式轉(zhuǎn)換或分析數(shù)據(jù)等任務(wù)。