文件

物件管理

物件是二進位資料,例如影像、音訊檔案、試算表,甚至是二進位可執行程式碼。「二進位大型物件」或「blob」一詞有時與物件儲存相關聯,儘管 blob 的大小可以是幾個位元組到幾 TB。物件儲存平台(如 MinIO)提供專用工具和功能,用於使用標準的 S3 相容 API 儲存、列出和擷取物件。

對磁碟機的獨佔存取

MinIO 需要對提供用於物件儲存的磁碟機或磁碟區進行獨佔存取。沒有其他程序、軟體、腳本或人員應該直接對提供給 MinIO 的磁碟機或磁碟區執行任何動作,或者對 MinIO 放置在其上的物件或檔案執行動作。

除非 MinIO 工程部門指示,否則請勿使用腳本或工具來直接修改、刪除或移動所提供磁碟機上的任何資料分片、同位分片或中繼資料檔案,包括從一個磁碟機或節點移動到另一個磁碟機或節點。此類操作很可能會導致廣泛的損壞和資料遺失,超出 MinIO 的修復能力範圍。

MinIO 物件儲存使用儲存貯體來組織物件。儲存貯體類似於檔案系統中的頂層磁碟機、資料夾或目錄(/mnt/dataC:\),其中每個儲存貯體可以容納任意數量的物件。

MinIO 伺服器上的物件結構可能如下所示

/ #root
/images/
   2020-01-02-MinIO-Diagram.png
   2020-01-03-MinIO-Advanced-Deployment.png
   MinIO-Logo.png
/videos/
   2020-01-04-MinIO-Interview.mp4
/articles/
   /john.doe/
      2020-01-02-MinIO-Object-Storage.md
      2020-01-02-MinIO-Object-Storage-comments.json
   /jane.doe/
      2020-01-03-MinIO-Advanced-Deployment.png
      2020-01-02-MinIO-Advanced-Deployment-comments.json
      2020-01-04-MinIO-Interview.md

在範例結構中,管理員會建立/images/videos/articles儲存貯體。用戶端應用程式會使用該物件的完整「路徑」(包括所有中間前置詞)將物件寫入這些儲存貯體。

MinIO 使用前置詞支援多層巢狀目錄和物件,以支援最動態的物件儲存工作負載。MinIO 會自動從完整物件路徑中推斷中間前置詞,例如使用/作為分隔符號的/articles/john.doe。用戶端和管理員不應手動建立這些前置詞。

用戶端和管理員都不會手動建立中間前置詞,因為 MinIO 會自動從物件名稱中推斷它們。

路徑與虛擬主機儲存貯體存取

MinIO 支援路徑樣式(預設)或虛擬主機儲存貯體查閱

例如,考量具有指派的完整網域名稱 (FQDN)minio.example.net的 MinIO 部署

  • 使用路徑樣式查閱時,應用程式會指定儲存貯體的完整路徑,例如minio.example.net/mybucket

  • 使用虛擬主機查閱時,應用程式會將儲存貯體指定為子網域,例如mybucket.minio.example.net/

某些應用程式在對 MinIO 執行 S3 操作時可能需要或期望虛擬主機查閱支援。若要啟用虛擬主機儲存貯體查閱,您必須將MINIO_DOMAIN環境變數設定為解析為 MinIO 部署的FQDN

如果您設定 MINIO_DOMAIN,您必須將指定 FQDN 的所有子網域視為專門用於儲存桶名稱。任何與這些網域衝突的 MinIO 服務,例如複寫目標,都可能因為衝突而出現意外或不希望的行為。

例如,如果設定 MINIO_DOMAIN=minio.example.net,您不能minio.example.net 的任何子網域(以 *.minio.example.net 的形式)指派給任何 MinIO 服務或目標。這包括用於 儲存桶批次站點複寫 的主機名稱。

重要事項

對於啟用 TLS 的部署,您必須確保您的 TLS 憑證 SAN 涵蓋指定給 MINIO_DOMAIN 的最左側網域的所有子網域。

例如,MINIO_DOMAIN=minio.example.net 的範例需要一個 TLS SAN,涵蓋 minio.example.net 的子網域。您可以設定額外的 TLS SAN *.minio.example.net 以適當涵蓋子網域命名空間。

TLS 通配符規則會阻止鏈接到其他子網域層級,因此具有 *.example.net 通配符 SAN 的 TLS 憑證將不會涵蓋 *.minio.example.net 的虛擬主機查找。

物件組織和規劃

管理員通常控制儲存桶的建立和設定。然後,客戶端應用程式可以使用 與 S3 相容的 SDK,在 MinIO 部署上建立、列出、檢索和刪除物件。因此,客戶端會驅動給定儲存桶或前綴內資料的整體階層,而管理員可以使用 原則來授予或拒絕對動作或資源的存取權,藉此來行使控制權。

MinIO 對於給定部署上的儲存桶、物件或前綴的數量沒有硬性 閾值。MinIO 部署底層硬體和網路的相對效能,可能會對給定前綴或儲存桶中的物件數量造成實際限制。具體而言,使用較慢的磁碟機或網路基礎架構的硬體,在具有平坦物件階層的儲存桶或前綴中,往往會表現出較差的效能。對於其他考量、閾值或限制,請參閱 閾值和限制

請將以下幾點視為客戶端應用程式工作負載模式的一般指南

  • 具有適度或以預算為導向的硬體的部署,應將其工作負載架構設定為以每個前綴 10,000 個物件為目標基準。根據基準測試和實際工作負載的監控來提高此目標,以達到硬體可以有意義地處理的範圍。

  • 具有高效能或企業級 硬體的部署,通常可以處理具有數百萬個物件或更多物件的前綴。

MinIO SUBNET 企業帳戶可以利用年度架構審查作為部署和維護策略的一部分,以確保您的 MinIO 相依專案的長期效能和成功。

有關限制前綴內容的優點的深入討論,請參閱有關 最佳化 S3 效能的文章。

物件版本控制

Object with Multiple Versions

在儲存桶上執行寫入、列出、取得或刪除作業時,特定客戶端的行為取決於該儲存桶的版本控制狀態

作業

已啟用版本控制

已停用 | 暫停版本控制

PUT(寫入)

建立物件的新完整版本作為「最新」,並指派唯一的版本 ID

建立物件,並在命名空間符合時覆寫。

GET(讀取)

預設檢索物件的最新版本

支援依版本 ID 檢索任何物件版本。

檢索物件

LIST(讀取)

檢索指定儲存桶或前綴中物件的最新版本

支援檢索所有物件及其相關聯的版本 ID。

檢索指定儲存桶或前綴中的所有物件

DELETE(寫入)

為物件建立 0 位元組的「刪除標記」作為「最新」(軟刪除)

支援依版本 ID 刪除任何物件版本(硬刪除)。您無法還原硬刪除作業。

請參閱 物件刪除 以取得更多資訊。

刪除物件

請參閱 儲存桶版本控制 以取得更完整的文件。

物件標籤

MinIO 支援將自訂標籤新增至物件。標籤是包含在物件中繼資料中的鍵值對。標籤可用於透過原則控制存取,或使用 mc find --tags 尋找物件。

MinIO 支援將最多 10 個自訂標籤新增至物件。

有關設定標籤的更多資訊,請參閱 mc tag set

物件保留

MinIO 物件鎖定(「物件保留」)強制實施「寫入一次、讀取多次」(WORM)的不變性,以保護版本控制的物件免於刪除。MinIO 支援 基於持續時間的物件保留無限期的法律保留

30 Day Locked Objects

針對 WORM 鎖定物件的刪除作業取決於特定作業

  • 未指定版本 ID 的刪除作業會導致建立「刪除標記」

  • 指定鎖定物件版本 ID 的刪除作業會導致 WORM 鎖定錯誤

您只能在首次建立儲存桶時啟用物件鎖定。啟用儲存桶鎖定也會啟用版本控制

根據 Cohasset Associates 的說法,MinIO 物件鎖定提供重要的資料保留合規性,並符合 SEC17a-4(f)、FINRA 4511(C) 和 CFTC 1.31(c)-(d) 的要求。

請參閱 MinIO 物件鎖定物件刪除 以取得更完整的文件。

物件生命週期管理

MinIO 物件生命週期管理允許建立基於時間或日期的自動轉換或物件過期的規則。對於物件轉換,MinIO 會自動將物件移動到已設定的遠端儲存層。對於物件過期,MinIO 會自動刪除物件。

MinIO 使用與正常客戶端作業相同的行為,對版本控制和未版本控制的儲存桶套用生命週期管理規則。您可以指定處理最新物件版本、非目前物件版本或兩者的轉換或生命週期規則。

MinIO 生命週期管理是為了與 AWS S3 生命週期管理 達成行為和語法相容性而建構的。MinIO 使用 JSON 來描述生命週期管理規則。從 S3 或類似相容平台上建立的規則轉換為 XML 或從 XML 轉換可能需要進行轉換。

請參閱 物件生命週期管理 以取得更完整的文件。

目標儲存桶考量

MinIO 要求目標儲存桶與來源儲存桶的物件管理或版本控制設定相符。如果仔細定義,目標儲存桶可能有其自己的一組物件管理規則。

目標儲存桶應有自己的過期或額外分層規則。過期規則可能會導致移除來源儲存桶仍在使用中的分層資料。分層到額外的遠端會在熱層及其資料之間建立額外的網路躍點,同時也會增加操作複雜性。

可以在遠端儲存桶上設定物件鎖定或版本控制。

在目標儲存桶上啟用版本控制或物件鎖定可能會產生以下影響

  • 目標儲存桶上設定的物件鎖定可能會阻止來源儲存桶中完成所需的 delete 作業。

  • MinIO 會使用其自己的 UUID 分層物件,因此目標儲存桶上的版本控制充其量是多餘的。

  • 目標上的儲存效率降低,因為 delete 作業會導致建立 DeleteMarker 而非釋放空間。

  • 來源和目標儲存桶上的重複刪除標記。

遠端資料的獨佔存取權

MinIO 必須對目標儲存桶具有獨佔存取權。任何其他使用者、程序、應用程式或資源都不應存取或對目標儲存桶執行任何操作。

所有對已轉換物件的存取必須僅透過 S3 API 操作經由 MinIO 進行。手動修改已轉換的物件(無論是「熱」MinIO 層上的元數據還是遠端「溫/冷」層上的物件數據)都可能導致該物件數據丟失。

MinIO 會忽略遠端儲存桶或儲存桶前綴中,任何未由 MinIO 部署明確管理的物件。自動轉換和透明的物件檢索取決於以下假設:

  • 遠端儲存上的物件沒有外部變更、遷移或刪除。

  • 遠端儲存桶上沒有生命週期管理規則(例如轉換或過期)。

為了方便此獨佔存取,請在生命週期管理使用者的政策中,授予目標儲存桶的 readwritedelete 存取權。所有其他政策應拒絕對目標儲存桶的存取。