物件管理
物件是二進位資料,例如影像、音訊檔案、試算表,甚至是二進位可執行程式碼。「二進位大型物件」或「blob」一詞有時與物件儲存相關聯,儘管 blob 的大小可能從幾個位元組到幾 TB 不等。MinIO 等物件儲存平台提供專用工具和功能,用於使用標準 S3 相容 API 儲存、列出和擷取物件。
對磁碟機的獨佔存取
MinIO 要求對提供用於物件儲存的磁碟機或磁碟區具有獨佔存取權。任何其他程序、軟體、指令碼或人員都不應直接對提供給 MinIO 的磁碟機或磁碟區,或 MinIO 放置在其上的物件或檔案執行任何動作。
除非 MinIO 工程部門指示,否則請勿使用指令碼或工具直接修改、刪除或移動所提供磁碟機上的任何資料分片、同位分片或中繼資料檔案,包括從一個磁碟機或節點移動到另一個磁碟機或節點。此類操作很可能導致廣泛的損毀和資料遺失,超出 MinIO 的修復能力範圍。
MinIO 物件儲存使用儲存貯體來組織物件。儲存貯體類似於檔案系統中的最上層磁碟機、資料夾或目錄(/mnt/data
或 C:\
),其中每個儲存貯體可以保存任意數量的物件。
MinIO 伺服器上的物件結構可能如下所示
/ #root
/images/
2020-01-02-MinIO-Diagram.png
2020-01-03-MinIO-Advanced-Deployment.png
MinIO-Logo.png
/videos/
2020-01-04-MinIO-Interview.mp4
/articles/
/john.doe/
2020-01-02-MinIO-Object-Storage.md
2020-01-02-MinIO-Object-Storage-comments.json
/jane.doe/
2020-01-03-MinIO-Advanced-Deployment.png
2020-01-02-MinIO-Advanced-Deployment-comments.json
2020-01-04-MinIO-Interview.md
透過範例結構,管理員會建立 /images
、/videos
和 /articles
儲存貯體。用戶端應用程式使用物件的完整「路徑」(包括所有中繼前置詞)將物件寫入這些儲存貯體。
MinIO 使用前置詞支援多層巢狀目錄和物件,以支援最動態的物件儲存工作負載。MinIO 使用 /
作為分隔符號,自動從完整物件路徑推斷中繼前置詞,例如 /articles/john.doe
。用戶端和管理員不應手動建立這些前置詞。
用戶端和管理員都不會手動建立中繼前置詞,因為 MinIO 會從物件名稱自動推斷它們。
路徑與虛擬主機儲存貯體存取
MinIO 支援路徑樣式(預設)或虛擬主機儲存貯體查閱。
例如,考量 FQDN (完整合格網域名稱) 為 minio.example.net
的 MinIO 部署
使用路徑樣式查閱,應用程式會指定儲存貯體的完整路徑,例如
minio.example.net/mybucket
。使用虛擬主機查閱,應用程式會將儲存貯體指定為子網域,例如
mybucket.minio.example.net/
。
某些應用程式可能在對 MinIO 執行 S3 操作時需要或預期虛擬主機查閱支援。若要啟用虛擬主機儲存貯體查閱,您必須將 MINIO_DOMAIN
環境變數設定為解析為 MinIO 部署的 FQDN。
如果您設定 MINIO_DOMAIN
,您必須將指定 FQDN 的所有子網域視為專用於儲存桶名稱。任何與這些網域衝突的 MinIO 服務,例如複製目標,都可能因衝突而出現非預期或不良的行為。
例如,如果設定 MINIO_DOMAIN=minio.example.net
,您不能將 minio.example.net
的任何子網域(以 *.minio.example.net
的形式)指派給任何 MinIO 服務或目標。這包括用於儲存桶、批次或站點複製的主機名稱。
重要
對於啟用TLS的部署,您必須確保您的 TLS 憑證 SAN 涵蓋指定給MINIO_DOMAIN
的最左側網域的所有子網域。
例如,MINIO_DOMAIN=minio.example.net
的範例需要一個 TLS SAN,涵蓋 minio.example.net
的子網域。您可以設定額外的 TLS SAN *.minio.example.net
來適當地涵蓋子網域命名空間。
TLS 萬用字元規則會阻止鏈接到額外的子網域層級,因此具有 *.example.net
萬用字元 SAN 的 TLS 憑證將不涵蓋 *.minio.example.net
的虛擬主機查找。
物件組織與規劃
管理員通常控制儲存桶的建立和設定。然後,用戶端應用程式可以使用與 S3 相容的 SDK,在 MinIO 部署上建立、列出、檢索和刪除物件。因此,客戶端會驅動給定儲存桶或前綴內的整體資料層次結構,管理員可以使用原則來授權或拒絕對操作或資源的存取權,從而進行控制。
MinIO 對於給定部署上的儲存桶、物件或前綴數量沒有硬性的閾值。MinIO 部署的硬體和網路的相對效能可能會對給定前綴或儲存桶中的物件數量產生實際限制。具體而言,使用較慢的磁碟機或網路基礎架構的硬體,在具有扁平物件層次結構的儲存桶或前綴中往往會表現出較差的效能。關於其他注意事項、閾值或限制,請參閱閾值和限制。
請考慮以下幾點,作為客戶端應用程式工作負載模式的一般指導原則
具有適中或以預算為導向的硬體的部署,應將其工作負載架構設定為每個前綴目標 10,000 個物件作為基準。根據對真實世界工作負載的基準測試和監控,增加此目標,直至硬體可以有意義地處理的範圍。
具有高效能或企業級硬體的部署,通常可以處理具有數百萬個或更多物件的前綴。
MinIO SUBNET 企業帳戶可以利用年度架構審查作為部署和維護策略的一部分,以確保您的 MinIO 相關專案的長期效能和成功。
關於限制前綴內容的好處的更深入討論,請參閱有關最佳化 S3 效能的文章。
物件版本控制
儲存桶上寫入、列出、取得或刪除操作的特定客戶端行為取決於該儲存桶的版本控制狀態。
操作 |
版本控制已啟用 |
版本控制已停用 | 已暫停 |
---|---|---|
|
建立物件的新完整版本作為「最新」,並指派唯一的版本 ID |
在命名空間匹配時使用覆寫建立物件。 |
|
預設檢索物件的最新版本 支援通過版本 ID 檢索任何物件版本。 |
檢索物件 |
|
檢索指定儲存桶或前綴中物件的最新版本 支援檢索所有具有關聯版本 ID 的物件。 |
檢索指定儲存桶或前綴中的所有物件 |
|
為該物件建立 0 位元的「刪除標記」作為「最新」(軟刪除) 支援通過版本 ID 刪除任何物件版本(硬刪除)。您無法還原硬刪除操作。 有關更多資訊,請參閱物件刪除。 |
刪除物件 |
有關更完整的說明文件,請參閱儲存桶版本控制。
物件標籤
MinIO 支援向物件新增自訂標籤。標籤是包含在物件元資料中的鍵值對。標籤可以用於透過原則控制存取,或使用mc find --tags
尋找物件。
MinIO 支援向物件新增最多 10 個自訂標籤。
有關設定標籤的更多資訊,請參閱mc tag set
。
物件保留
MinIO 物件鎖定(「物件保留」)強制執行一次寫入、多次讀取 (WORM) 不可變性,以保護版本化物件免於刪除。MinIO 支援基於持續時間的物件保留和無限期法律保留。
針對 WORM 鎖定物件的刪除操作取決於特定操作
未指定版本 ID 的刪除操作會導致建立「刪除標記」
指定鎖定物件的版本 ID 的刪除操作會導致 WORM 鎖定錯誤
您只能在首次建立儲存桶時啟用物件鎖定。啟用儲存桶鎖定也會啟用版本控制。
根據Cohasset Associates,MinIO 物件鎖定提供關鍵資料保留合規性,並符合 SEC17a-4(f)、FINRA 4511(C) 和 CFTC 1.31(c)-(d) 要求。
有關更完整的說明文件,請參閱MinIO 物件鎖定和物件刪除。
物件生命週期管理
MinIO 物件生命週期管理允許建立基於時間或日期的物件自動轉換或過期規則。對於物件轉換,MinIO 會自動將物件移動到設定的遠端儲存層。對於物件過期,MinIO 會自動刪除物件。
MinIO 使用與一般客戶端操作相同的行為,將生命週期管理規則應用於版本化和未版本化儲存桶。您可以指定處理最新物件版本、非當前物件版本或兩者的轉換或生命週期規則。
MinIO 生命週期管理是為與AWS S3 生命週期管理的行為和語法相容性而建構的。MinIO 使用 JSON 來描述生命週期管理規則。從 S3 或類似相容平台上建立的規則匯入或匯出可能需要轉換為 XML 或從 XML 轉換。
有關更完整的說明文件,請參閱物件生命週期管理。
目標儲存桶注意事項
MinIO *不* 要求目標儲存桶在物件管理或版本控制設定上與來源儲存桶相符。目標儲存桶*可以*具有其自己的一組物件管理規則(如果小心定義)。
目標儲存桶*不應*具有自己的過期或額外分層規則。過期規則可能導致刪除來源儲存桶仍在使用的分層資料。分層到額外的遠端會在熱層及其資料之間建立額外的網路躍點,同時也會增加操作複雜性。
您*可以*在遠端儲存桶上設定物件鎖定或版本控制。
在目標儲存桶上啟用版本控制或物件鎖定可能會產生以下影響
在目標儲存桶上設定的物件鎖定可能會阻止來源儲存桶完成所需的
delete
操作。MinIO 使用自己的
UUID
來分層物件,因此目標儲存桶上的版本控制充其量是多餘的。目標上的儲存效率降低,因為
delete
操作會導致建立DeleteMarker
而不是釋放空間。來源和目標儲存桶上的重複刪除標記。
對遠端資料的獨佔存取權
MinIO **必須** 對目標儲存桶擁有*獨佔*存取權。任何其他使用者、程序、應用程式或資源都不應存取或對目標儲存桶執行任何操作。
所有對已轉換物件的存取必須僅透過 MinIO 使用 S3 API 操作進行。 手動修改已轉換的物件(無論是「熱」MinIO 層上的元數據還是遠端「溫/冷」層上的物件數據)都可能導致該物件數據遺失。
MinIO 會忽略遠端儲存桶或儲存桶前綴中,任何未由 MinIO 部署明確管理的物件。 自動轉換和透明物件檢索取決於以下假設:
遠端儲存上的物件沒有外部變更、遷移或刪除。
遠端儲存桶上沒有生命週期管理規則(例如轉換或過期)。
為了方便這種獨佔存取,請在目標儲存桶的原則中,授予生命週期管理使用者 read
、write
和 delete
的存取權限。 所有其他原則都應 deny
對目標儲存桶的存取權限。