糾刪碼

MinIO 糾刪碼概述

MinIO 將糾刪碼作為提供資料冗餘和可用性的核心元件實作。此頁面提供了 MinIO 糾刪碼的簡介。

請參閱可用性和復原能力和部署架構，以取得有關 MinIO 如何在生產部署中使用糾刪碼的更多資訊。

糾刪碼基礎知識

注意

本節中的圖表和內容呈現了 MinIO 糾刪碼操作的簡化視圖，並非旨在表示 MinIO 完整糾刪碼實作的複雜性。

MinIO 將每個伺服器集區中的磁碟機分組為一個或多個相同大小的糾刪集。

Diagram of erasure set covering 4 nodes and 16 drives — 上面的範例部署包含 4 個節點，每個節點有 4 個磁碟機。MinIO 使用包含所有 4 個節點的所有 16 個磁碟機的單個糾刪集初始化。

MinIO 會在初始化伺服器集區時確定糾刪集的最佳數量和大小。在此初始設定之後，您無法修改這些設定。

對於每個寫入操作，MinIO 會將物件分割為資料和同位分片。

糾刪集條紋大小決定了部署的最大可能同位。用於確定要產生多少資料和同位分片的公式為

N (ERASURE SET SIZE) = K (DATA) + M (PARITY)

Diagram of possible erasure set parity settings — 上面的範例部署具有 16 個磁碟機的糾刪集。這可以支援 `EC:0` 到糾刪集磁碟機的一半之間的同位，或 `EC:8`。

您可以設定 0 到糾刪集大小一半之間的同位值。

Diagram of an object being sharded using MinIO's Reed-Solomon Erasure Coding algorithm. — MinIO 使用 Reed-Solomon 糾刪碼實作，並分割物件以分佈在糾刪集中。上面的範例部署的糾刪集大小為 16，同位為 `EC:4`

如果您稍後變更同位值，則使用給定同位設定寫入的物件不會自動更新。

MinIO 需要至少 K 個任何類型的分片才能讀取物件。

此處的值 K 構成部署的讀取仲裁。因此，糾刪集必須在糾刪集中至少有 K 個健康的磁碟機，才能支援讀取操作。

Diagram of a 4-node 16-drive deployment with one node offline. — 此部署有一個離線節點，導致僅剩下 12 個正常運作的磁碟機。該物件以 `EC:4` 寫入，讀取仲裁為 `K=12`。因此，此物件維持讀取仲裁，MinIO 可以重建它以進行讀取操作。

MinIO 無法重建失去讀取仲裁的物件。此類物件可能透過其他方式恢復，例如複寫重新同步。

MinIO 至少需要 K 個 Erasure Set 磁碟機才能寫入物件。

此處的 K 值構成部署的寫入仲裁。因此，Erasure Set 必須至少有 K 個可用的磁碟機在線上才能支援寫入操作。

Diagram of a 4-node 16-drive deployment where one node is offline. — 此部署有一個離線節點，導致僅剩下 12 個正常運作的磁碟機。用戶端以 `EC:4` 同位設定寫入物件，其中 Erasure Set 的寫入仲裁為 `K=12`。此 Erasure Set 維持寫入仲裁，MinIO 可以使用它進行寫入操作。

如果同位 EC:M 恰好是 Erasure Set 大小的 1/2，則寫入仲裁為 K+1

這可以防止腦裂類型的狀況，例如網路問題將 Erasure Set 中恰好一半的磁碟機與另一半隔離。

Diagram of an erasure set with where Parity ``EC:M`` is 1/2 the set size — 由於暫時的網路故障，此部署有兩個節點離線。用戶端以 `EC:8` 同位設定寫入物件，其中 Erasure Set 的寫入仲裁為 `K=9`。此 Erasure Set 已失去寫入仲裁，MinIO 無法使用它進行寫入操作。

K+1 邏輯確保用戶端不可能將同一個物件寫入兩次 – 一次寫入 Erasure Set 的「一半」。

對於維持讀取仲裁的物件，MinIO 可以使用任何資料或同位分片來修復損壞的分片。

Diagram of MinIO using parity shards to heal lost data shards on a node. — 具有 `EC:4` 的物件由於磁碟機故障而遺失了 12 個資料分片中的四個。由於物件已維持**讀取仲裁**，MinIO 可以使用可用的同位分片來修復那些遺失的資料分片。

使用 MinIO Erasure Coding Calculator 來探索您計劃的拓撲結構的可能 Erasure Set 大小和分佈。在可能的情況下，每個節點使用偶數個節點和磁碟機，以簡化拓撲結構規劃和磁碟機/Erasure Set 分佈的概念化。

對磁碟機的獨佔存取權

MinIO 要求對用於物件儲存的磁碟機或磁碟區擁有獨佔存取權。任何其他程序、軟體、腳本或人員都不應對提供給 MinIO 的磁碟機或磁碟區，或 MinIO 放置在其上的物件或檔案直接執行任何操作。

除非 MinIO Engineering 指示，否則不要使用腳本或工具來直接修改、刪除或移動提供的磁碟機上的任何資料分片、同位分片或中繼資料檔案，包括從一個磁碟機或節點移動到另一個磁碟機或節點。此類操作很可能導致廣泛的損毀和資料遺失，超出 MinIO 的修復能力。

Erasure 同位與儲存效率

為部署設定同位是在可用性和總可用儲存空間之間取得平衡。較高的同位值會提高對磁碟機或節點故障的彈性，但會犧牲可用的儲存空間，而較低的同位值則提供最大的儲存空間，但對磁碟機/節點故障的容忍度較低。使用 MinIO Erasure Code Calculator 來探索同位對您計劃的叢集部署的影響。

下表列出了在包含 1 個節點和 16 個 1TB 磁碟機的 MinIO 部署中，不同 Erasure Code 同位等級的結果

16 個磁碟機 MinIO 叢集中同位設定的結果
同位	總儲存空間	儲存空間比率	讀取操作的最低磁碟機數	寫入操作的最低磁碟機數
`EC: 4` (預設)	12 Tebibytes	0.750	12	12
`EC: 6`	10 Tebibytes	0.625	10	10
`EC: 8`	8 Tebibytes	0.500	8	9

位元衰減保護

位元衰減是指儲存媒體層級上隨機變更所導致的無聲資料損毀。對於資料磁碟機，它通常是代表資料的電荷或磁性方向衰減的結果。這些來源的範圍從斷電期間的小電流尖峰到導致位元翻轉的隨機宇宙射線。由此產生的「位元衰減」可能會在資料媒體上造成細微的錯誤或損毀，而不會觸發監控工具或硬體。

MinIO 對 HighwayHash 演算法的優化實作可確保它能即時捕獲並修復損毀的物件。透過在 READ 上計算雜湊，並在從應用程式到網路、記憶體或磁碟機的 WRITE 上驗證雜湊，可確保端對端的完整性。此實作針對速度進行了設計，可以在 Intel CPU 的單核心上達到超過 10 GB/秒的雜湊速度。