文件

將物件轉換到遠端 MinIO 部署

此頁面上的程序會建立新的物件生命週期管理規則,將物件從主要 MinIO 部署上的儲存貯體轉換到遠端 MinIO 部署上的儲存貯體。此程序支援成本管理策略,例如將物件從使用 NVMe 儲存的「熱」MinIO 部署分層到使用 SSD 的「溫」MinIO 部署。

需求

安裝和設定 mc

此程序使用 mc,以在 MinIO 叢集上執行操作。在具有來源和目的地叢集網路存取權的電腦上安裝 mc。如需下載和安裝 mc 的指示,請參閱 mc安裝快速入門

使用 mc alias set 命令為來源 MinIO 叢集建立別名。建立別名需要指定來源和目的地叢集上使用者的存取金鑰。指定的用戶必須具有設定和應用轉換操作的權限

必要的來源 MinIO 權限

MinIO 需要以下針對您正在建立生命週期管理規則的儲存桶或多個儲存桶的權限。

MinIO 還需要以下管理權限,才能在您為物件轉換生命週期管理規則建立遠端層的叢集上執行操作

例如,以下原則提供在叢集中任何儲存桶上設定物件轉換生命週期管理規則的權限

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "admin:SetTier",
               "admin:ListTier"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteTierManagement"
      },
      {
            "Action": [
               "s3:PutLifecycleConfiguration",
               "s3:GetLifecycleConfiguration"
            ],
            "Resource": [
                        "arn:aws:s3:::*"
            ],
            "Effect": "Allow",
            "Sid": "EnableLifecycleManagementRules"
      }
   ]
}

必要的遠端 MinIO 權限

物件轉換生命週期管理規則需要在遠端儲存層上具有額外的權限。具體而言,MinIO 需要遠端層憑證提供對遠端儲存桶的讀取、寫入、列出和刪除權限。

例如,以下在遠端 MinIO 部署上的原則提供將物件轉換到遠端層及移出遠端層的必要權限

{
   "Version": "2012-10-17",
   "Statement": [
      {
            "Action": [
               "s3:ListBucket"
            ],
            "Effect": "Allow",
            "Resource": [
               "arn:aws:s3:::MyDestinationBucket"
            ],
            "Sid": ""
      },
      {
            "Action": [
               "s3:GetObject",
               "s3:PutObject",
               "s3:DeleteObject"
            ],
            "Effect": "Allow",
            "Resource": [
               "arn:aws:s3:::MyDestinationBucket/*"
            ],
            "Sid": ""
      }
   ]
}

修改 MinIO 分層物件的儲存桶的 Resource

請參閱存取管理文件,以取得有關設定所需權限的更完整指南。

遠端儲存桶必須存在

在使用該儲存桶作為目標設定生命週期管理層或規則之前,建立遠端儲存桶。

如果遠端儲存桶包含現有資料,請使用 prefix 功能,將轉換的物件與該儲存桶上的任何其他物件隔離。

考量事項

生命週期管理物件掃描器

MinIO 使用 掃描器程序來檢查物件是否符合所有已設定的生命週期管理規則。由於高 I/O 工作負載或有限的系統資源而導致的掃描速度緩慢可能會延遲生命週期管理規則的應用。

對遠端資料的獨佔存取權

MinIO *需要*對遠端儲存層上的轉換資料具有獨佔存取權。“熱” MinIO 來源上的物件中繼資料與“溫/冷”遠端層上的物件資料緊密連結。MinIO 無法在沒有存取遠端的情況下檢索物件資料,遠端也不能用於還原來源上遺失的中繼資料。

對轉換物件的所有存取 *必須*僅透過 MinIO 透過 S3 API 操作進行。手動修改轉換的物件(無論是“熱” MinIO 層上的中繼資料,*或*遠端“溫/冷”層上的物件資料)都可能導致該物件資料遺失。

MinIO 會忽略遠端儲存桶或儲存桶前置字元中任何未由 MinIO 部署明確管理的物件。自動轉換和透明物件檢索取決於以下假設

  • 遠端儲存上物件的外部沒有變更、遷移或刪除。

  • 遠端儲存桶上沒有生命週期管理規則(例如轉換或到期)。

MinIO 會將所有轉換的物件儲存在遠端儲存桶或資源下,並使用每個部署的唯一前置字元值。此值不旨在支援從後端識別來源部署。MinIO 在設定遠端目標時支援額外的選用人類可讀前置字元,這有助於執行與診斷、維護或災難復原相關的操作。

MinIO 建議為包含其他資料的遠端儲存層指定此選用前置字元,包括來自其他 MinIO 部署的轉換物件。本教學課程包含設定此前置字元的必要語法。

遠端資料的可用性

MinIO 分層行為取決於遠端儲存是否在收到請求後立即 (毫秒到秒) 回傳物件。因此,MinIO *無法*支援需要重新水合、等待時間或手動介入的遠端儲存。

MinIO 會為每個轉換的物件建立中繼資料,以識別其在遠端儲存上的位置。應用程式無法在不依賴 MinIO 的情況下輕鬆識別和存取轉換的物件。因此,轉換資料的可用性取決於 抹除碼和分散式部署拓撲為 MinIO 部署上所有物件提供的相同核心保護。使用物件轉換不會提供任何額外的業務持續性或災難復原優勢。

需要 BC/DR 保護的工作負載應實作 MinIO 伺服器端複寫。複寫可確保物件保留在遠端複寫網站上,以便您在發生部分或全部資料遺失時從遠端重新同步。請參閱重新同步 (災難復原)以取得有關使用複寫在部分或全部資料遺失後進行復原的更完整文件。

程序

1) 設定生命週期管理的使用者帳戶和原則

此步驟會在 MinIO 部署上建立使用者和原則,以支援生命週期管理操作。如果部署已經有具有必要權限的使用者,您可以略過此步驟。

以下範例使用 Alpha 作為 MinIO 部署的佔位符別名。將此值替換為您正在設定生命週期管理規則的 MinIO 部署的適當別名。將密碼 LongRandomSecretKey 替換為長、隨機且安全的金鑰,並根據貴組織產生密碼的最佳做法進行。

wget -O - https://minio.dev.org.tw/docs/minio/linux/examples/LifecycleManagementAdmin.json | \
mc admin policy create Alpha LifecycleAdminPolicy /dev/stdin
mc admin user add Alpha alphaLifecycleAdmin LongRandomSecretKey
mc admin policy attach Alpha LifecycleAdminPolicy --user=alphaLifecycleAdmin

此範例假設指定的別名具有在部署上建立原則和使用者的必要權限。請參閱使用者管理MinIO 基於原則的存取控制,以取得有關 MinIO 使用者和原則的更完整文件。

2) 設定遠端儲存層

使用 mc ilm tier add 命令將遠端 MinIO 部署新增為新的遠端儲存層

mc ilm tier add minio TARGET TIER_NAME  \
   --endpoint https://HOSTNAME       \
   --access-key ACCESS_KEY           \
   --secret-key SECRET_KEY           \
   --bucket BUCKET                   \
   --prefix PREFIX                   \
   --storage-class STORAGE_CLASS     \
   --region REGION

上述範例使用以下引數

引數

描述

ALIAS

要在其上設定 MinIO 遠端層的 MinIO 部署的別名

TIER_NAME

要與新 MinIO 遠端儲存層建立關聯的名稱。以全大寫字母指定名稱,例如 MINIO_WARM_TIER。下一步需要此值。

HOSTNAME

MinIO 儲存後端的 URL 端點。

ACCESS_KEY

MinIO 用於存取儲存桶的存取金鑰。存取金鑰*必須*對應到具有必要權限的 IAM 使用者。

SECRET_KEY

指定 ACCESS_KEY 的對應秘密金鑰。

BUCKET

遠端 MinIO 部署上 SOURCE 轉換物件的儲存桶名稱。

PREFIX

MinIO 在其中轉換物件的選用儲存桶前置字元。

MinIO 會將所有轉換的物件儲存在指定 BUCKET 下,並使用每個部署的唯一前置字元值。省略此引數僅使用該值來隔離和組織遠端儲存中的資料。

MinIO 建議為包含其他資料的遠端儲存層指定此選用前置字元,包括來自其他 MinIO 部署的轉換物件。此前置字元應提供回溯至來源 MinIO 部署的明確參考,以方便執行與診斷、維護或災難復原相關的操作。

STORAGE_CLASS

MinIO 套用至轉換到遠端 MinIO 儲存桶的物件的抹除碼儲存類別。指定以下其中一個支援的儲存類別

  • STANDARD *建議*

  • REDUCED

REGION

指定 BUCKET 的 MinIO 區域。

MinIO 部署通常不需要在設定時設定區域。僅當您為部署明確設定 MINIO_SITE_REGION 設定時,才包含此選項。

3) 建立並套用轉換規則

使用 mc ilm rule add 命令,為儲存桶建立新的轉換規則。以下範例設定在指定的日曆天數之後轉換

mc ilm rule add ALIAS/BUCKET \
--transition-tier TIERNAME \
--transition-days DAYS \
--noncurrent-transition-days NONCURRENT_DAYS
--noncurrent-transition-tier TIERNAME

上述範例指定以下引數

引數

描述

ALIAS

指定您要為其建立生命週期管理規則的 MinIO 部署的別名

BUCKET

指定您要為其建立生命週期管理規則的儲存桶完整路徑。

層級名稱

MinIO 將物件轉換到的遠端儲存層級。指定在上一步驟中建立的遠端儲存層級名稱。

如果您想將非現行物件版本轉換到不同的遠端層級,請為 --noncurrent-transition-tier 指定不同的層級名稱。

天數

MinIO 將物件標記為符合轉換條件的日曆天數。將天數指定為整數,例如 30 表示 30 天。

非現行天數

MinIO 將非現行物件版本標記為符合轉換條件的日曆天數。MinIO 特別衡量物件變成非現行版本後的時間,而不是物件建立的時間。將天數指定為整數,例如 90 表示 90 天。

省略此值以忽略非現行物件版本。

此選項對非版本化儲存桶沒有影響。

4) 驗證轉換規則

使用 mc ilm rule ls 命令來檢閱已設定的轉換規則

mc ilm rule ls ALIAS/PATH --transition
  • ALIAS 替換為 MinIO 部署的 alias

  • PATH 替換為要檢索已設定生命週期管理規則的儲存桶名稱。