文件

批次複製

MinIO 版本新增:RELEASE.2022-10-08T20-11-00Z

批次框架是在 mc RELEASE.2022-10-08T20-11-00Z 中引入的 replicate 工作類型。

MinIO 批次框架允許您使用 YAML 格式的工作定義檔案(「批次檔案」)建立、管理、監控和執行工作。批次工作直接在 MinIO 部署上執行,以利用伺服器端處理能力,而不會受到您執行 MinIO 用戶端 之本機的限制。

replicate 批次工作將物件從一個 MinIO 部署(來源 部署)複製到另一個 MinIO 部署(目標 部署)。來源目標 **必須** 是本機部署。

與使用 mc mirror 相比,MinIO 部署之間的批次複製具有以下優勢

  • 消除了用戶端到叢集網路作為潛在瓶頸

  • 使用者只需要存取權限來啟動批次工作,而無需其他權限,因為該工作完全在叢集上的伺服器端執行

  • 該工作在物件未複製的情況下提供了重試嘗試

  • 批次工作是一次性的、經過策劃的處理程序,允許精細控制複製

  • (僅限 MinIO 到 MinIO) 複製過程會將來源到目標的物件版本複製

MinIO 版本變更:伺服器 RELEASE.2023-02-17T17-52-43Z

透過指定 MINIO_BATCH_REPLICATION_WORKERS 環境變數,可以平行使用多個工作者執行批次複製。

從 MinIO 伺服器版本 RELEASE.2023-05-04T21-44-30Z 開始,其他部署可以是另一個 MinIO 部署,或是任何使用即時儲存類別且與 S3 相容的位置。 使用複製 YAML 檔案中的篩選選項,排除儲存在需要重新水合或其他還原方法才能提供請求物件的位置中的物件。 對於這些類型的遠端位置的批次複製,會使用 mc mirror 行為。

行為

存取控制與需求

批次複製與儲存桶複製有類似的存取和權限要求。

「來源」部署的憑證必須具有類似以下的原則:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "admin:SetBucketTarget",
                "admin:GetBucketTarget"
            ],
            "Effect": "Allow",
            "Sid": "EnableRemoteBucketConfiguration"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:GetBucketLocation",
                "s3:GetBucketVersioning",
                "s3:GetObjectRetention",
                "s3:GetObjectLegalHold",
                "s3:PutReplicationConfiguration"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicationRuleConfiguration"
        }
    ]
}

「遠端」部署的憑證必須具有類似以下的原則:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:GetBucketLocation",
                "s3:GetBucketVersioning",
                "s3:GetBucketObjectLockConfiguration",
                "s3:GetEncryptionConfiguration"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicationOnBucket"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetReplicationConfiguration",
                "s3:ReplicateTags",
                "s3:AbortMultipartUpload",
                "s3:GetObject",
                "s3:GetObjectVersion",
                "s3:GetObjectVersionTagging",
                "s3:PutObject",
                "s3:PutObjectRetention",
                "s3:PutBucketObjectLockConfiguration",
                "s3:PutObjectLegalHold",
                "s3:DeleteObject",
                "s3:ReplicateObject",
                "s3:ReplicateDelete"
            ],
            "Resource": [
                "arn:aws:s3:::*"
            ],
            "Sid": "EnableReplicatingDataIntoBucket"
        }
    ]
}

請參閱 mc admin usermc admin user svcacctmc admin policy,以取得有關將使用者、存取金鑰和原則新增至 MinIO 部署的更完整文件。

針對 Active Directory/LDAPOpenID Connect 使用者管理設定的 MinIO 部署,可以改為建立專用的 存取金鑰,以支援批次複製。

篩選複製目標

批次作業定義檔案可以藉由儲存桶、字首和/或篩選器來限制複製,僅複製特定物件。複製程序對物件和儲存桶的存取可能會受到您在來源或目標目的地的 YAML 中提供的憑證限制。

在版本 MinIO 中變更:伺服器版本 RELEASE.2023-04-07T05-28-58Z

您可以從遠端 MinIO 部署複製到執行批次作業的本機部署。

例如,您可以使用批次作業執行一次性複製同步,將物件從本機部署上位於 minio-local/invoices/ 的儲存桶推送至遠端部署上位於 minio-remote/invoices 的儲存桶。您也可以將物件從遠端部署上位於 minio-remote/invoices 的位置提取到本機部署上位於 minio-local/invoices 的位置。

小型檔案最佳化

RELEASE.2023-12-09T18-17-51Z 開始,批次複製預設會自動批次處理並壓縮小於 5MiB 的物件,以有效率地在來源和遠端之間傳輸資料。遠端 MinIO 部署可以檢查並立即將生命週期管理分層規則套用到批次處理的物件。此功能類似於 S3 Snowball Edge 小型檔案批次處理所提供的功能。

您可以在 複製作業設定中修改壓縮設定。

複製批次作業參考

YAML **必須**定義來源和目標部署。如果來源部署是遠端部署,則目標部署**必須**是 local。或者,YAML 也可以定義旗標,以篩選要複製的物件、傳送作業通知,或定義作業的重試次數。

在版本 MinIO 中變更:RELEASE.2023-04-07T05-28-58Z

您可以從遠端 MinIO 部署複製到執行批次作業的本機部署。

在版本 MinIO 中變更:RELEASE.2024-08-03T04-33-23Z

此版本引入了批次作業複製 API 的新版本 v2。更新的 API 可讓您列出來源上的多個字首以進行複製。若要從來源複製多個字首,請將 replicate.apiVersion 指定為 v2

replicate:
  apiVersion: v2
  source:
    type: minio
    bucket: mybucket
    prefix:
      - prefix1
      - prefix2
...

對於來源部署

  • 必要資訊

    type

    必須是 minio

    bucket

    部署上的儲存桶。

  • 選用資訊

    prefix

    應複製的物件上的字首。
    從 MinIO 伺服器 RELEASE.2024-08-03T04-33-23Z 開始,批次作業複製 API 的 v2 允許您列出多個字首。
    指定 replicate.apiVersionv2 以從多個字首進行複製。

    endpoint

    用於複製批次作業的來源或目標之部署位置。
    例如,https://minio.example.net

    如果部署是指定給命令的 mc alias set,請省略此欄位以指示 MinIO 將該別名用於端點和憑證值。
    來源部署遠端部署必須「本機」別名。
    非「本機」部署必須指定 endpointcredentials

    path

    指示 MinIO 使用路徑或虛擬樣式 (DNS) 查閱儲存桶。

    - 指定 on 以用於路徑樣式
    - 指定 off 以用於虛擬樣式
    - 指定 auto 以讓 MinIO 判斷正確的查閱樣式。

    預設為 auto

    credentials

    授予物件存取權的 accesskey:secretKey:sessionToken:
    僅針對非 本機部署指定。

    snowball

    新增版本:RELEASE.2023-12-09T18-17-51Z

    用於控制批次處理和壓縮功能的組態選項。

    snowball.disable

    指定 true 以在複製期間停用批次處理和壓縮功能。
    預設為 false

    snowball.batch

    指定要批次處理以進行壓縮的物件最大整數。
    預設為 100

    snowball.inmemory

    指定 false 以使用本機儲存來暫存封存,或指定 true 以暫存至記憶體 (RAM)。
    預設為 true

    snowball.compress

    指定 true 以使用 S2/Snappy 壓縮演算法來產生透過網路壓縮的批次物件。
    預設為 false 或不壓縮。

    snowball.smallerThan

    指定 MinIO 應批次處理物件的大小,單位為兆位元組 (MiB)。
    預設為 5MiB

    snowball.skipErrs

    指定 false 以指示 MinIO 停止處理任何在讀取時產生錯誤的物件。
    預設為 true

對於目標部署

  • 必要資訊

    type

    必須是 minio

    bucket

    部署上的儲存桶。

  • 選用資訊

    prefix

    要複製的物件上的字首。

    endpoint

    目標部署的位置。

    如果目標是指定給命令的 別名,您可以省略此欄位和 credentials 欄位。
    如果目標是「本機」,則來源必須使用 endpointcredentials 指定遠端部署。

    credentials

    授予物件存取權的 accesskeysecretKeysessionToken

對於篩選器

newerThan

表示時間長度的字串,格式為 #d#h#s

僅複製比指定時間長度新的物件。例如,7d24h5d12h30s 都是有效的字串。

olderThan

表示時間長度的字串,格式為 #d#h#s

僅複製比指定時間長度舊的物件。

createdAfter

格式為 YYYY-MM-DD 的日期。

僅複製在此日期之後建立的物件。

createdBefore

格式為 YYYY-MM-DD 的日期。

僅複製在此日期之前建立的物件。

對於通知

endpoint

用於傳送通知事件的預定義端點。

token

一個可選的 JWT <JSON Web Token>,用於存取 endpoint

對於重試次數

如果某個因素中斷了任務,您可以定義重試任務批次的次數。對於每次重試,您還可以定義每次嘗試之間的等待時間。

attempts

在放棄之前完成批次任務的嘗試次數。

delay

每次嘗試之間等待的最短時間。

用於 replicate 任務類型的 YAML 描述檔案範例

使用 mc batch generate 來建立基本的 replicate 批次任務,以進行進一步的自訂。

對於 local 部署,請勿指定端點或憑證。請刪除或註解來源或目標區段的這些行,具體取決於哪個是 local

replicate:
  apiVersion: v1
  # source of the objects to be replicated
  source:
    type: TYPE # valid values are "s3" or "minio"
    bucket: BUCKET
    prefix: PREFIX # 'PREFIX' is optional
    # If your source is the 'local' alias specified to 'mc batch start', then the 'endpoint' and 'credentials' fields are optional and can be omitted
    # Either the 'source' or 'remote' *must* be the "local" deployment
    endpoint: "http[s]://HOSTNAME:PORT" 
    # path: "on|off|auto" # "on" enables path-style bucket lookup. "off" enables virtual host (DNS)-style bucket lookup. Defaults to "auto"
    credentials:
      accessKey: ACCESS-KEY # Required
      secretKey: SECRET-KEY # Required
    # sessionToken: SESSION-TOKEN # Optional only available when rotating credentials are used
    snowball: # automatically activated if the source is local
      disable: false # optionally turn-off snowball archive transfer
      batch: 100 # upto this many objects per archive
      inmemory: true # indicates if the archive must be staged locally or in-memory
      compress: false # S2/Snappy compressed archive
      smallerThan: 5MiB # create archive for all objects smaller than 5MiB
      skipErrs: false # skips any source side read() errors

  # target where the objects must be replicated
  target:
    type: TYPE # valid values are "s3" or "minio"
    bucket: BUCKET
    prefix: PREFIX # 'PREFIX' is optional
    # If your source is the 'local' alias specified to 'mc batch start', then the 'endpoint' and 'credentials' fields are optional and can be omitted

    # Either the 'source' or 'remote' *must* be the "local" deployment
    endpoint: "http[s]://HOSTNAME:PORT"
    # path: "on|off|auto" # "on" enables path-style bucket lookup. "off" enables virtual host (DNS)-style bucket lookup. Defaults to "auto"
    credentials:
      accessKey: ACCESS-KEY
      secretKey: SECRET-KEY
    # sessionToken: SESSION-TOKEN # Optional only available when rotating credentials are used

  # NOTE: All flags are optional
  # - filtering criteria only applies for all source objects match the criteria
  # - configurable notification endpoints
  # - configurable retries for the job (each retry skips successfully previously replaced objects)
  flags:
    filter:
      newerThan: "7d" # match objects newer than this value (e.g. 7d10h31s)
      olderThan: "7d" # match objects older than this value (e.g. 7d10h31s)
      createdAfter: "date" # match objects created after "date"
      createdBefore: "date" # match objects created before "date"

      ## NOTE: tags are not supported when "source" is remote.
      # tags:
      #   - key: "name"
      #     value: "pick*" # match objects with tag 'name', with all values starting with 'pick'

      # metadata:
      #   - key: "content-type"
      #     value: "image/*" # match objects with 'content-type', with all values starting with 'image/'

    notify:
      endpoint: "https://notify.endpoint" # notification endpoint to receive job status events
      token: "Bearer xxxxx" # optional authentication token for the notification endpoint

    retry:
      attempts: 10 # number of retries for the job before giving up
      delay: "500ms" # least amount of delay between each retry