文件

發布事件到 Kafka

MinIO 支援將儲存貯體通知事件發布到 Kafka 服務端點。

MinIO 依賴 https://github.com/Shopify/sarama 專案進行 Kafka 連線,並共享該專案的 Kafka 支援。如需更多詳細資訊,請參閱 sarama 相容性和 API 穩定性章節。

將 Kafka 端點新增至 MinIO 部署

以下程序會新增一個新的 Kafka 服務端點,以支援 MinIO 部署中的儲存貯體通知

先決條件

Kafka 最低版本和支援版本

MinIO 依賴 https://github.com/Shopify/sarama 專案進行 Kafka 連線,並共享該專案的 Kafka 支援。如需更多詳細資訊,請參閱 sarama 相容性和 API 穩定性章節。

MinIO mc 命令列工具

此程序會使用 mc 命令列工具執行某些動作。如需安裝指示,請參閱 mc 快速入門

1) 將 Kafka 端點新增至 MinIO

您可以使用環境變數設定執行階段組態設定來設定新的 Kafka 服務端點。

MinIO 支援使用環境變數來指定 Kafka 服務端點和相關聯的組態設定。minio server 程序會在下次啟動時套用指定的設定。

以下範例程式碼設定所有與設定 Kafka 服務端點相關的環境變數。 最低必要的變數為 MINIO_NOTIFY_KAFKA_ENABLEMINIO_NOTIFY_KAFKA_BROKERS

set MINIO_NOTIFY_KAFKA_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_KAFKA_BROKERS_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_KAFKA_TOPIC_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_SASL_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_SASL_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_SASL_MECHANISM_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_TLS_CLIENT_AUTH_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_SASL_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_TLS_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_TLS_SKIP_VERIFY_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_CLIENT_TLS_CERT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_CLIENT_TLS_KEY_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_VERSION_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_KAFKA_COMMENT_<IDENTIFIER>="<string>"
  • <識別符號> 取代為 Kafka 服務端點的唯一描述性字串。 對於與新目標服務端點相關的所有環境變數,使用相同的 <識別符號> 值。 以下範例假設識別符號為 PRIMARY

    如果指定的 <識別符號> 符合 MinIO 部署上現有的 Kafka 服務端點,則新設定會覆寫該端點的任何現有設定。 使用 mc admin config get notify_kafka 來檢閱 MinIO 部署上目前設定的 Kafka 端點。

  • <端點> 取代為以逗號分隔的 Kafka 代理程式清單。 例如

    "kafka1.example.com:2021,kafka2.example.com:2021"

請參閱用於儲存貯體通知的 Kafka 服務,以取得每個環境變數的完整文件。

MinIO 支援使用 mc admin config set 命令和 notify_kafka 組態金鑰,在執行的 minio server 程序上新增或更新 Kafka 端點。 您必須重新啟動 minio server 程序,以套用任何新的或已更新的組態設定。

以下範例程式碼設定與設定 Kafka 服務端點相關的所有設定。 最低必要的設定為 notify_kafka brokers

mc admin config set ALIAS/ notify_kafka:IDENTIFIER \
   brokers="<ENDPOINT>" \
   topic="<string>" \
   sasl_username="<string>" \
   sasl_password="<string>" \
   sasl_mechanism="<string>" \
   tls_client_auth="<string>" \
   tls="<string>" \
   tls_skip_verify="<string>" \
   client_tls_cert="<string>" \
   client_tls_key="<string>" \
   version="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"
  • 識別符號 取代為 Kafka 服務端點的唯一描述性字串。 此程序中的以下範例假設識別符號為 PRIMARY

    如果指定的 識別符號 符合 MinIO 部署上現有的 Kafka 服務端點,則新設定會覆寫該端點的任何現有設定。 使用 mc admin config get notify_kafka 來檢閱 MinIO 部署上目前設定的 Kafka 端點。

  • 端點 取代為以逗號分隔的 Kafka 代理程式清單。 例如

    "kafka1.example.com:2021,kafka2.example.com:2021"

請參閱Kafka 儲存貯體通知組態設定,以取得每個設定的完整文件。

2) 重新啟動 MinIO 部署

您必須重新啟動 MinIO 部署才能套用組態變更。 使用 mc admin service restart 命令來重新啟動部署。

mc admin service restart ALIAS

別名 取代為要重新啟動之部署的 別名

minio server 程序會在啟動時針對每個已設定的 Kafka 目標列印一行,類似如下所示

SQS ARNs: arn:minio:sqs::primary:kafka

在將儲存貯體通知設定為以相關 Kafka 部署作為目標時,您必須指定 ARN 資源。

識別您的儲存貯體通知的 ARN

在先前建立端點時,您已定義 <識別符號> 來指派給儲存貯體通知的目標 ARN。 以下步驟會傳回部署上設定的 ARN。 透過尋找您指定的 <識別符號> 來識別先前建立的 ARN。

檢閱 JSON 輸出

  1. 複製並執行以下命令,並將 別名 取代為部署的 別名

    mc admin info --json ALIAS
    
  2. 在 JSON 輸出中,尋找金鑰 info.sqsARN

    您需要的 ARN 是符合您指定的 <識別符號> 之金鑰的值。

    例如,arn:minio:sqs::primary:kafka

使用 jq 來剖析 JSON 的值

  1. 安裝 jq

  2. 複製並執行以下命令,並將 別名 取代為部署的 別名

    mc admin info --json ALIAS | jq  .info.sqsARN
    

    這會傳回用於通知的 ARN,例如 arn:minio:sqs::primary:kafka

3) 使用 Kafka 端點作為目標來設定儲存貯體通知

使用 mc event add 命令新增具有已設定 Kafka 服務做為目標的新儲存貯體通知事件

mc event add ALIAS/BUCKET arn:minio:sqs::primary:kafka \
  --event EVENTS
  • 別名 取代為 MinIO 部署的 別名

  • 儲存貯體 取代為要設定事件的儲存貯體名稱。

  • 事件 取代為以逗號分隔的 事件 清單,其中 MinIO 會觸發通知。

使用 mc event ls 來檢視指定通知目標的所有已設定儲存貯體事件

mc event ls ALIAS/BUCKET arn:minio:sqs::primary:kafka

4) 驗證已設定的事件

對您已設定新事件的儲存貯體執行動作,並檢查 Kafka 服務的通知資料。 所需的動作取決於設定儲存貯體通知時指定的 事件

例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在儲存貯體中建立新物件並觸發通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

更新 MinIO 部署中的 Kafka 端點

以下程序會更新現有的 Kafka 服務端點,以支援 MinIO 部署中的儲存貯體通知

先決條件

Kafka 最低版本和支援的版本

MinIO 依賴 https://github.com/Shopify/sarama 專案進行 Kafka 連線,並共享該專案的 Kafka 支援。如需更多詳細資訊,請參閱 sarama 相容性和 API 穩定性章節。

MinIO mc 命令列工具

此程序會使用 mc 命令列工具執行某些動作。如需安裝指示,請參閱 mc 快速入門

1) 列出部署中已設定的 Kafka 端點

使用 mc admin config get 命令列出部署中目前設定的 Kafka 服務端點。

mc admin config get ALIAS/ notify_kafka

ALIAS 替換為 MinIO 部署的 別名

命令輸出結果類似如下:

notify_kafka:primary tls_skip_verify="off"  queue_dir="" queue_limit="0" sasl="off" sasl_password="" sasl_username="" tls_client_auth="0" tls="off" brokers="" topic="" client_tls_cert="" client_tls_key="" version=""
notify_kafka:secondary tls_skip_verify="off"  queue_dir="" queue_limit="0" sasl="off" sasl_password="" sasl_username="" tls_client_auth="0" tls="off" brokers="" topic="" client_tls_cert="" client_tls_key="" version=""

notify_kafka 鍵是 Kafka 通知設定 的最上層設定鍵。brokers 鍵指定給定 notify_kafka 鍵的 Kafka 服務端點。notify_kafka:<IDENTIFIER> 後綴描述該 Kafka 服務端點的唯一識別碼。

請記下您要在下一步更新的 Kafka 服務端點的識別碼。

2) 更新 Kafka 端點

使用 mc admin config set 命令設定 Kafka 服務端點的新設定。

mc admin config set ALIAS/ notify_kafka:<IDENTIFIER> \
   brokers="https://kafka1.example.net:9200, https://kafka2.example.net:9200" \
   topic="<string>" \
   sasl_username="<string>" \
   sasl_password="<string>" \
   sasl_mechanism="<string>" \
   tls_client_auth="<string>" \
   tls="<string>" \
   tls_skip_verify="<string>" \
   client_tls_cert="<string>" \
   client_tls_key="<string>" \
   version="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

notify_kafka brokers 設定是 Kafka 服務端點所需的最低限度設定。所有其他設定都是選填的。請參閱 Kafka 通知設定 以取得 Kafka 設定的完整列表。

3) 重新啟動 MinIO 部署

您必須重新啟動 MinIO 部署才能套用組態變更。 使用 mc admin service restart 命令來重新啟動部署。

mc admin service restart ALIAS

別名 取代為要重新啟動之部署的 別名

minio server 程序會在啟動時針對每個已設定的 Kafka 目標列印一行,類似如下所示

SQS ARNs: arn:minio:sqs::primary:kafka

4) 驗證變更

對使用更新後的 Kafka 服務端點設定事件的儲存貯體執行操作,並檢查 Kafka 服務是否有通知資料。所需的操作取決於在設定儲存貯體通知時指定的 events

例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在儲存貯體中建立新物件並觸發通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET