文件

發佈事件至 Elasticsearch

MinIO 支援將儲存桶通知事件發佈至Elasticsearch服務端點。

MinIO 依賴https://github.com/elastic/go-elasticsearch v7 專案進行 Elastic 連線。

將 Elasticsearch 端點新增至 MinIO 部署

以下程序新增一個新的 Elasticsearch 服務端點,以支援 MinIO 部署中的儲存桶通知

先決條件

Elasticsearch v7.0 及更新版本

MinIO 依賴https://github.com/olivere/elastic v7 專案進行 Elastic 連線。elastic/v7程式庫專門針對 Elasticsearch v7.0,並且與*較早版本的 Elasticsearch 不相容*。

MinIO mc命令列工具

此程序針對某些操作使用mc命令列工具。請參閱mc快速入門以取得安裝說明。

1) 將 Elasticsearch 端點新增至 MinIO

您可以使用環境變數*或*設定執行時間組態設定來設定新的 Elasticsearch 服務端點。

MinIO 支援使用環境變數來指定 Elasticsearch 服務端點和相關的組態設定。 minio server 處理程序會在下次啟動時套用指定的設定。

以下範例程式碼設定了所有與設定 Elasticsearch 服務端點相關的環境變數。 最低必要的變數為

set MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"
  • <IDENTIFIER> 取代為目標服務端點的唯一描述性字串。 對於與新目標服務端點相關的所有環境變數,使用相同的 <IDENTIFIER> 值。 以下範例假設識別符為 PRIMARY

    如果指定的 <IDENTIFIER> 與 MinIO 部署上現有的 Elasticsearch 服務端點相符,則新設定會覆寫該端點的任何現有設定。 使用 mc admin config get notify_elasticsearch 來檢閱 MinIO 部署上目前已設定的 Elasticsearch 端點。

  • <ENDPOINT> 取代為 Elasticsearch 服務端點的 URL。 例如

請參閱儲存貯體通知的 Elasticsearch 服務,以取得每個環境變數的完整文件。

MinIO 支援使用 mc admin config set 命令和 notify_elasticsearch 組態金鑰,在執行中的 minio server 處理程序上新增或更新 Elasticsearch 端點。 您必須重新啟動 minio server 處理程序,才能套用任何新的或更新的組態設定。

以下範例程式碼設定了所有與設定 Elasticsearch 服務端點相關的設定。 最低必要的設定為

mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
   url="ENDPOINT" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"
  • IDENTIFIER 取代為 Elasticsearch 服務端點的唯一描述性字串。 此程序中的以下範例假設識別符為 PRIMARY

    如果指定的 IDENTIFIER 與 MinIO 部署上現有的 Elasticsearch 服務端點相符,則新設定會覆寫該端點的任何現有設定。 使用 mc admin config get notify_elasticsearch 來檢閱 MinIO 部署上目前已設定的 Elasticsearch 端點。

  • ENDPOINT 取代為 Elasticsearch 服務端點的 URL。 例如

    https://user:password@hostname:port

請參閱Elasticsearch 儲存貯體通知組態設定,以取得每個設定的完整文件。

2) 重新啟動 MinIO 部署

您必須重新啟動 MinIO 部署才能套用組態變更。 使用 mc admin service restart 命令來重新啟動部署。

mc admin service restart ALIAS

ALIAS 取代為要重新啟動之部署的別名

minio server 處理程序會在啟動時為每個已設定的 Elasticsearch 目標列印一行,類似於以下內容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

使用相關的 Elasticsearch 部署作為目標來設定儲存貯體通知時,您必須指定 ARN 資源。

識別您的儲存貯體通知的 ARN

您在先前建立端點時,定義了要指派給儲存貯體通知目標 ARN 的 <IDENTIFIER>。 以下步驟會傳回部署上已設定的 ARN。 透過尋找您指定的 <IDENTIFIER> 來識別先前建立的 ARN。

檢閱 JSON 輸出

  1. 複製並執行以下命令,將 ALIAS 取代為部署的別名

    mc admin info --json ALIAS
    
  2. 在 JSON 輸出中,尋找金鑰 info.sqsARN

    您需要的 ARN 是與您指定的 <IDENTIFIER> 相符的金鑰值。

    例如,arn:minio:sqs::primary:elasticsearch

使用 jq 來剖析 JSON 以取得值

  1. 安裝 jq

  2. 複製並執行以下命令,將 ALIAS 取代為部署的別名

    mc admin info --json ALIAS | jq  .info.sqsARN
    

    這會傳回用於通知的 ARN,例如 arn:minio:sqs::primary:elasticsearch

3) 使用 Elasticsearch 端點作為目標來設定儲存貯體通知

使用 mc event add 命令新增以已設定的 Elasticsearch 服務作為目標的儲存貯體通知事件

mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
  --event EVENTS
  • ALIAS 取代為 MinIO 部署的別名

  • BUCKET 取代為要在其中設定事件的儲存貯體名稱。

  • EVENTS 取代為 MinIO 觸發通知的事件的逗號分隔清單。

使用 mc event ls 來檢視指定通知目標的所有已設定儲存貯體事件

mc event ls ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch

4) 驗證已設定的事件

針對您設定新事件的儲存貯體執行動作,並檢查 Elasticsearch 服務的通知資料。 所需的動作取決於在設定儲存貯體通知時指定的事件

例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在儲存貯體中建立新物件並觸發通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

更新 MinIO 部署中的 Elasticsearch 端點

以下程序會更新現有的 Elasticsearch 服務端點,以支援 MinIO 部署中的儲存貯體通知

先決條件

Elasticsearch v7.0 及更新版本

MinIO 依賴https://github.com/olivere/elastic v7 專案進行 Elastic 連線。elastic/v7程式庫專門針對 Elasticsearch v7.0,並且與*較早版本的 Elasticsearch 不相容*。

MinIO mc 命令列工具

此程序針對某些操作使用mc命令列工具。請參閱mc快速入門以取得安裝說明。

1) 列出部署中已設定的 Elasticsearch 端點

使用 mc admin config get 命令列出部署中目前已設定的 Elasticsearch 服務端點

mc admin config get ALIAS/ notify_elasticsearch

ALIAS 取代為 MinIO 部署的別名

命令輸出類似於以下內容

notify_elasticsearch:primary  queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0"  url="https://user:password@hostname:port" format="namespace" index=""

notify_elasticsearch 鍵是 Elasticsearch 通知設定 的頂層設定鍵。url 鍵指定給定 notify_elasticsearch 鍵的 Elasticsearch 服務端點。notify_elasticsearch:<IDENTIFIER> 後綴描述該 Elasticsearch 服務端點的唯一識別符。

請注意您要在下一步更新的 Elasticsearch 服務端點的識別符。

2) 更新 Elasticsearch 端點

使用 mc admin config set 命令來設定 Elasticsearch 服務端點的新設定。

mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
   url="https://user:password@hostname:port" \
   index="<string>" \
   format="<string>" \
   username="<string>" \
   password="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

notify_elasticsearch url 設定是 Elasticsearch 服務端點所需的最低限度設定。所有其他設定都是可選的。請參閱 Elasticsearch 通知設定 以取得 Elasticsearch 設定的完整列表。

3) 重新啟動 MinIO 部署

您必須重新啟動 MinIO 部署才能套用組態變更。 使用 mc admin service restart 命令來重新啟動部署。

mc admin service restart ALIAS

ALIAS 取代為要重新啟動之部署的別名

minio server 處理程序會在啟動時為每個已設定的 Elasticsearch 目標列印一行,類似於以下內容

SQS ARNs: arn:minio:sqs::primary:elasticsearch

4) 驗證變更

對使用更新後的 Elasticsearch 服務端點設定事件組態的儲存桶執行操作,並檢查 Elasticsearch 服務是否有通知資料。所需的操作取決於設定儲存桶通知時指定的 events

例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put 事件,您可以使用 mc cp 命令在儲存貯體中建立新物件並觸發通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET