將事件發佈至 Elasticsearch
MinIO 支援將 儲存桶通知 事件發佈至 Elasticsearch 服務端點。
MinIO 依賴 https://github.com/elastic/go-elasticsearch v7 專案進行 Elastic 連線。
將 Elasticsearch 端點新增至 MinIO 部署
以下程序會新增一個新的 Elasticsearch 服務端點,以支援 MinIO 部署中的儲存桶通知。
先決條件
Elasticsearch v7.0 及更高版本
MinIO 依賴 https://github.com/olivere/elastic v7 專案進行 Elastic 連線。elastic/v7
程式庫專門針對 Elasticsearch v7.0,並且與較早版本的 Elasticsearch 不相容。
MinIO mc
命令列工具
1) 將 Elasticsearch 端點新增至 MinIO
您可以使用環境變數或設定執行階段組態設定來設定新的 Elasticsearch 服務端點。
MinIO 支援使用 環境變數 指定 Elasticsearch 服務端點和相關的組態設定。minio server
處理程序會在下次啟動時套用指定的設定。
以下範例程式碼會設定與設定 Elasticsearch 服務端點相關的所有環境變數。最少需要的變數為
set MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
set MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
set MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
set MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"
將
<IDENTIFIER>
取代為目標服務端點的唯一描述性字串。針對與新目標服務端點相關的所有環境變數使用相同的<IDENTIFIER>
值。以下範例假設識別碼為PRIMARY
。如果指定的
<IDENTIFIER>
與 MinIO 部署上現有的 Elasticsearch 服務端點相符,則新設定會覆寫該端點的任何現有設定。使用mc admin config get notify_elasticsearch
來檢閱 MinIO 部署上目前設定的 Elasticsearch 端點。將
<ENDPOINT>
取代為 Elasticsearch 服務端點的 URL。例如
請參閱 用於儲存貯體通知的 Elasticsearch 服務,以取得每個環境變數的完整文件。
MinIO 支援使用 mc admin config set
命令和 notify_elasticsearch
組態金鑰,在執行中的 minio server
處理程序上新增或更新 Elasticsearch 端點。您必須重新啟動 minio server
處理程序,才能套用任何新的或更新的組態設定。
以下範例程式碼會設定與設定 Elasticsearch 服務端點相關的所有設定。最少需要的設定為
mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
url="ENDPOINT" \
index="<string>" \
format="<string>" \
username="<string>" \
password="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
將
IDENTIFIER
取代為 Elasticsearch 服務端點的唯一描述性字串。此程序中的以下範例假設識別碼為PRIMARY
。如果指定的
IDENTIFIER
與 MinIO 部署上現有的 Elasticsearch 服務端點相符,則新設定會覆寫該端點的任何現有設定。使用mc admin config get notify_elasticsearch
來檢閱 MinIO 部署上目前設定的 Elasticsearch 端點。將
ENDPOINT
取代為 Elasticsearch 服務端點的 URL。例如https://user:password@hostname:port
請參閱 Elasticsearch 儲存貯體通知組態設定,以取得每個設定的完整文件。
2) 重新啟動 MinIO 部署
您必須重新啟動 MinIO 部署才能套用組態變更。使用 mc admin service restart
命令重新啟動部署。
mc admin service restart ALIAS
將 ALIAS
取代為要重新啟動的部署的 別名。
minio server
處理程序會在啟動時,針對每個已設定的 Elasticsearch 目標列印類似於以下的行
SQS ARNs: arn:minio:sqs::primary:elasticsearch
當設定以相關聯的 Elasticsearch 部署為目標的儲存貯體通知時,您必須指定 ARN 資源。
識別您的儲存貯體通知的 ARN
您在先前建立端點時定義了 <IDENTIFIER>
,以將其指派給儲存貯體通知的目標 ARN。以下步驟會傳回在部署上設定的 ARN。尋找您指定的 <IDENTIFIER>
來識別先前建立的 ARN。
檢閱 JSON 輸出
複製並執行以下命令,將
ALIAS
取代為部署的 別名。mc admin info --json ALIAS
在 JSON 輸出中,尋找索引鍵
info.sqsARN
。您需要的 ARN 是符合您指定的
<IDENTIFIER>
的索引鍵值。例如,
arn:minio:sqs::primary:elasticsearch
。
使用 jq 來剖析 JSON 以取得值
3) 使用 Elasticsearch 端點作為目標來設定儲存貯體通知
使用 mc event add
命令新增新的儲存貯體通知事件,並將已設定的 Elasticsearch 服務作為目標
mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
--event EVENTS
使用 mc event ls
來檢視給定通知目標的所有已設定儲存貯體事件
mc event ls ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch
4) 驗證已設定的事件
在您設定新事件的儲存貯體上執行動作,並檢查 Elasticsearch 服務的通知資料。所需的動作取決於在設定儲存貯體通知時所指定的 events
。
例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put
事件,則可以使用 mc cp
命令在儲存貯體中建立新物件並觸發通知。
mc cp ~/data/new-object.txt ALIAS/BUCKET
更新 MinIO 部署中的 Elasticsearch 端點
以下程序會更新現有的 Elasticsearch 服務端點,以支援 MinIO 部署中的 儲存貯體通知。
先決條件
Elasticsearch v7.0 和更新版本
MinIO 依賴 https://github.com/olivere/elastic v7 專案進行 Elastic 連線。elastic/v7
程式庫專門針對 Elasticsearch v7.0,並且與較早版本的 Elasticsearch 不相容。
MinIO mc
命令列工具
1) 列出部署中已設定的 Elasticsearch 端點
使用 mc admin config get
命令列出部署中目前已設定的 Elasticsearch 服務端點。
mc admin config get ALIAS/ notify_elasticsearch
將 ALIAS
替換為 MinIO 部署的別名。
命令輸出結果類似如下:
notify_elasticsearch:primary queue_dir="" queue_limit="0" url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0" url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch
金鑰是Elasticsearch 通知設定的頂層組態金鑰。url
金鑰指定給定 notify_elasticsearch 金鑰的 Elasticsearch 服務端點。notify_elasticsearch:<IDENTIFIER>
後綴描述該 Elasticsearch 服務端點的唯一識別符。
記下您想要在下一步更新的 Elasticsearch 服務端點的識別符。
2) 更新 Elasticsearch 端點
使用 mc admin config set
命令為 Elasticsearch 服務端點設定新的組態。
mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
url="https://user:password@hostname:port" \
index="<string>" \
format="<string>" \
username="<string>" \
password="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
notify_elasticsearch url
組態設定是 Elasticsearch 服務端點所需的最低設定。所有其他組態設定都是選用的。請參閱 Elasticsearch 通知設定 以取得完整的 Elasticsearch 組態設定列表。
3) 重新啟動 MinIO 部署
您必須重新啟動 MinIO 部署才能套用組態變更。使用 mc admin service restart
命令重新啟動部署。
mc admin service restart ALIAS
將 ALIAS
取代為要重新啟動的部署的 別名。
minio server
處理程序會在啟動時,針對每個已設定的 Elasticsearch 目標列印類似於以下的行
SQS ARNs: arn:minio:sqs::primary:elasticsearch
4) 驗證變更
對具有使用已更新 Elasticsearch 服務端點的事件組態的儲存桶執行操作,並檢查 Elasticsearch 服務中的通知資料。所需的操作取決於在設定儲存桶通知時指定的事件
。
例如,如果儲存貯體通知組態包含 s3:ObjectCreated:Put
事件,則可以使用 mc cp
命令在儲存貯體中建立新物件並觸發通知。
mc cp ~/data/new-object.txt ALIAS/BUCKET