文件

物件掃描器

概觀

MinIO 使用內建掃描器檢查物件是否需要修復,並採取任何排定的物件動作。此類動作可能包括

掃描器在兩個層級執行這些功能:叢集和儲存桶。在叢集層級,掃描器將所有儲存桶分成群組,並一次掃描一組儲存桶。掃描器從上次掃描以來新增的任何新儲存桶開始,然後隨機掃描其他儲存桶。掃描器會在開始新的一組掃描之前,完成所有儲存桶群組的檢查。

在儲存桶層級,掃描器將儲存桶中的項目分組,並掃描該儲存桶中選定的項目。掃描器會根據物件名稱的雜湊值選擇要掃描的物件。在 16 次掃描中,MinIO 會檢查命名空間中的每個物件。MinIO 會完整掃描自上次掃描以來已知是新的任何前綴。

掃描長度

多個因素會影響掃描完成所需的時間。

其中一些因素包括

  • 提供給 MinIO 的硬碟類型

  • 可用的輸送量和 iops

  • 物件的數量和大小

  • MinIO 伺服器上的其他活動

例如,依預設,MinIO 會暫停掃描器,以便為讀取和寫入請求提供 I/O 操作。這可能會延長掃描完成所需的時間。

MinIO 在每次掃描之間會等待一段時間,這個時間長度是基於每次掃描操作完成所需時間的倍數。預設情況下,這個倍數的值為 10.0,這表示 MinIO 在一次掃描完成後,會等待 10 倍於該次操作時間的長度,才會開始下一次掃描。這個倍數的值會根據設定的掃描器速度設定而改變。

掃描器效能

許多因素會影響掃描器的效能。其中一些因素包括:

  • 可用的節點資源

  • 叢集的大小

  • 相對於磁碟機數量的 Erasure Set 數量

  • 儲存桶階層的複雜度(物件和前綴)。

例如,一個從 100TB 資料開始,然後成長到 200TB 資料的叢集,在相同的硬體和工作負載下,可能需要更多時間來掃描整個儲存桶和物件的命名空間。同樣地,一個包含 16 個磁碟機的單一 Erasure Set,會比相同數量的磁碟機分成兩個各 8 個磁碟機的 Erasure Set 需要更長的掃描時間。

MinIO 將掃描器視為背景任務,並且會暫停掃描器以優先完成叢集上的讀取和寫入請求。隨著叢集或工作負載的增加,掃描器效能會降低,因為它會更頻繁地讓步,以確保正常 S3 操作的優先順序。

您可以使用 MINIO_SCANNER_SPEED 環境變數或 scanner speed 設定,來調整 MinIO 如何平衡掃描器效能與讀寫操作。

掃描器指標

MinIO 提供許多與掃描器相關的指標

使用 mc admin scanner info 來查看掃描器的當前狀態以及上次完整掃描以來的時間。這有助於了解掃描器操作提供的指標。

掃描器指標(包括使用量指標)會反映上次完成的掃描。PUTDELETE 操作自上次掃描以來所做的更改,直到下次掃描受影響的儲存桶時才會更新在用量中。

輸出結果類似以下:

Overall Statistics
------------------
Last full scan time:   0d0h14m; Estimated 2885.28/month
Current cycle:         70464; Started: 2024-04-19 20:02:34.568479139 +0000 UTC
Active drives:         2

Last Minute Statistics
----------------------
Objects Scanned:       620 objects; Avg: 124.929µs; Rate: 892800/day
Versions Scanned:      620 versions; Avg: 2.801µs; Rate: 892800/day
Versions Heal Checked: 0 versions; Avg: 0ms
Read Metadata:         621 objects; Avg: 88.416µs, Size:
ILM checks:            656 versions; Avg: 663ns
Check Replication:     656 versions; Avg: 1.061µs
Verify Deleted:        0 folders; Avg: 0ms
Yield:                 3.086s total; Avg: 4.705ms/obj