硬體檢查清單

網路

MinIO 建議使用高速網路，以支援連接儲存裝置（聚合磁碟機、儲存控制器和 PCIe 匯流排）的最大可能吞吐量。下表提供給定實體或虛擬網路介面所支援的最大儲存吞吐量的一般準則。此表假設所有網路基礎架構組件（例如路由器、交換器和實體纜線）也支援網路介面卡頻寬。

網路對 MinIO 效能的影響最大，其中每個主機的低頻寬會人為地限制儲存的潛在效能。以下網路吞吐量限制的範例假設使用持續 I/O 約為 100MB/s 的旋轉磁碟機。

• 1GbE 網路連結可支援高達 125MB/s，或一個旋轉磁碟機

• 10GbE 網路可支援大約 1.25GB/s，可能支援 10-12 個旋轉磁碟機

• 25GbE 網路可支援大約 3.125GB/s，可能支援約 30 個旋轉磁碟機

記憶體

記憶體主要限制每個節點的並行連線數。

您可以使用此公式計算每個節點的最大並行請求數

\(totalRam / ramPerRequest\)

要計算每個請求使用的 RAM 量，請使用此公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是預設的 erasure block 大小 v1。1 MiB 是預設的 erasure block 大小 v2。

下表列出基於主機磁碟機數量和可用系統 RAM 的節點上最大並行請求數

下表提供基於節點上本機儲存總量分配 MinIO 使用的記憶體的一般準則

儲存

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 診斷

執行內建的健康診斷工具。如果您可以存取 SUBNET，您可以將結果上傳到該處。

mc support diag ALIAS --airgap

將 ALIAS 替換為針對部署定義的 alias。

MinIO 支援診斷工具

對於向 MinIO SUBNET 註冊的部署，您可以執行內建的支援診斷工具。

執行三個 mc support perf 測試。

這些伺服器端測試會驗證網路、磁碟機和物件的吞吐量。請使用預設選項執行所有三個測試。

1. 網路測試

   在別名為 minio1 的叢集上執行網路吞吐量測試。

   mc support perf net minio1
   

2. 磁碟機測試

   針對別名為 minio1 的叢集，在所有節點上的所有磁碟機執行磁碟機讀取/寫入效能測量。此命令使用預設的區塊大小 4MiB。

   mc support perf drive minio1
   

3. 物件測試

   測量別名為 minio1 的物件 S3 讀取/寫入效能。MinIO 自動調整並行性以獲得最大的吞吐量和 IOPS（每秒輸入/輸出）。

   mc support perf object minio1
   

作業系統診斷工具

如果您無法執行 mc support diag 或結果顯示異常，您可以使用作業系統的預設工具。

在所有伺服器上獨立測試每個磁碟機，以確保它們的效能相同。使用這些 OS 層級工具的結果來驗證您的儲存硬體的功能。記錄結果以供日後參考。

1. 測試磁碟機在寫入操作期間的效能

   此測試會檢查磁碟機將新資料（未快取）寫入磁碟機的能力，方法是建立指定數量的區塊，每次最多寫入一定數量的位元組，以模擬磁碟機在寫入未快取資料時的運作方式。這可讓您查看具有一致檔案 I/O 的實際磁碟機效能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   將 driveN 替換為您正在測試的磁碟機路徑。

   dd	複製和貼上資料的命令。
   if=/dev/zero	從 /dev/zero 讀取，這是一個系統產生的無窮盡 0 位元組串流，用於建立指定大小的檔案。
   of=/mnt/driveN/testfile	寫入到 /mnt/driveN/testfile。
   bs=128k	每次寫入最多 128,000 個位元組。
   count=80000	寫入最多 80000 個資料區塊。
   oflag=direct	使用直接 I/O 進行寫入，以避免資料快取。
   conv=fdatasync	在完成之前實際寫入輸出檔案資料。
   > dd-write-drive1.txt	將操作的輸出內容寫入目前工作目錄中的 dd-write-drive1.txt。

   此操作會傳回寫入的檔案數、以位元組為單位的寫入總大小、操作的總時間長度（以秒為單位），以及寫入速度（以每秒位元組為單位，以某種順序表示）。

2. 測試磁碟機在讀取操作期間的效能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   將 driveN 替換為您正在測試的磁碟機路徑。

   dd	複製和貼上資料的命令
   if=/mnt/driveN/testfile	從 /mnt/driveN/testfile 讀取；替換為用於測試磁碟機讀取效能的檔案路徑。
   of=/dev/null	寫入到 /dev/null，這是一個虛擬檔案，在操作完成後不會保留。
   bs=128k	每次寫入最多 128,000 個位元組。
   count=80000	寫入最多 80000 個資料區塊。
   iflag=direct	使用直接 I/O 讀取並避免資料快取。
   > dd-read-drive1.txt	將操作的輸出內容寫入目前工作目錄中的 dd-read-drive1.txt。

   使用足夠大小的檔案來模擬您部署的主要用例，以獲得準確的讀取測試結果。

   以下指南可能在效能測試期間有所幫助

   • 小型檔案：< 128KB

   • 正常檔案：128KB – 1GB

   • 大型檔案：> 1GB

   您可以使用 head 命令來建立要使用的檔案。以下命令範例會建立一個名為 testfile 的 10 GB 檔案。

   head -c 10G </dev/urandom > testfile
   

   此操作會傳回讀取的檔案數、以位元組為單位的讀取總大小、操作的總時間長度（以秒為單位），以及讀取速度（以每秒位元組為單位）。

第三方診斷工具

IO 控制器測試

使用 IOzone 來測試輸入/輸出控制器以及所有磁碟機的組合。記錄您部署中每台伺服器的效能數據。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt