硬體檢查清單

網路

MinIO 建議使用高速網路來支援所連接儲存裝置（聚合硬碟、儲存控制器和 PCIe 匯流排）的最大可能吞吐量。下表提供給定實體或虛擬網路介面所支援的最大儲存吞吐量的一般指南。此表假設所有網路基礎架構組件（例如路由器、交換器和實體纜線）也支援 NIC 頻寬。

網路對 MinIO 效能的影響最大，其中每個主機的低頻寬會人為地限制儲存的潛在效能。以下網路吞吐量限制的範例假設旋轉硬碟具有約 100MB/S 的持續 I/O

• 1GbE 網路連結可以支援高達 125MB/s，或一個旋轉硬碟

• 10GbE 網路可以支援約 1.25GB/s，可能支援 10-12 個旋轉硬碟

• 25GbE 網路可以支援約 3.125GB/s，可能支援約 30 個旋轉硬碟

記憶體

記憶體主要限制每個節點的並行連線數。

您可以使用此公式計算每個節點的最大並行請求數

\(totalRam / ramPerRequest\)

若要計算每個請求使用的 RAM 量，請使用此公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是預設的 erasure block size v1。1 MiB 是預設的 erasure block size v2。

下表列出基於主機硬碟數量和可用系統 RAM 的節點上的最大並行請求數

下表根據節點上的本機儲存總量，提供為 MinIO 分配記憶體的一般指南

儲存裝置

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 診斷

執行內建的健康狀況診斷工具。如果您可以存取 SUBNET，您可以將結果上傳到該處。

mc support diag ALIAS --airgap

將 ALIAS 替換為針對部署定義的 alias。

MinIO 支援診斷工具

對於向 MinIO SUBNET 註冊的部署，您可以執行內建的支援診斷工具。

執行三個 mc support perf 測試。

這些伺服器端測試會驗證網路、磁碟機和物件輸送量。使用預設選項執行所有三個測試。

1. 網路測試

   在別名為 minio1 的叢集上執行網路輸送量測試。

   mc support perf net minio1
   

2. 磁碟機測試

   針對別名為 minio1 的叢集，在所有節點上的所有磁碟機上執行磁碟機讀取/寫入效能測量。此命令使用 4MiB 的預設區塊大小。

   mc support perf drive minio1
   

3. 物件測試

   測量別名為 minio1 的物件的 S3 讀取/寫入效能。MinIO 會自動調整並行性，以獲得最大輸送量和 IOPS（每秒輸入/輸出次數）。

   mc support perf object minio1
   

作業系統診斷工具

如果您無法執行 mc support diag，或結果顯示非預期的結果，您可以使用作業系統的預設工具。

在所有伺服器上獨立測試每個磁碟機，以確保它們的效能相同。使用這些 OS 層級工具的結果來驗證您的儲存硬體的效能。記錄結果以供日後參考。

1. 測試磁碟機在寫入操作期間的效能

   此測試會檢查磁碟機將新資料（未快取）寫入磁碟機的能力，方法是同時建立指定數量的區塊，最多可達一定數量的位元組，以模擬磁碟機如何使用寫入未快取資料的方式運作。這可讓您查看實際的磁碟機效能，並具有一致的檔案 I/O。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   將 driveN 替換為您正在測試的磁碟機的路徑。

   dd	用於複製和貼上資料的命令。
   if=/dev/zero	從 /dev/zero 讀取，這是一個系統產生的無限 0 位元組串流，用於建立指定大小的檔案
   of=/mnt/driveN/testfile	寫入到 /mnt/driveN/testfile
   bs=128k	一次最多寫入 128,000 位元組
   count=80000	最多寫入 80000 個資料區塊
   oflag=direct	使用直接 I/O 寫入，以避免快取資料
   conv=fdatasync	在完成之前，實際寫入輸出檔案資料
   > dd-write-drive1.txt	將操作輸出的內容寫入目前工作目錄中的 dd-write-drive1.txt

   該操作會傳回寫入的檔案數、以位元組為單位寫入的總大小、操作的總長度（以秒為單位）以及寫入速度（以每秒位元組為單位的某種順序）。

2. 測試磁碟機在讀取操作期間的效能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   將 driveN 替換為您正在測試的磁碟機的路徑。

   dd	用於複製和貼上資料的命令
   if=/mnt/driveN/testfile	從 /mnt/driveN/testfile 讀取；請替換為用於測試磁碟機讀取效能的檔案路徑
   of=/dev/null	寫入到 /dev/null，這是一個虛擬檔案，在操作完成後不會持續存在
   bs=128k	一次最多寫入 128,000 位元組
   count=80000	最多寫入 80000 個資料區塊
   iflag=direct	使用直接 I/O 讀取並避免快取資料
   > dd-read-drive1.txt	將操作輸出的內容寫入目前工作目錄中的 dd-read-drive1.txt

   使用足夠大小的檔案來模擬您部署的主要使用案例，以獲得準確的讀取測試結果。

   下列指南可能在效能測試期間有所幫助

   • 小型檔案：< 128KB

   • 正常檔案：128KB – 1GB

   • 大型檔案：> 1GB

   您可以使用 head 命令來建立要使用的檔案。下列命令範例會建立一個名為 testfile 的 10 GB 檔案。

   head -c 10G </dev/urandom > testfile
   

   此操作會傳回讀取的檔案數、以位元組為單位讀取的總大小、操作的總長度（以秒為單位），以及讀取速度（以每秒位元組為單位）。

第三方診斷工具

IO 控制器測試

使用 IOzone 來測試輸入/輸出控制器和所有磁碟機的組合。記錄部署中每台伺服器的效能數字。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt