硬體檢查清單

網路

MinIO 建議使用高速網路以支援附加儲存裝置 (彙總磁碟機、儲存控制器和 PCIe 匯流排) 的最大可能吞吐量。下表提供了特定實體或虛擬網路介面所支援的最大儲存吞吐量的一般準則。此表格假設所有網路基礎架構組件 (例如路由器、交換器和實體纜線) 也支援 NIC 頻寬。

網路對 MinIO 效能的影響最大，其中每個主機的低頻寬會人為地限制儲存裝置的潛在效能。以下網路吞吐量限制的範例假設旋轉磁碟的持續 I/O 約為 100MB/S

• 1GbE 網路連結最多可支援 125MB/s，或是一個旋轉磁碟

• 10GbE 網路大約可支援 1.25GB/s，可能支援 10-12 個旋轉磁碟

• 25GbE 網路大約可支援 3.125GB/s，可能支援約 30 個旋轉磁碟

記憶體

記憶體主要限制每個節點的並行連線數量。

您可以使用此公式計算每個節點的最大並行請求數

\(totalRam / ramPerRequest\)

若要計算每個請求使用的 RAM 量，請使用此公式

\(((2MiB + 128KiB) * driveCount) + (2 * 10MiB) + (2 * 1 MiB)\)

10MiB 是預設的抹除區塊大小 v1。1 MiB 是預設的抹除區塊大小 v2。

下表列出基於主機磁碟機數量和可用系統 RAM 的節點最大並行請求數

下表提供根據節點上的本機儲存總量來配置 MinIO 使用的記憶體的一般準則

儲存裝置

mkfs.xfs /dev/sdb -L MINIODRIVE1
mkfs.xfs /dev/sdc -L MINIODRIVE2
mkfs.xfs /dev/sdd -L MINIODRIVE3
mkfs.xfs /dev/sde -L MINIODRIVE4

$ nano /etc/fstab

# <file system>        <mount point>    <type>  <options>         <dump>  <pass>
LABEL=MINIODRIVE1      /mnt/drive-1     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE2      /mnt/drive-2     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE3      /mnt/drive-3     xfs     defaults,noatime  0       2
LABEL=MINIODRIVE4      /mnt/drive-4     xfs     defaults,noatime  0       2

#!/bin/bash

for i in $(df -h | grep /mnt/drive | awk '{ print $1 }'); do
      mountPath="$(df -h | grep $i | awk '{ print $6 }')"
      deviceName="$(basename $i)"
      echo "Modifying xfs max_retries and retry_timeout_seconds for drive $i mounted at $mountPath"
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/EIO/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/ENOSPC/max_retries
      echo 0 > /sys/fs/xfs/$deviceName/error/metadata/default/max_retries
done
exit 0

@reboot /opt/minio/xfs-retry-settings.sh

MinIO 診斷

執行內建的健康狀況診斷工具。如果您可以存取 SUBNET，則可以在該處上傳結果。

mc support diag ALIAS --airgap

將 ALIAS 取代為為部署定義的 別名。

MinIO 支援診斷工具

對於已向 MinIO SUBNET 註冊的部署，您可以執行內建的支援診斷工具。

執行三個 mc support perf 測試。

這些伺服器端測試會驗證網路、硬碟和物件的吞吐量。使用預設選項執行所有三個測試。

1. 網路測試

   在別名為 minio1 的叢集上執行網路吞吐量測試。

   mc support perf net minio1
   

2. 硬碟測試

   針對別名為 minio1 的叢集，在所有節點上的所有硬碟上執行硬碟讀取/寫入效能測量。該命令使用 4MiB 的預設區塊大小。

   mc support perf drive minio1
   

3. 物件測試

   測量在別名為 minio1 的物件上進行 S3 讀取/寫入的效能。MinIO 會自動調整並發性，以獲得最大的吞吐量和 IOPS (每秒輸入/輸出次數)。

   mc support perf object minio1
   

作業系統診斷工具

如果您無法執行 mc support diag 或結果顯示非預期的結果，您可以使用作業系統的預設工具。

在所有伺服器上獨立測試每個硬碟，以確保它們的效能相同。使用這些作業系統層級工具的結果來驗證您的儲存硬體效能。記錄結果以供日後參考。

1. 測試硬碟在寫入操作期間的效能

   此測試會檢查硬碟將新資料 (未快取) 寫入硬碟的能力，方法是以每次最多一定位元組的量建立指定數量的區塊，以模擬硬碟在寫入未快取資料時的功能。這可讓您查看在一致的檔案 I/O 下的實際硬碟效能。

   dd if=/dev/zero of=/mnt/driveN/testfile bs=128k count=80000 oflag=direct conv=fdatasync > dd-write-drive1.txt
   

   將 driveN 取代為您要測試的硬碟路徑。

   dd	複製和貼上資料的命令。
   if=/dev/zero	從 /dev/zero 讀取，這是一個系統產生的無限 0 位元組串流，用於建立指定大小的檔案
   of=/mnt/driveN/testfile	寫入至 /mnt/driveN/testfile
   bs=128k	一次最多寫入 128,000 位元組
   count=80000	最多寫入 80000 個資料區塊
   oflag=direct	使用直接 I/O 寫入以避免資料快取
   conv=fdatasync	在完成之前實際寫入輸出檔案資料
   > dd-write-drive1.txt	將操作輸出的內容寫入目前工作目錄中的 dd-write-drive1.txt

   該操作會傳回寫入的檔案數量、以位元組為單位的寫入總大小、操作的總時間長度 (以秒為單位)，以及寫入速度 (以每秒位元組數為單位)。

2. 測試硬碟在讀取操作期間的效能

   dd if=/mnt/driveN/testfile of=/dev/null bs=128k iflag=direct > dd-read-drive1.txt
   

   將 driveN 取代為您要測試的硬碟路徑。

   dd	複製和貼上資料的命令
   if=/mnt/driveN/testfile	從 /mnt/driveN/testfile 讀取；替換為用於測試硬碟讀取效能的檔案路徑
   of=/dev/null	寫入至 /dev/null，這是一個在操作完成後不會持續存在的虛擬檔案
   bs=128k	一次最多寫入 128,000 位元組
   count=80000	最多寫入 80000 個資料區塊
   iflag=direct	使用直接 I/O 讀取並避免資料快取
   > dd-read-drive1.txt	將操作輸出的內容寫入目前工作目錄中的 dd-read-drive1.txt

   使用足夠大的檔案來模擬您的部署的主要用例，以獲得準確的讀取測試結果。

   以下指南在效能測試期間可能會有所幫助

   • 小型檔案：< 128KB

   • 一般檔案：128KB – 1GB

   • 大型檔案：> 1GB

   您可以使用 head 命令來建立要使用的檔案。以下命令範例會建立一個名為 testfile 的 10 GB 檔案。

   head -c 10G </dev/urandom > testfile
   

   該操作會傳回讀取的檔案數量、以位元組為單位的讀取總大小、操作的總時間長度 (以秒為單位)，以及讀取速度 (以每秒位元組數為單位)。

第三方診斷工具

IO 控制器測試

使用 IOzone 來測試輸入/輸出控制器以及所有硬碟的組合。記錄您部署中每台伺服器的效能數據。

iozone -s 1g -r 4m -i 0 -i 1 -i 2 -I -t 160 -F /mnt/sdb1/tmpfile.{1..16} /mnt/sdc1/tmpfile.{1..16} /mnt/sdd1/tmpfile.{1..16} /mnt/sde1/tmpfile.{1..16} /mnt/sdf1/tmpfile.{1..16} /mnt/sdg1/tmpfile.{1..16} /mnt/sdh1/tmpfile.{1..16} /mnt/sdi1/tmpfile.{1..16} /mnt/sdj1/tmpfile.{1..16} /mnt/sdk1/tmpfile.{1..16} > iozone.txt