未來是解耦的、與 S3 相容的且 Kubernetes 原生的 - 換句話說,
不是 Hadoop HDFS 的東西。
現在分離運算和儲存是有道理的。儲存需求需要超過運算 - 高達 10 比 1。運算節點是無狀態的,並使用更多 CPU 核心和記憶體進行優化。儲存節點是有狀態的,可以使用更多更密集的硬碟和更高的頻寬進行 I/O 優化。透過解耦,企業可以實現卓越的經濟效益、更好的可管理性、更高的可擴展性和增強的總擁有成本。HDFS 無法實現這種轉變。當您離開資料局部性時,Hadoop HDFS 的優勢就變成它的劣勢。
Hadoop 是為 MapReduce 運算而設計的,其中資料和運算必須位於同一位置。因此,Hadoop 需要自己的工作排程器、資源管理器、儲存和運算。這與基於容器的架構根本不相容,在基於容器的架構中,一切都是彈性的、輕量級的和多租戶的。相比之下,MinIO 是在雲端中誕生的,專為容器和透過 Kubernetes 的協調而設計,使其成為在淘汰傳統 HDFS 實例時進行轉換的理想技術。
Hadoop 是專為機器資料而構建的,其中「非結構化資料」表示大型(GiB 到 TiB 大小)的日誌檔案。當用作通用儲存平台(其中真正的非結構化資料正在使用中)時,小物件(KB 到 MB)的普遍存在會大大損害 Hadoop HDFS,因為名稱節點從未設計為以這種方式擴展。MinIO 擅長處理任何檔案/物件大小(0 到 5 TiB)。
採用 Hadoop 的企業這樣做是出於對開源技術的偏好。檢查能力、免於鎖定以及來自數萬名使用者的舒適感具有真正的價值。MinIO 也是 100% 開源的,確保組織在升級其體驗時能夠忠於其目標。
簡單是困難的。它需要工作、紀律,最重要的是,需要承諾。MinIO 的簡單性是傳奇,並且是將我們的軟體設計為易於部署、使用、升級和擴展的哲學承諾的結果。即使是 Hadoop 的粉絲也會告訴您它很複雜。為了以更少的資源做更多的事情,您需要遷移到 MinIO。
Hadoop 因其提供大數據效能的能力而聲名鵲起。在將近十年的時間裡,它們是企業級分析的基準。現在不是了。MinIO 在多個基準測試中證明,它的速度明顯快於 Hadoop。這意味著在 Spark、Presto、Flink 和其他現代分析工作負載上具有更好的效能。
MinIO 的伺服器二進制檔案只有 45 MB。儘管它的大小,它足夠強大,可以運行資料中心,但仍然足夠小,可以舒適地存在於邊緣。在 Hadoop 世界中沒有這樣的替代方案。這對企業來說意味著您的 S3 應用程式可以隨時隨地使用相同的 API 存取資料。
MinIO 使用每個物件的內嵌刪除編碼來保護資料,這比 HDFS 替代方案效率高得多,這些替代方案是在複製之後出現的,並且從未獲得採用。此外,MinIO 的位元腐蝕檢測可確保它永遠不會讀取損壞的資料 - 即時捕獲和修復損壞的物件。MinIO 還支援跨區域、主動-主動複製。最後,MinIO 支援完整的物件鎖定框架,提供法律保留和保留(具有治理和合規模式)。
Hadoop HDFS 的後繼者不是硬體設備,而是在商用硬體上運行的軟體。這就是 MinIO - 軟體。與 Hadoop HDFS 一樣,MinIO 旨在充分利用商用伺服器。憑藉利用 NVMe 硬碟和 100 GbE 網路的能力,MinIO 可以縮減資料中心 - 提高營運效率和可管理性。
MinIO 支援多種複雜的伺服器端加密方案來保護資料 - 無論資料在哪裡 - 無論是在傳輸中還是靜態。MinIO 的方法以可忽略的效能開銷確保機密性、完整性和真實性。使用 AES-256-GCM、ChaCha20-Poly1305 和 AES-CBC 支援伺服器端和用戶端加密,確保應用程式的相容性。此外,MinIO 支援業界領先的金鑰管理系統 (KMS)。