IBM推出用于AI推理數據管理的Power Server

IBM今天發布了基于Power9的推理服務器IC922，該服務器具有多達六個Nvidia T4 GPU，PCIe Gen 4和OpenCAPI連接，并且可以以2U尺寸容納多達24個SFF驅動器。IBM說，與使用Nvidia V100 GPU的IBM AC922搭配使用，IBM表示，它現在為AI工作負載提供了一個完整的解決方案，包括數據管理，培訓和推理。IBM還表示，新的IC922的價格為同等價格，或者比基于x86的同類產品更高。

T4 GPU 的使用 充分利用了Turing Tensor內核的多種混合精度功能(FP32，FP16，INT8，INT4)，最適合推理和T4的較低成本。兩者合計，這將有助于IBM攻擊分析師認為是增長最快的AI市場細分市場，并且有可能成為銷量最大的細分市場。相比之下，AC922利用Nvidia V100 GPU，它們更適合于傳統的HPC和AI培訓工作負載，并且成本更高。AC922采用與Summit超級計算機相同的體系結構進行建造，該超級計算機目前在世界500強排行榜(2019年11月)中名列世界上最快的超級計算機。

IBM提供管理，認知和橫向擴展系統的總監Dylan Boday在與HPCwire進行了簡要介紹后說：“ IC922專注于數據，推理和云 。” “我們將能夠驅動多達24個小型驅動器，并在不久的將來包括24個NVMe驅動器。當您將24個NVMe驅動器和PCIe Gen 4組合到您的網絡中時，從平衡的角度來看，您將擁有一個非常強大的故事。

“在機架級別，您可以獲得非常高的吞吐量。對于AI而言，這很有趣，因為許多人開始關注存儲部署及其層級層次結構。您需要對某些存儲功能的“熱”或低延遲訪問。其次，最多可搭載六個T4 Nvidia GPU來啟動它，從而為客戶提供靈活性[并且]在不久的將來，我們將采用八個[T4]，這將使您的GPU密度比HP或Dell高33%服務器將能夠在2U服務器中運行。”

IBM還認為，它能夠在總體上以及在容器性能方面利用其每核線程數的優勢。

新系統將于2月7日上市。IBM報告稱，它仍“正在研究將IC922擴展到IBM公共云中。” Linux Infrastructure首席產品經理Grace Liu今天在博客中 (通過推理完成您的AI難題)正式宣布了IC922 。

IBM一直承諾將重新推出AI產品，而IC922可能只是第一款產品。Boday說：“我們的Linux重點市場是為AI時代提供(一個)投資組合的市場。” 他認為，許多AI項目都失敗了，原因之一是難以從受控的訓練環境過渡到計算需求和技能不同的更加混亂的數據攝取和推斷環境。他說，IC922已針對推理和數據管理進行了優化，并將使過渡更加容易。它的模塊化設計使組織可以擴展基礎架構，以滿足內部或私有云環境中的需求。

當然，軟件是另一個關鍵。在SC19上，IBM推廣了其貝葉斯軟件專業知識作為AI支持者。Boday在發布IC922的同時表示：“我們將推出一個推理軟件，它基本上可以使您進行推理操作。” 簡報中討論的細節很少，在回答有關這些計劃的電子郵件問題時，IBM回答說：“ IBM相信，就像訓練需要專門的軟件一樣，AI推理也是如此。我們的Watson Machine Learning Accelerator產品系列將繼續發展，以利用IBM Power Systems的AI最新功能，并且我們希望這種推理將繼續下去。”

這聽起來像是一個敬請期待的消息。下面顯示的是官方公告的重點項目符號：

盡管IC922的重點是使用T4，但IBM指出了支持其他加速器類型的計劃。

Boday說：“我不會討論所有細節。” “隨著Xilinx和其他ASIC功能向FPGAe的發展，已經有一些關于FPGA方向的陳述，如果這些設備希望開始利用FPGA作為推論，那么這就是一個面向未來的盒子。甚至是訓練器材 市場上有數百種不同的加速功能迅速進入市場。該系統應該能夠捕獲它們。隨著客戶需求的增加，我們能夠以敏捷的方法進行響應，將其添加到我們的服務器中，并為這些類型的加速功能提供同類最佳的解決方案。”

與提供用于CPU-GPU通訊的NVlink的AC922不同，LC922使用PCIe4。“在AC922中，我們具有NVlink –這是因為外形和Nvidia Volta內置的功能。這些類型的[培訓系統]對整體吞吐量的需求較少，” Boday說。IBM選擇利用IC922的PCIe密度優勢，并為未來的設備提供OpenCAPI功能。在最近幾個月中，圍繞OpenCAPI 和 由英特爾牽頭的最新CXL標準進行了大量討論， 并 猜測如何在兩者之間實現兼容性。

Boday說：“目前，CXL并非商業可行的技術。我要說的是CXL絕對在我們的雷達范圍內。我們在CXL基金會中有一個董事會席位。因此，隨著這種吸引力越來越大，我們將在那里產生重大影響力。我認為，幾年前IBM與CAPI和OpenCAPI一起促進了加速發展。說到此框，它將具有OpenCAPI功能。實際上，這是第一個具有OpenCAPI功能的商用產品，我們將看到開發人員能夠開始為所有新設備利用一致的，高吞吐量，低延遲的接口。”

IBM報告稱它將很快有一個開發者委員會。“我們要做的第一件事就是使用基于Bittware FPGA的卡為市場提供 支持。它也將在不久的將來可用。這樣一來，開發人員就可以利用低延遲/高吞吐量的優勢，然后我們甚至將擁有一張卡，供他們在不久的將來也開始對此進行探索。”

IBM首席執行官Dave Turek在SC19提出的新產品如何適應更廣泛的AI進入市場策略尚不清楚。他提出了一種戰略，其中IBM將提供較小的AI系統，這些系統能夠利用客戶的現有基礎架構來改善系統和應用程序性能。(有關更多信息，請參閱 HPCwire 文章 SC19：IBM更改其HPC-AI游戲計劃)。

Liu在她的博客中寫道：“為了展示IC922如何適合AI難題，美國國防部高性能計算現代化計劃(HPCMP)最近展示了如何將IC922和AC922組合到模塊化計算平臺中，從而創建了IBM POWER9集裝箱中的基于超級計算機的超級計算機。這種模塊化計算功能最初安裝在美國陸軍作戰能力發展司令部的陸軍研究實驗室DoD超級計算資源中心，它將使DoD重新定義“邊緣”一詞，以包括在世界任何地方(包括戰場)部署AI超級計算能力。”

從某種意義上說，對邊緣的使用可以涵蓋類似于Turek所建議的部署，在該部署中，IBM引入了一個AI集群(最小到單個節點)，以增強已經存在的基礎架構的性能。他還暗示IBM將提供圍繞特定功能(例如安全性和系統管理)專門化的AI系統。下一步可能是下一步，提供AC922-IC922組合以“增強”現有基礎設施。