技術文件

人工智慧 (AI) 技術發展快速，讓 AI 伺服器需求明顯成長。根據產業預測，2024到2029年 AI 伺服器市場成長率最高可達 26.54%。 ¹ AI伺服器，可有效處理巨量資料運算，對深度學習、自然語言處理、數據分析等高端應用極為重要。

AI 被廣為應用在不同領域，帶動高效能運算的需求。在醫療保健，運用AI進行預測分析、患者資料管理以及個人化醫療；在金融業，AI實現演算法交易、偵測詐騙以及風險評估等機制；在汽車業，仰賴 AI 自動駕駛技術與智慧製造流程；在娛樂業，運用AI在個人化內容、推薦演算法以及視覺特效上。隨著AI應用越來越複雜，提升訓練模型的複雜度，也推升傳統資料中心的容量，因此需要適合高效能運算伺服器的管理解決方案。

AI伺服器，搭載強大的GPU或TPU，提供必要的運算能力以有效處理 AI演算法，此與傳統伺服器大不相同。此外，AI伺服器配備高速網路的功能，以處理巨量資料；具有先進儲存解決方案，能夠處理機器學習所需的快速輸入/輸出操作。
放眼未來，AI伺服器市場準備迎接新的趨勢，像是永續運算。液體冷卻技術、AI優化電源管理等創新技術，對提升資料中心能源效率極為重要。此外，新世代AI硬體，勢必將推動處理能力與效能。這些創新技術，不只提高效能，同時為環境永續做好準備。

部署與管理AI伺服器帶來獨特的挑戰，特別是在安全性與資料隱私方面。AI應用處理的資訊越來越敏感，保護資料避免外洩，並確保遵循隱私法規成為最主要的挑戰。加密資料傳輸、AI安全協定等先進管理解決方案，為因應這些挑戰也正蓬勃發展。
此外，AI伺服器實體部署也為環境帶來挑戰，由於高能耗與熱能，急需冷卻解決方案與節能設計，以減輕對環境衝擊。因此，AI伺服器電力及冷卻優化管理技術研發，對處理環境議題至關重要。

為滿足低延遲、即時處理需求，AI伺服器越來越常部署在網路邊緣運算，讓資料處理程序，對物聯網設備、即時交通管理、自動駕駛的應用至關重要。邊緣運算，不僅透過低傳輸延遲來強化效能，同時降低頻寬成本，並確保資料在本地端處理，更具安全性且符合法規。

昂貴而功能強大的AI伺服器，在邊緣或雲端層應用日漸普及，因此，在伺服器管理需要徹底轉型。這些先進的伺服器，需要能快速因應持續增加的工作負載，同時維持最佳運轉，以防止過熱並降低故障。

• 創新的本地端控制台管理：提升效能
機架型KVM切換器與LCD KVM控制端等本地端控制台管理解決方案，可讓單一控制端直接且集中控制多台AI伺服器，大幅提升操作效能，降低問題反應時間。由於AI熱潮，大幅提高伺服器機房的電力需求，使三相電源分配器越來越重要，以維持機房穩定運作。


• 遠端控制台管理：靈活度與安全性極佳
透過KVM over IP切換器等技術，可在遠端等任何地方管理控制台，立即處理AI伺服器故障。可將伺服器安置在安全場域，不需安裝軟體即可存取 BIOS，降低攻擊可能性。此對不間斷運作至關重要，特別是在地理位置分散的伺服器環境中。


• 頻外管理 (OOBM)：確保服務不間斷
透過備援網路提供的冗餘路徑，頻外管理解決方案 (OOBM) 對系統故障，或是對與主要網路隔離的AI伺服器相當重要。序列主控台伺服器、KVM over IP切換器等設備，不只方便從單一介面管理不同廠牌的伺服器、靈配配置IPMI/BMC軟體的GenAI伺服器，也讓技術人員能在非固定的網路通道，執行復原作業－例如重新開機與還原設定，將伺服器的停機時間降到最低，同時維持服務不間斷。

在AI革命邊緣，提升伺服器管理，不只是營運需求，也是策略需求。AI伺服器發展快速，支撐產業創新，而巨量資料運算浪潮下，則需要相對應的基礎設施管理。
先進管理工具的整合 – 本地端控制台管理、遠端控制台管理以及頻外管理，對多變的環境有高度適應力。這些工具，讓資料中心更能有效滿足AI的複雜應用與高耗能，不只保障資料中心最佳運作，也符合節能效率與安全，滿足與日俱進的AI技術。