Networks and Power Requirements for AI Data Centers: A Ten-year Market Forecast and Technology Assessment
이 보고서는 AI 데이터센터의 네트워크 및 전력 요구사항에 대해 조사했으며, 시장 개요와 AI 현황, 새로운 기회, AI 데이터센터 수, AI 서버 및 포트 속도, 네트워크 기술/프로토콜별 AI 서버, AI 데이터센터용 데이터 스토리지, AI 데이터센터용 데이터 저장, AI 데이터센터의 전력 소비, AI 데이터센터 냉각 기술에 대한 10년 예측을 제공합니다.
오늘날의 AI 제품(LLM 및 가상 비서)의 데이터센터 요구사항을 신중하게 평가합니다. 예를 들어 비디오 AI의 영향력이 커짐에 따라 이러한 요구사항이 어떻게 진화할 것인지, IT, 네트워킹, 에너지 분야의 새로운 매출은 엄청나지만, AI의 과대 광고로 인해 위협을 받을 수도 있습니다. 이 보고서에서는 AI 추론과 학습의 부상이 데이터센터에 어떤 영향을 미칠지 현실적인 관점에서 살펴봅니다.
2장에서는 압도적인 점유율을 차지하고 있는 하이퍼스케일 데이터센터에 초점을 맞추어 AI가 저지연 요구로 이어지면서 AI 데이터센터가 어떻게 변화할 것인지에 대해 설명합니다. 데이터센터의위치로주목도도 높아질 것이라고 주장하고 있습니다. 이 장에서는 부동산 업계에서 AI 데이터센터의 부상으로 누가 혜택을 받을 수 있는지에 대해서도 살펴봅니다.
3장에서는 AI의 특수한 요구를 충족시키기 위해 데이터센터의 설계, 레이아웃, 장비 선택에 대해 크게 재검토합니다. 따라서 이 장에서는 AI 데이터센터의 새로운 요구사항에 맞추어 이더넷이 어떻게 적응하고 있는지에 초점을 맞추고, I.6T까지 성장할 것으로 예상되는 울트라 이더넷의 형태에 초점을 맞추었습니다. 또한 서버와 스토리지 박스가 AI 시대를 위해 어떻게 재검토되고 있는지에 대해서도 다루고 있습니다.
또한 광집적화가 어떻게 높은 데이터 속도와 낮은 지연의 데이터센터를 가능하게 하는지에 대해서도 살펴봅니다. 이 장에서는 칩렛, 실리콘 포토닉스, CPO(Co-Packaged Optics)와 같은 주요 집적화 플랫폼을 살펴봄으로써 이러한 목표의 일부를 달성하고 있습니다. 또한 비즈니스 기회로서의 AI 프로세서와 데이터센터에서 CPU, GPU, FPGA, ASIC, 특수 추론 엔진 및 트레이닝 엔진이 향후 데이터센터에서 어떤 역할을 할 것인지에 대해서도 자세히 살펴봅니다.
4장에서는 AI를 '구원'할 수 있는 것은 원자력뿐이라는 결론을 내립니다. 이 장에서는 풍력발전이 AI 시장에서 차지하는 비중은 작을 수 있지만, AI가 소형 모듈(원자력) 원자로 시장 기회를 창출할 수 있다는 점을 논의합니다. 한편, 보고서는 AI 데이터센터의 효과적인 냉각을 위한 여러 가지 방법이 있지만, 대부분 액체 냉각 전략이라고 지적하며, CIR은 데이터센터 냉각의 새로운 표준이 잘 작동할 것으로 예측했습니다.
목차
개요 : AI 데이터센터와 향후 기회
제1장 AI 데이터센터의 멈추지 않는 성장 : AI 실정
- 이 보고서의 목적
- AI : 현황
- LLM : 향후 고객 요구, 기술 요구, 기회
- 가상 비서와 AI 인프라
- 비디오 AI의 역할 확대
- 기계학습에 관한 메모
- AI 소프트웨어 서비스와 AIaaS
- 문제가 될 가능성이 있는 것은?
제2장 AI 혁명을 향한 데이터센터의 재구축 : 새로운 기회
- AI 데이터센터의 시작
- AI 데이터센터에서 '동서' 트래픽의 증가
- AI가 데이터센터에서 저레이턴시의 요구를 촉진하는 방법
- AI 데이터센터의 지역 변화 : 장소
- AI와 엣지 네트워크
- 데이터센터 상호 접속에 관한 주의 사항
제3장 공급 : AI 네트워킹 : 하드웨어와 이용 가능한 테크놀러지
- 데이터센터 하드웨어에 대한 서문
- AI, 데이터센터, 반도체 분야
- AI 데이터센터에서의 PIC, 상호 접속, 광통합
- AI 데이터센터용 광네트워크 인프라
- AI 데이터센터에서의 울트라 이더넷 : IEEE P802.3Dj
- AI 데이터센터에서 코패키지 광학 부품의 미래
- 서버의 재고
- AI 데이터센터의 스토리지 요건
- 고성능 AI 데이터센터를 향한 메모
제4장 AI 데이터센터의 전력과 냉각 요건
- AI 데이터센터의 전력과 냉각 요건
- AI 데이터센터의 전력 소비
- 핵옵션 : 핵의 소형화
- 액체 냉각 : 쿨한 AI 데이터센터의 미래
제5장 10년간 시장 예측
- 시장 예측의 서론
- AI 데이터센터의 수
- AI 데이터센터 접속의 10년 예측 : 서버와 포트 속도
- AI 데이터센터용 데이터 스토리지의 10년 예측
- AI 데이터센터의 냉각과 전력의 10년 예측
저자 소개
이 리포트에서 사용되고 있는 두자어와 약어
KSA
"Network and Power Requirements for AI Data Centers: A Ten-Year Market Forecast and Technology Forecast" is an up-to-the-minute market study forecasting business opportunities flowing from the new breed of AI data centers.
- Report embraces a realistic take on AI: The report begins with a careful assessment of the data center requirements of today's AI products (LLMs and Virtual Assistants) and how these requirements will evolve as, for example, video AI makes has its impact. New revenues for the IT, Networking and Energy sectors will be vast, but also threatened by AI hype. In this report, we take a realistic look at how the rise of AI inference and training will impact the data center
- How AI data centers will deal with latency issues: Chapter Two focuses on the dominant Hyperscale Data Centers and shows how AI data centers will change as AI leads to demands for lower latency. CIR claims this trend will drive the industry to AI edge networks and higher data rate networking as well as to a growing attention to the location of data centers. This Chapter also examines who will benefit from the rise of AI data centers in the real estate industry
- Novel products for networking, servers and storage for the AI era. Chapter Three looks at the major re-think in the design, layout and equipment choices for data centers to meet the special needs of AI. Thus, the Chapter focuses on how Ethernet is being adapted to match the emerging requirements of the AI data center, taking on form of Ultra Ethernet with the prospect of growing to I.6T. It also covers how servers and storage boxes are being rethought for the AI era
- How optical integration and novel processors will be an AI enabler. Chapter Three also examines how optical integration enables high-data rate, low latency data centers. The chapter accomplishes this goal in part by looking at key integration platforms such as chiplets, silicon photonics and co-packaged optics (CPO). It also takes a close look at AI processors as a business opportunity and the future role that will be played by CPUs, GPUs, FPGAs, ASICs and specialized inference and training engines in the data center
- New power and cooling sources are vital for AI. Chapter Four concludes that only nuclear can "save" AI. This Chapter discusses how AI creating a market opportunity for Small Modular (Nuclear) reactors, although wind power may have a small share of the AI market. Meanwhile, the report points out that effective cooling in the AI data center has many paths leading to it, although most can be characterized as liquid cooling strategies. CIR predicts creates the new standard for data center cooling will do well
- Report contains detailed ten-year market forecasts. The report contains ten-year projections for the number of AI data centers, AI servers and port speeds, AI servers by networking technology/protocol, data storage for AI data centers, power consumption by AI data centers, and cooling technologies in AI data centers
The strategic analysis provided throughout the report is illustrated with case studies from the recent history of major equipment companies and service providers. This report will be essential reading for networking vendors, service providers, AI software firms, computer companies and investors. This report will be essential reading for networking vendors, service providers, AI software firms, computer companies and investors.
Table of Contents
Executive Summary: AI Data Centers and Opportunities to Come
- E.1. Summary of AI Data Center Evolution: Ten-year Market Forecasts
- E.2. Chip Development Opportunities for AI Data Center
- E.3. PICs, Interconnects, Optical Integration and AI
- E.4. Connectivity Solutions in the AI Data Center
- E.4.1. The Future of Co-Packaged Optics in the AI Data Center
- E.5. Rethinking Servers
- E.6. Storage Requirements for AI Data Centers
- E.7. Power Consumption by AI Data Centers
- E.7.1. Liquid Cooling: The Future of Cool AI Data Centers
Chapter One: The Unstoppable Rise of the AI Data Center: AI Real
- 1.1. Objective of this Report
- 1.1.1. Sources of Information
- 1.2. AI: The State of Play
- 1.2.1. How AI Data Throughput Creates Opportunities in Data Centers
- 1.3. LLMs: Future Customer Needs, Technical Needs and Opportunities
- 1.3.1. Inference Requirements
- 1.3.2. Training Requirements
- 1.3.3. LLM Infrastructure Opportunities
- 1.4. Virtual Assistants and the AI Infrastructure
- 1.5. A Growing Role for Video AI
- 1.5.1. Machine Perception (MP)
- 1.5.2. Comparing Video Services and AI: Cautionary Tales
- 1.6. Notes on Machine Learning
- 1.6.1. Neural Networks and Deep Learning
- 1.6.2. Consumer vs. Enterprise AI
- 1.6.3. Importance of Consumer AI to Traffic Growth
- 1.6.4. Impact of Enterprise AI
- 1.7. AI Software Services and AIaaS
- 1.8. What Can Possibly Go wrong?
- 1.8.1. AI Hallucinations
- 1.8.2. AI Underperforms
- 1.8.3. A Future with Too Many Features
Chapter Two: Restructuring the Data Center for The AI Revolution: Emerging Opportunities
- 2.1. AI Data Centers Begin
- 2.1.1. The Critical Role of AI Clusters: How They Are Being Built Today
- 2.2. The Rise of "East-West" Traffic in the AI Data Center
- 2.3. How AI Drives the Need for Low Latency in Data Centers
- 2.3.1. High Data Rate Interfaces as a Solution to the AI Data Center Latency Problem
- 2.4. The Changing Geography of AI Data Centers: Location, Location, Location!
- 2.4.1. Who is Playing the AI Data Center Game in the Real Estate Industry?
- 2.4.2. Hyperscalers: Dominant Players in the AI Data Center Space
- 2.5. AI and Edge Networks
- 2.5.1. Some Notes on Edge Hardware
- 2.6. Some Notes on Data Center Interconnection
Chapter Three Supply: AI Networking: Hardware and the Available Technologies
- 3.1. A Preamble to Data Center Hardware
- 3.2. AI, Data Centers and the Semiconductor Sector
- 3.2.1. CPUs the AI Data Center
- 3.2.2. GPUs in the AI Data Center
- 3.2.3. Inference and Training Engines: The Hyperscaler Response
- 3.2.4. FPGAs in the AI Data Center
- 3.2.5. ASICs
- 3.3. PICs, Interconnects and Optical Integration in the AI Data Center
- 3.3.1. Silicon Photonics in the AI Data Center
- 3.3.2. Other Platforms for Interconnects in the AI Data Center
- 3.3.3. Some Notes on Chiplets and Interconnects
- 3.4. Optical Networking Infrastructure for AI Data Centers
- 3.5. Ultra Ethernet in the AI Data Center: IEEE P802.3Dj
- 3.5.1. FEC and Latency
- 3.5.2. Ultra Ethernet Consortium (UEC)
- 3.6. The Future of Co-Packaged Optics in the AI Data Center
- 3.6.1. Uncertainties about when CPO will happen in the AI Data Center
- 3.7. Rethinking Servers
- 3.7.1. Scale-out Networks for AI: Horizontal Scaling
- 3.7.2. Scale-up Networks
- 3.8. Storage Requirements for AI Data Centers
- 3.9. Notes Toward High-Performance AI Data Centers
Chapter Four: Power and Cooling Requirements for AI Data Centers
- 4.1. Power and Cooling Requirements for AI Data Centers
- 4.2. Power Consumption by AI Data Centers
- 4.2.1. Conventional and "Green" Power Solutions for Data Centers
- 4.3. Nuclear Option: Nuclear Miniaturized
- 4.3.1. Current Plans for Using Nuclear Power in the AI Sector
- 4.4. Liquid Cooling: The Future of Cool AI Data Centers
- 4.4.1. Evolution of Liquid Cooling
- 4.3.2. Liquid Immersion Cooling
- 4.3.3. Microconvective Cooling
- 4.3.4. Direct Chip-chip Cooling
- 4.3.5. Microchannel Cooling
- 4.3.6. Oil Cooling
Chapter Five Ten-year Market Forecasts
- 5.1. Preamble to the Market Forecasts
- 5.1.1. Do We Have Hard Market Data for AI?
- 5.2. How Many AI Data Centers are there?
- 5.2.1. Worldwide AI Data Centers in Operation
- 5.3. Ten-year Forecast of AI Data Center Connectivity: Servers and Port Speeds
- 5.3.1. Ten-year Forecast of AI Servers
- 5.3.2. Ten-year Forecast of AI Server Ports by Speed
- 5.3.3. Ten-year Forecast of AI Server Ports by Technology Type/ Protocol
- 5.4. Ten-year Forecast of Data Storage for AI Data Centers
- 5.5. Ten-year Forecast of Cooling and Power for AI Data Centers
About the Author
Acronyms and Abbreviations Used in this Report
List of Exhibits
- Exhibit E-1: Opportunities from AI Data Centers at a Glance ($ Millions, Except Data Centers)
- Exhibit 1-1: Enterprise Applications for Virtual Assistants
- Exhibit 1-2: Uses of Enterprise AI
- Exhibit 2-1: Selected Opportunities Stemming from Rebuilding Data Centers
- Exhibit 2-2: Solutions to Latency Problem
- Exhibit 3-1: Connectivity Technologies for AI Data Centers
- Exhibit 3-2: AI - A CPO Future for AI?
- Exhibit 4-1: Power and Cooling Solutions for AI Data Centers
- Exhibit 5-1: Ten-Year Forecasts of AI Market ($ Billions)
- Exhibit 5-2: Worldwide AI Data Center In Operation Worldwide
- Exhibit 5-3: Worldwide AI Server Markets
- Exhibit 5-4: Distribution of Ports Shipped by Speed ($ Million)
- Exhibit 5-5: Distribution of Ports Shipped by Protocol ($ Million)
- Exhibit 5-6: Forecast of Data Storage for AI Data Centers
- Exhibit 5-7: Ten-year Forecast of Power Consumption
- Exhibit 5-8: Ten-year Forecast of Cooling Technology in AI Data Centers
