DGX는 NVSwitch, NVLink, 최적화된 냉각 시스템, 검증된 펌웨어, 그리고 NVIDIA 통합 소프트웨어 지원이 포함된 “AI Appliance”입니다. 이는 AI 트레이닝과 인퍼런스 작업을 위한 최적의 성능과 안정성을 제공합니다. DGX는 일반 GPU 서버와 비교해 더 높은 처리 속도와 효율성을 자랑합니다.

AI 서버는 일반 서버보다 훨씬 많은 전력을 소모합니다. 예를 들어, DGX B300 8GPU는 수천 W 이상의 전력을 사용합니다. 높은 전력 소모는 GPU 온도를 상승시켜 클럭 저하(thermal throttling), 성능 저하, 장애 가능성 증가 등의 문제를 초래할 수 있습니다. 따라서, 안정적인 전력 공급과 효율적인 냉각 시스템이 필수적입니다. 이를 통해 AI 서버의 성능을 최적화하고 안정성을 유지할 수 있습니다.

MIG(Multi-Instance GPU)는 하나의 GPU를 여러 개의 작은 GPU처럼 분할해서 사용하는 기술입니다. 다중 작업을 동시에 처리하거나 여러 팀이 GPU를 공유해야 할 때, 또는 GPU 자원을 세분화하여 효율적으로 스케줄링할 때 사용됩니다. 이를 통해 GPU 활용률을 극대화하고, 자원 격리로 안정성을 높이며, 비용 절감 효과를 얻을 수 있습니다. 특히, AI 트레이닝과 인퍼런스 작업을 병행하는 환경에서 유용합니다.

NIM(NVIDIA Inference Microservice)은 AI 모델을 쉽게 배포할 수 있도록 설계된 NVIDIA의 추론(Inference)용 컨테이너 서비스입니다. 주요 특징으로는 TensorRT 최적화를 통해 높은 성능을 제공하며, API 형태로 간편하게 통합할 수 있고, 빠른 배포가 가능합니다. 이를 통해 AI 인퍼런스 작업을 더욱 효율적으로 수행할 수 있습니다.

Omniverse를 사용하려면 RTX GPU가 필수입니다. 권장 GPU는 RTX 4090, L40S, RTX 6000 Ada, A6000입니다. 반면, A2, T4, H200/H100은 RTX 기능이 제한되어 있어 추천되지 않습니다. RTX GPU는 실시간 레이 트레이싱과 고성능 그래픽 처리를 지원하여 Omniverse의 최적의 성능을 보장합니다. 따라서, Omniverse를 활용한 작업 환경에서는 RTX GPU를 선택하는 것이 가장 적합합니다.

이 GPU들은 AI/HPC 최적화되어있습니다. 반면 Omniverse는 RTX Renderer Real-time Ray Tracing 중심이라 RT Core가 중요합니다. 1) GPU 종류: Omniverse 적합성 2) RTX 계열 GPU: 매우 좋음 3) Datacenter GPU: 제한적