GPU (3) 썸네일형 리스트형 LLM에 따른 GPU Memory 활용안 #1 초대규모 AI 모델 학습: FSDP와 GPU 메모리 한계요즘 70B 파라미터 이상의 초대규모 모델 학습을 시도하는 기업이 점점 늘고 있습니다.그런데, GPU 메모리가 부족해서 학습이 불가능하거나 매우 어렵다는 문제가 자주 발생합니다.이 글에서는 FSDP(Full Sharded Data Parallel)를 활용해 어떻게 메모리를 분산시키고, 어떤 한계가 발생하는지 상세히 설명합니다.1. 70B 모델의 메모리 요구량먼저 기본 데이터부터 보겠습니다.70B 파라미터 모델을 FP16으로 저장하면:파라미터: 70B × 2 bytes = 140GB옵티마이저 상태(Adam): 70B × 8 bytes = 560GB그라디언트: 70B × 2 bytes = 140GB총 메모리: 840GB단일 GPU로는 학습 불가능아무리 .. GPU를 통한 AI 연구시 OS 결정요소 (Linux vs Windows) AI 연산의 GPU는 OS에 따라 운영체제의 커널 구조, 드라이버 설계 철학, 하드웨어 자원 제어 방식의 총체적 차이에서 비롯됩니다. 아래에 구조적 차이, 원인, 그리고 근거를 단계별로 정리해서 설명드리겠습니다.✅ 결론Windows는 GPU를 포함한 고성능 연산 자원에 대해 "그래픽 중심 / 사용자 환경 중심"으로 설계된 반면,Linux는 "서버 / HPC 중심 커널 구조"를 가지고 있어 연산 집중형 작업에서 확실한 성능 우위를 보입니다. 차이 1: GPU 드라이버 아키텍처 (WDDM vs. NVIDIA 커널 모듈)차이점항목LinuxWindows드라이버 구조nvidia.ko (커널 모듈)WDDM (User-mode + Kernel-mode 이중 구조)GPU 스케줄링TCC (Tesla Compute Clu.. GPU PCIe Passthrough 를 통해 VM에 GPU 할당하여 사용하기 (1) Ubuntu 22.04 KVM GPU Passthrough with VFIO - Full Guide이 문서는 Ubuntu 22.04 환경에서 KVM 가상 머신에 GPU를 Passthrough 하기 위해 VFIO를 활용한 전체 설정 과정 입니다.✅ 사전 준비하드웨어 요구사항VT-d(Intel) 또는 AMD-Vi 지원 CPUIOMMU 지원 메인보드Passthrough 가능한 NVIDIA GPU (ex. RTX 4090)소프트웨어 구성sudo apt updatesudo apt install -y qemu-kvm libvirt-daemon-system libvirt-clients bridge-utils virt-manager ovmf pciutils✅ IOMMU 활성화GRUB 설정sudo nano /etc/de.. 이전 1 다음