TORCH
-
torch의 데이터 분산 연산(DP 와 DDP)머신러닝 및 딥러닝 2022. 3. 25. 19:27
torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 이를 분할하여 GPU에 올리기 위해 이번 블로그 글은 1. 학습을 더 빨리 끝내기 위해 사용할 수 있는 방법중 하나인 학습에 사용할 데이터를 병렬화 를 알아보도록 하겠습니다. torch.nn.DataParallel Single node 와 multi-GPU 에서 공작하는 multi-thread 모듈입니다. 이에 대한 동작방법을 그림으로 알아보겠습니다. 먼저 순전파 (Forward Pass) 입니다. Forward Pass 설명의 용이성을 위해 여기선 GPU의 갯수를 4개로 하고 master ..