티스토리

알고풀자

검색하기

블로그 홈

알고풀자

algopoolja.tistory.com/m

AlgoPoolJa 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

torch의 데이터 분산 연산(DP 와 DDP) torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 이를 분할하여 GPU에 올리기 위해 이번 블로그 글은 1. 학습을 더 빨리 끝내기 위해 사용할 수 있는 방법중 하나인 학습에 사용할 데이터를 병렬화 를 알아보도록 하겠습니다. torch.nn.DataParallel Single node 와 multi-GPU 에서 공작하는 multi-thread 모듈입니다. 이에 대한 동작방법을 그림으로 알아보겠습니다. 먼저 순전파 (Forward Pass) 입니다. Forward Pass 설명의 용이성을 위해 여기선 GPU의 갯수를 4개로 하고 master .. 공감수 12 댓글수 0 2022. 3. 25.
Dialogflow 최근 의도 분류기(Intent Classification) 를 실험해보고 이용해 볼 일이 생겨 의도 분류기로 사용할 수 있는 구글의 Dialogflow 를 어떻게 이용할 수 있는지 적어보려고 합니다. Dialogflow 는 2016년에 기존 챗봇 빌더 시장에서 가장 유명한 플랫폼인 api.ai 를 구글이 인수하여 기존의 우수한 대화식 인터페이스는 살리고 구글의 강력한 머신러닝을 추가하여 만든 챗봇 빌더 플랫폼 입니다. Dialogflow 는 영어뿐아니라 한국어, 중국어, 우크라이나어 등 다양한 언어를 지원 가능하며 더 많은 언어도 추가적으로 업데이트할 예정이라고 합니다.(하지만 영어를 가장 잘 지원하긴 합니다.) 어떤 경우에 사용할 수 있을까? 단순한 작업의 경우 코드를 직접 구성하지 않아도 되기 때문에.. 공감수 0 댓글수 0 2022. 3. 10.
Tokenizer에 종류 단어 단위로 Tokenize 글자단위로 Tokenize 하위 단위로 Tokenize 단어 단위로 Tokenize 장점 : 가장 간단하다(space 단위로 tokenize 를 하면 되니까) 단점 비슷한 단어끼리 의미를 공유하는 단어의 의미가 없어지게 된다. 단어가 굉장히 많기 때문에 거의 무한개의 토큰수가 생성된다. 토큰수를 한정하면 vocab에 해당 단어가 없을 경우 OOV가 되기 때문에 실제로 굉장히 뜻이 다른 단어지만 같은 Representaion으로 표현된다. 글자 단위로 Tokenize 장점 : 가장 적은 vocab 사이즈로 모든 표현이 가능하다. 단점 : 각각의 토큰의 의미를 거의 가지지 않는다. 모델의 입력으로 들어가게 될 때 굉장히 긴 sequence로 들어가기 제약이 많다. subword .. 공감수 0 댓글수 0 2022. 3. 1.
클라우드 환경에서 딥러닝 모델을 띄울 때 주의해야 할점과 나의 환경 1. 우선 위 그림처럼 pid 7060 이 killed 된것을 볼 수 있다.(참고로 환경은 ubuntu 18.04 버전이다.) 이런 경우 디스크(RAM) 프로세스 혹은 모델이 너무 커서 운영체제가 kill 명령어를 입력한 것이다. 따라서 더 좋은 instance로 바꾸는 작업을 해줘야한다. (참고로 도커를 사용한다면 이런것도 뜨지 않고 화면이 멈추는 경우도 자주 등장한다. 아마 RAM이 터져서 렉이 걸리는 거 같다. 따라서 이 경우도 더 좋은 instance로 변경해줘야 한다. 회사한테는 미안하지만 내 시간을 절약하기 위해선 우선 좋은 인스턴스를 할당 받아 내 코드 문제는 아니라는 것을 확인하는 방법으로 시간을 절약하는 방법이 가장 좋은 방법이다.) 2. 우분투 "ubuntu-drivers not fou.. 공감수 0 댓글수 0 2021. 8. 31.
BlenderBot 2.0 : An open source chatbot that builds long-term memory and searches the internet Long-term 메모리를 가지고 있으며 internet에 접근할 수 있는 능력을 가진 챗봇. 멀티턴에 대하여 long-term 메모리에 대해서 현재 존재하는 모델들을 능가하는 성능을 보임. 또한 일관성도 증가 되었고 지식도 더 많은 것을 알 수 있음. 모델은 대화 도중에 얻은 적절한 topic을 long-term memory store에 저장하고 long-term 대화 세션에 참여할때 이를 사용한다. 대화 도중 모델은 자신만의 검색쿼리를 생성하여 인터넷에 검색할 수 있고 관련 텍스트를 읽고 반응을 할 수 있다. 공감수 0 댓글수 0 2021. 7. 19.
ROUGE ROUGE가 요약 모델의 성능을 평가 하는 방법 Recall-Oriented Understudy for Gisting Evaluation 의 준말 텍스트 요약, 기계번역 등 자연어 생성 모델의 성능 평가 지표 시스템 요약(모델 생성 요약): the cat was found under the bed 참조 요약(Gold standard, 대개 사람이 직접 만든 요약): the cat was under the bad 만약 모델의 성능 평가를 위해 개별 단어 에만 집중한다면 모델이 생헝한 시스템요약과 사람이 만들어 놓은 참조 요약 간 겹치는 단어는 단 6개 뿐이다. 그러나 이 6이라는 숫자는 성능 지표(metric)로 바로 사용하기에 적합하지 않은 수이다. 따라서 정략적 지표로 사용할 수 있는 값을 얻기 위해 .. 공감수 0 댓글수 0 2021. 7. 16.
서브워드 토크나이저 기계에 아무리 많은 단어들을 학습시킨다고 하여도 신조어와 단어사이즈의 한계등으로 인하여 Out-Of-Vocabularay가 발생한다. 이를 해결하기 위해서 서브워드 분리작업이라는 것이 만들어 졌다. 서브워드 분리 작업은 하나의 단어는 더 작은 단위의 의미있는 여러 서브워드들의 조합으로 구성된 경우가 많기 때문에, 하나의 단어를 여러 서브워드로 분리해서 단어를 인코딩 및 임베딩 하겠다는 의도를 가진 작업이다. 이를 통해 OOV, 희귀 단어, 신조어 문제를 완화 시킬 수 있다. 이런 서브워드 토크나이저에는 대표적으로 Sentencepiece 알고리즘과 BPE를 활용한 WordPiece가 있다. BPE(Byte Pair Encoding) BPE는 1994년에 제안된 데이터 압축 알고리즘으로 연속적으로 가장 많.. 공감수 2 댓글수 0 2021. 1. 23.
Pytorch에서는 왜 항상 optimizer.zero_grad()를 해줄까? 바로 질문에 대한 답을 말씀드리자면 "Pytorch에서는 gradients값들을 추후에 backward를 해줄때 계속 더해주기 때문"에 우리는 항상 backpropagation을 하기전에 gradients를 zero로 만들어주고 시작을 해야합니다. 이렇게 gradients을 더해주는 방식은 RNN을 학습시킬때 매우 편리한 방식입니다. 따라서 매번 loss.backward()를 호출할때 초기설정은 매번 gradient를 더해주는 것으로 설정되어있습니다. 그렇기 때문에 학습 loop를 돌때 이상적으로 학습이 이루어지기 위해선 한번의 학습이 완료되어지면(즉, Iteration이 한번 끝나면) gradients를 항상 0으로 만들어 주어야 합니다. 만약 gradients를 0으로 초기화해주지 않으면 gradie.. 공감수 16 댓글수 0 2021. 1. 17.
Batch Normalization은 왜 사용하는 것일까? 1. training을 빠르게 해준다. 처음 그대로 입력을 넣으면 height의 경우는 분포의 범위가 상당히 조그마하기 때문에 age에 비해 상당히 가파른 것을 알 수 있다. 이 경우 가장 optimal한 point로 가기위해서는 상당히 미세하게 조정해야 하는 것을 알 수 있다. 하지만 height와 age의 평균이 0 이고 분산이 1인 분포로 만들게 되면 age와 hegiht의 분포가 비슷해지기 때문에 더 큰 lr을 가지고도 학습을 진행해도 optimal값에 들어가는데 지장이 없어서 이 경우 더 빠르게 수렴한 다라는것을 직관적으로 알 수 있다. 2. 초기 가중치의 중요도를 낮춘다. 앞서 설명했던 예시 처럼 데이터의 분포가 비슷하니 optimal 한 값에 더욱 잘 찾아가고 이 말은 학습이 더 원활하게 되.. 공감수 1 댓글수 0 2021. 1. 17.
Hyperparameter 튜닝은 어떻게 하는걸까? 딥러닝에는 여러가지 하이퍼 파라미터가 존재한다. 예를들어 대표적으로 몇개만 써보면 1. 층 별로 hidden unit의 갯수 2. 학습률 3. Adam optimizer로 예시를 들면 베타값 2(0.9 와 0.999)개와 입실론값(10^-8) 4. layer의 수 5. 학습률을 쓰지 않는다면 learning rate decay 6. mini-batch 의 크기 7.모멘텀 값(0.9 가 가장 좋은 초기값으로 알려져 있다.) 빨간색이 가장 중요한 하이퍼파라미터이고 그다음 차례대로 중요한 것이 주황색 초록색이라고 생각하면 될 것 이다.(당연히 이렇게가 항상 중요한 순서다 라는 것은 아니다! 일반적으로 그렇다고 생각하면 될 것이다.) 과거의 머신러닝에서는 위의 그림과 같이 하이퍼파라미터가 2개만 있다고 가정했을.. 공감수 2 댓글수 0 2021. 1. 17.
Dropout 이란 무엇인가 Dropout은 신경망의 뉴런을 부분적으로 생략하여 모델의 과적합(overfitting)을 해결해주기 위한 방법중 하나이다. 과적합이란 training dataset으로 학습한 모델의 정확도가 x 축을 layer 수라고 할때 layer를 쌓으면 쌓을 수록 training에 대하여 loss 값은 줄어 들지만 오히려 test set에 대해서는 loss 값이 올라가는것을 예시로 들 수 있을 것이다. 다시 Dropout 으로 돌아가자면 전체 weight를 계산에 참여시키는 것이 아닐 layer에 포함된 weight 중에서 일부만 참여시키는 것이다. 여기서 일부만 참여시키는 것이라는 나머지를 제외 시키라는 말이 아니라 나머지 뉴런을 0으로 만드는 것을 의미한다. 딱봐도 잘 안될거 같은데 직관적인 설명이 이를 경감.. 공감수 2 댓글수 2 2021. 1. 16.
CycleGAN 이란? CycleGAN을 이해하기 앞서 pix2pix 에 대해서 이해가 필요하다 pix2pix pixel to pixel은 말 그대로 하나의 픽셀을 다른 픽셀로 바꿔준다는 의미이다. 아래 이미지와 같이 흑백사진을 컬러사진으로 바꾸거나, label만 부여한 input에 대해 실제 이미지를 생성하거나, edge만 있는 input 에 대하여 완전한 output을 만들어 내는데 사용한다. 아래의 사진을 참고하면 이해하기 더 용이하다. loss function pix2pix의 loss function은 다음과 같다. G(x) 와 y의 차이(여기서 G(x)는 생성한 이미지를 y는 ground truth를 의미한다.), 즉 pixel level의 차이를 최소화 한것을 loss로 두고 학습을 시키면 아래와 같은 결과가 나온다.. 공감수 1 댓글수 0 2021. 1. 16.
nn.Module에서 super 위에 코드들의 공통점은 클래스들이 모두 pytorch의 nn.Module을 상속했다는 것이다. 하지만 이것의 super에서 __init__ 을 호출 할때 어떠한 것은 매개변수에 자신의 클래스 이름과 self를 넣는 반면 어떠한 것은 아무것도 넣지 않고 그냥 호출한다. 개인적으로 뭔가 이해가 안되는 코드가 있으면 계속 눈에 밟여서 신경이 쓰여 찾아본 결과 단순 버전 차이로 발생된 차이이다. 즉, pytorch의 전 버전에서는 어떠한 파라미터를 넣지 않는 것이 맞는것이다. 위의 코드는 pytorch에서 class Module(object): 의 __init__을 가져온것이다. 보다시피 self 외에 어떠한 파라미터도 갖지 않는 것을 볼 수 있다. 그렇다면 어떤 클래스를 만들고 만약 그 클래스가 pytorch.. 공감수 1 댓글수 1 2021. 1. 10.
np.zeros 와 np.zeros_like 의 차이 np.random.randn vs np.random.rand 와 더불어 가장 헷갈리는 것이 np.zero 와 np.zeros_like 의 차이일것이다. 언어 자체에 의미를 두는것이 좀 더 빠른 이해에 도움이 된다. 시간이 없는 사람들을 위해 간단히 만 설명하자면 np.zeros : 0으로 가득찬 Array를 배출한다. 즉, 여기에는 튜플, int, 혹은 list의 값이 들어와야 한다 그렇게 되면 해당하는 shape으로 형태를 만들어준다음 Array를 return 한다. 만약 여기에 np.zeros_like 처럼 변수를 넣어주면 오류가 나온다. np.zeros_like : 어떤 변수만큼의 사이즈인 0 으로 가득 찬 Array를 배출한다. 즉, 여기에는 변수가 들어와야한다. 여기는 변수 말고도 그냥 [2,3.. 공감수 3 댓글수 0 2021. 1. 6.
NLP 에서의 embedding size NLP에 대해서 "임베딩"이란 말을 많이 들었는데 "임베딩"이란 무엇일까? 임베딩 : NLP에서 일반적으로 사람들이 쓰는 언어를 기계가 알아들을 수 있게 수치화(벡터화) 하는 것으로 단어나 문장을 벡터 공간에 끼워넣는다(embed)는 의미를 가지고 있다. 이렇게 했을 때 장점이 어떤 것이 있을까? 1. 1.1 코사인 유사도와 같은 방법으로 가장 유사한 문장 또는 단어를 계산 하여 구할 수 있다. 1.2 t-SNE 차원 축소 기법으로 시각화가 가능하다. 2. 단어들 사이의 의미/문법적 정보를 도출 할 수 있다. 단어나 문장 사이의 유사도를 계산 할 수 있다. 코사인 유사도와 가은 방법으로 가장 유사한 문장 또는 단어를 계산 하여 구할 수 있다. t-SNE 차원 축소 기법으로 시각화가 가능하다. 단어들 사이.. 공감수 0 댓글수 0 2021. 1. 1.
Beam Search NLP(자연어처리)에서 많이 사용되는 Beam Search에 대해서 알아보고자 한다. 나는 이번 논문 주제인 챗봇에 대한 모델을 만들때 해당 알고리즘을 사용했다. 마침 이번학기 때 (3-2학기) 알고리즘 수업을 들었는데 Greedy search 그리고 DFS 와 비슷한 느낌을 받았다. Beam Search 어떻게 생겼고 어떠한 이유때문에 NLP에서 사용되는지 알아보자 main.py 로 인하여 prediction은 2차원 리스트가 만들어 진다. 즉, 형태가 [[10개의 랜덤숫자], [10개의 랜덤숫자], [10개의 랜덤숫자], [10개의 랜덤숫자]] 으로 만들어진다. 여기서 beam_search를 호출한다. beam_size(여기서는 k에 해당한다)는 5로 놓았다. 차근차근히 봐보자. 원래 남의 코드 보는.. 공감수 0 댓글수 0 2020. 12. 22.
numpy의 rand와 randn의 차이 numpy에서 항상 궁금했었던 것이 있다. import numpy as np A=np.random.rand B=np.random.randn 이 둘의 차이는 무엇일까?? randn Return a sample (or samples) from the “standard normal” distribution. 표준 정규 분포 ( N(0,1) 즉, 평균이 0이고 표준편차가 1인 분포) 에서 추출한 샘플을 리턴한다. 따라서 음수의 값이 나올 수 있다. rand Create an array of the given shape and populate it with random samples from a uniform distribution over [0, 1). 즉, 0은 들어가지만 1은 들어가지 않는 균등분포(각각.. 공감수 0 댓글수 0 2020. 8. 9.
시계열 데이터란? 시계열이란 시계열에서의 샘플들은 x1,-----,xn 까지 있다고 할 때, 각 샘플들은 특정한 시간 t에서 측정한 데이터들이다. 예를 들어 x1은 1초에 생성된 정보, x2는 2초 때에 생성된 정보... 등으로 말이다. 관측치가 시간적 순서를 가진 데이터이다. 이 데이터는 변수간의 상관성이 존재하는 데이터를 다루며, i.i.d, 연속 하거나 불규칙적 데이터는 다루지 않는다. 시계열 데이터는 과거의 데이터를 통해서 현재의 움직임 그리고 미래를 예측하는데 사용된다. 일반적인 label 데이터는 input과 label 간의 상관관계를 다루는 반면에 시간에 따라 어떻게 움직이는 과거의 자료를 가지고 예측하게 된다. 대표적인 예시 추세: 경향성을 나타내는 말로서 세부적인 데이터는 다 빼고 계절성: 특정한 기간마다.. 공감수 0 댓글수 0 2020. 8. 8.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.