Tech & TIL

[CLASS] torch.nn.Module 공식문서에 따르면 torch.nn.Module 은 PyTorch의 모든 Neural Network의 Base Class이다. 모듈은 다른 모듈을 포함할 수 있고, 트리 구조로 형성할 수 있다. 공식문서에 예제를 코딩해보면서 감을 잡아보자. import torch.nn as nn import torch.nn.functional as F class MyModel(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5) self.conv2 = nn.Conv2d(20, 20, 5) def forward(self, x): x = F.relu(self.conv1..

Pytorch는 tensor가 모든 것의 기본 구성 요소이다. 하지만 공식 문서를 읽어보면 torch.tensor와 torch.Tensor가 있다. 둘의 차이점은 무엇일까? torch.Tensor Class int 입력시 float으로 변환 torch 데이터 입력시 입력 받은 데이터의 메모리 공간을 사용 list, numpy 데이터 입력 시 입력 받은 데이터를 복사하여 새롭게 torch.Tensor를 만든 후 사용 torch.tensor Function int 입력시 int 그대로 입력 받은 데이터를 새로운 메모리 공간으로 복사 후 사용

Python, PyTorch, TensorFlow 등 대중화된 언어, 라이브러리, 프레임워크들은 개발자들이 본인들이 만든 언어나 라이브러리에 대해 자세하게 작성해놓은 설명서가 존재한다. 하지만 그런 오픈소스 툴을 사용하는 개발자들은 구글링에 의존하는 경향이 크다고 생각한다. 물론 아직 개발을 시작한 지 얼마 되지 않았다면 영어로 된 공식문서를 읽는 것보단 구글링으로 블로그 글 등을 읽는 것이 더 도움이 된다. 빠르게 원하는 정보를 찾을 수 있기 때문이다. 하지만 숙련도가 조금 올라가면 블로그에서 다루는 것으로는 부족한 경우가 많아진다. 예를 들면 어떤 함수의 파라미터로 어떤 값을 전달해야 하는지는 블로그 글만 읽으면 내가 원하는 정보를 찾을 수 없다. 이때 필요한 것이 공식문서를 보는 것이라고 생각한다...

딥러닝을 할 때, 코드는 처음부터 다 짜야할까? 죽을수도있다.. 남이 만든걸 쓴다. 자료 많고 관리 잘 되고 표준이다. 딥러닝 프레임워크 리더는 PyTorch(facebook)와 TensorFlow(google) PyTorch와 TensorFlow의 가장 큰 차이는 Computational graph가 Static한지 Dynamic한지가 있다. Computational Graph란 연산의 과정을 그래프로 표현한 것. TensorFlow: Define and Run, 그래프를 먼저 정의하고 -> 실행시점에 데이터 feed, 실제 제품 생산 production 영역에선 장점이 있다. PyTorch: Define by Run, 실행하면서 그래프를 생성하는 방식, 디버깅할 때 이점을 가짐. 최근 파이토치 사용량..