딥러닝 (3) 썸네일형 리스트형 Inductive Bias 안녕하세요 오랜만에 글을 쓰게 되었습니다. 요즘 대학원 진학 후 이것저것 하다 보니 시간이 빨리 가네요.. 오늘 다룰 주제는 제가 최근에 공부하고 있는 Transformer에서 나온 용어에 대해서 짚어보고 넘어가 보려고 합니다. 요즘 Learning 분야에서는 Transformer를 도입해보는 연구가 많이 진행되고 있는데요. Vit와 같은 Transformer를 Vision에서 도입한 논문에서 주로 이런 말이 언급됩니다. "Transformers lack some of the inductive biases inherent to CNNs" (from paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale [Alexey.. 딥러닝 내용 정리 2편 안녕하세요 딥러닝 리뷰 두번째 시간인데요 오늘은 두번째인 만큼 더 많은 내용을 다뤄 보도록 해보겠습니다. 시작해볼까요~ 저번시간에 배운 인간의 뉴런을 모델로 만든 퍼셉트론은 위와 같은 구조를 가집니다. 여러개의 입력 그에 대한 가중치(weight)와 편향(bias)을 통해서 y를 정의합니다. 가중치는 여기서 x1, x2등 입력 신호의 영향력을 나타내는 값이고 편향은 우리가 출력하려는 y값(뉴런)이 얼마나 쉽게 활성화 되는지 제어해주는 역할을 합니다. 어느하나 안중요한게 없죠~ 여기서 우리는 한가지 기준을 정하여 0과 1로 y값을 정합니다 (기준은 정하기 나름이지만 우리는 0을 기준으로 잡아보겠습니다) 앞서 위에서 살짝 언급했던 대로 0과 1로나누어 활성화 상태를 나타냅니다. [0(비활성화), 1(활성화).. 딥러닝 내용 정리 1편 오늘 배워볼 내용은 제가 책을 읽고 정리한 딥러닝 내용인데요 부족하지만 한번 정리 해보겠습니다. 퍼셉트론(Perceptron) 퍼셉트론은 인간의 신경망 단위인 뉴런을 구조로 만들어진 형태이다. 인공지능은 이렇게 인간의 신경망 단위를 모티브로 다음과 같이 가장 작은 단위를 퍼셉트론으로 정의하였습니다. 여러가지 작을 받으면 기준치를 정하고 그이상이면 신호를 전달하는 형태로 구별을 합니다. 이러한 구분선을 우리는 다음과 같이 정의하는데 > y = w x +b (어디서 한번쯤은 본 식...) 바로 1차 방정식이다. x앞의 w는 기울기를 나타내는 가중치이며, b는 y절편으로 편향의 정도를 나타내는 바이어스다 이렇게 간단한 선을 이용해서 영역을 나눠서 구분한다 생각하면 된다. 예를 들어 위와 같이 A를 좋아하는 집.. 이전 1 다음
