CS229 (1) 썸네일형 리스트형 Inductive Bias 안녕하세요 오랜만에 글을 쓰게 되었습니다. 요즘 대학원 진학 후 이것저것 하다 보니 시간이 빨리 가네요.. 오늘 다룰 주제는 제가 최근에 공부하고 있는 Transformer에서 나온 용어에 대해서 짚어보고 넘어가 보려고 합니다. 요즘 Learning 분야에서는 Transformer를 도입해보는 연구가 많이 진행되고 있는데요. Vit와 같은 Transformer를 Vision에서 도입한 논문에서 주로 이런 말이 언급됩니다. "Transformers lack some of the inductive biases inherent to CNNs" (from paper An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale [Alexey.. 이전 1 다음
