본문 바로가기

IN DEPTH CAKE/ML-WIKI

(3)

Inductive Bias, 그리고 Vision Transformer (ViT) 들어가는 말 Transformer는 (CNN보다) Inductive Bias가 약한 네트워크로, general-purpose 네트워크의 새로운 지평을 연 구조로 평가받습니다. Inductive Bias가 적다는 것은 양날의 검인데, 이를 이해하기 위해서는 Inductive Bias가 무엇인지 그리고 Inductive Bias가 학습에 끼치는 영향을 이해할 필요가 있습니다. 본 글에서는 추상화된 형태로 Inductive Bias를 설명해보려 합니다. In computer vision, there has recently been a surge of interest in end-to-end Transformers, prompting efforts to replace hand-wired features or i..

<ML논문> 클래스 불균형 문제 Cui et al. "Class-Balanced Loss Based on Effective Number of Samples" (CVPR 2019) TL;DR Class imbalance 문제를 해결하기 위해서 데이터셋 각 클래스의 유효 데이터 수를 정의하고 이를 활용한 re-weighting기반 Class Balance Loss 기법 제안. 무슨 문제를 풀고 있나? 딥러닝 모델 학습에 사용되는 일반적인 데이터 셋 (예를들어 CIFAR-10, 100, ImageNet 등)이 클래스 라벨 분포가 균일한 것과 달리, 실제 상황에서는 모든 클래스의 데이터 수가 균일하게 수집되지 않는, Long Tail 현상이 발생한다. 여기서 Long Tail이라고함은, 각 학습 데이터 의 클래스 별 샘플 수에 대한 분포를 그렸을 때 아래 그림과 같이, 소수의 클래스에 대해서 데이터 샘플 수가 많은 데 반해 (Head) 다수의 클래스에서 기대치 이하의 샘플 수를 갖는 (..

<ML논문> CVAE에 대하여 (feat. 누가 진짜 CVAE인가? 하나의 이름, 두 개의 기법) 본 글은 논문의 상세 내용을 다루는 포스팅은 아니에요. 다만, 두 개의 논문이 하나의 이름으로 불리고 있길래, '이에 대한 혼선을 정리하는 글을 써보자'하는 마음으로 글을 썼습니다. 물론 간략하게 각각의 논문 내용을 다루고 있기는 합니다만, 자세한 내용은 각 논문 내용을 설명하는 글을 참고해주세요. 감사합니다. 안녕하세요. 오늘은 개인적으로 흥미로웠던 현상에 대해 적어볼까 합니다. 이 본문을 읽고 계신 99.9 % 의 분들은 "CVAE"라는 키워드를 검색하셨을 것 같아요. 여러분이 이 글을 클릭하실 때 생각하신 CVAE는 어떤 녀석인가요? 질문이 이상하죠? 제가 오늘 이 글을 쓰기로 마음먹은 데는 이유가 있습니다. 제가 검색을 하다가 발견한 현상이 있는데, 바로 두 개의 (유관하지만 서로 다른) 논문이 ..

이전 1 다음

티스토리툴바