JINWOOJUNG

https://jinwoo-jung.tistory.com/133 Very Deep Convolutional Networks for Large-Scale Image Recognition...(1)Research Paperhttps://arxiv.org/abs/1409.1556https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.htmlhttps://www.researchgate.net/publication/220812758_Flexible_High_Performance_Convolutional_Neural_Networks_for_Imajinwoo-jung.com4. Classification E..

Research Paperhttps://arxiv.org/abs/1409.1556https://papers.nips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.htmlhttps://www.researchgate.net/publication/220812758_Flexible_High_Performance_Convolutional_Neural_Networks_for_Image_Classification0. Abstract본 논문에서는 Convolutional Network의 Depth에 따른 성능을 분석한다. 3x3의 작은 Convolutional Filter를 사용하여 Network의 Depth를 16~19까지 증가시킴..

Reducing OverfittingAlexNet의 경우 6,000만 개의 Parameter를 가지기에, ImageNet의 Subset(Large Datset)으로도 Overfitting이 발생할 수 있다. 본 논문에서는 Overfitting을 막기위한 2가지 방법을 사용한다. Data Augmentation Image Dataset에서 Overfitting를 줄이기 위해 Label을 보존한 변형(Data Augmentation)을 많이 사용한다. 본 논문에서는 2가지 주요한 Data Augmentation을 다루며, 매우 작은 연산으로 진행되기에 변형된 Image를 추가적으로 저장할 필요가 없다. 추후 저자가 공지한 것 처럼, Input Image는 잘못된 논문과 달리 227x227x3으로 표현하겠다...

IntroductionObject Detection Task는 Machine Learning이 필수적으로 요구된다. 모델의 성능 향상을 위해선 더 큰 데이터 셋(Large Dataset), 더 강인한 모델의 학습(More Powerful Model), 과적합(Preventing Overfitting)을 막기 위한 기술의 사용이 요구된다.Large Dataset이전까지는 Label을 유지한 Augmentation을 사용하면, 데이터 셋의 크기가 작아도 충분히 좋은 성능을 보였다. 하지만, 현실에서의 객체 인식 문제의 차원은 크고 다양한다. 즉, Occlusion, 조명, 변형 등 현실 세계에서의 다양성과 복잡성을 작은 데이터 셋은 충분히 반영하지 않고 있다. 또한, 작은 데이터 셋은 모델의 Overfitt..

4. Approach모델의 underfitting, overfitting regime(상태)을 결정하는 기준은 다음과 같이 정의된다.Overfitting모델이 표준 dropout에서 더 좋은 일반화 성능을 보이는 경우표준 dropout은 training 전 과정에서 dropout 적용Underfitting모델이 dropout이 없을 때 더 좋은 성능을 보이는 경우본 논문에서는 각각의 상태에 따른 서로 다른 dropout 적용 방법을 제안한다. $\quad$Underfitting : early dropout Underfitting 상태의 모델은 dropout을 사용하지 않는 것을 기본 설정으로 한다. 이때, 모델이 training data에 더 잘 맞춰지도록 하기 위한 early dropout을 제안한다...

Research Paperhttps://arxiv.org/pdf/2303.01500https://jmlr.org/papers/v15/srivastava14a.htmlhttps://arxiv.org/abs/1512.033850. AbstractDropout은 Neural Network에서 Overfitting을 방지하는 정규화로써 사용되고 있다. 본 논문에서는 Dropout을 초기학습에서 사용함으로써 Underfitting을 완화하는데 사용할 수 있음을 입증한다.미니배치 간의 기울기 방향 분산을 감소전체 데이터셋의 기울기와 미니 배치의 기울기를 정렬초기 학습에서의 Dropout을 통해 SGD의 확률적 특성을 보완하고, 개별 배치가 모델 학습에 미치는 영향을 제한할 수 있다. 이를 기반으로 Dropout을 ..

Abstract ImageNet LSVRC-2010에서 120만 개의 고해상도 이미지가 1000가지 클래스로 이루어진 Dataset을 Calssification 하기 위해 Large, Deep Convolution Neural Network(DCNN) 학습시켜, test dataset에 대한 37.5%의 Top-1 Error와 17.0%의 Top-5 Error를 달성하여 이전의 SOTA(State-Of-The-Art)보다 우수한 성능을 보였다. 해당 모델을 발전시켜 ILSVRC-2012에서 15.3의 Top-5 Error로 우승하였다. Introduction 객체 인식에 대한 접근 방식은 기계 학습 방법을 중요하게 활용한다. 최근까지 레이블이 지정된 이미지 데이터 셋은 수만장의 규모로 상대적으로 작았고,..

https://ffighting.net/deep-learning-paper-review/deep-learning-paper-guide/deep-learning-paper-guide/ 딥러닝 논문 가이드 - 딥러닝 전체 분야 핵심 논문 30개 딥러닝의 주요 논문 30여개를 연도별로 소개하고, 혁신적인 아이디어와 기술의 진화를 살펴봅니다. 복잡하고 다양한 논문 세계를 이해하는 데 도움을 주는 내용을 담고 있습니다. 딥러닝의 과거 ffighting.net 본 포스팅은 위 블로그에서 정리된 최신 논문의 흐름을 바탕으로 논문을 분석한 것을 정리하는 포스팅입니다. 딥러닝을 공부하면서 논문을 읽기 시작했는데 방대한 양과 너무 빠른 변화에 따라가기 힘들어서 고민하던 중 위 블로그가 시기별, 주제별로 논문의 흐름을 잘 ..