| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- clustering
- machine learning
- 머신러닝
- object detection
- MySQL
- BFS
- DP
- 백준
- eecs 498
- overfitting
- Mask Processing
- deep learning
- Python
- dfs
- Reinforcement Learning
- C++
- edge detection
- dynamic programming
- AlexNet
- 딥러닝
- 강화학습
- image processing
- 그래프 이론
- MinHeap
- sklearn
- exists
- canny edge detection
- opencv
- dropout
- SIFT
- Today
- Total
목록2024/12 (15)
JINWOOJUNG
Dropout Reduces Underfitting...(2)
4. Approach모델의 underfitting, overfitting regime(상태)을 결정하는 기준은 다음과 같이 정의된다.Overfitting모델이 표준 dropout에서 더 좋은 일반화 성능을 보이는 경우표준 dropout은 training 전 과정에서 dropout 적용Underfitting모델이 dropout이 없을 때 더 좋은 성능을 보이는 경우본 논문에서는 각각의 상태에 따른 서로 다른 dropout 적용 방법을 제안한다. $\quad$Underfitting : early dropout Underfitting 상태의 모델은 dropout을 사용하지 않는 것을 기본 설정으로 한다. 이때, 모델이 training data에 더 잘 맞춰지도록 하기 위한 early dropout을 제안한다...
Dropout Reduces Underfitting...(1)
Research Paperhttps://arxiv.org/pdf/2303.01500https://jmlr.org/papers/v15/srivastava14a.htmlhttps://arxiv.org/abs/1512.033850. AbstractDropout은 Neural Network에서 Overfitting을 방지하는 정규화로써 사용되고 있다. 본 논문에서는 Dropout을 초기학습에서 사용함으로써 Underfitting을 완화하는데 사용할 수 있음을 입증한다.미니배치 간의 기울기 방향 분산을 감소전체 데이터셋의 기울기와 미니 배치의 기울기를 정렬초기 학습에서의 Dropout을 통해 SGD의 확률적 특성을 보완하고, 개별 배치가 모델 학습에 미치는 영향을 제한할 수 있다. 이를 기반으로 Dropout을 ..
[EECS 498] Assignment 2. Two Layer Neural Network...(2)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/126 [EECS 498] Assignment 2. Two Layer Neural Network...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강jinwoo-jung.comTrain Neural Network using CIFAR-10Train with defau..
[EECS 498] Assignment 2. Two Layer Neural Network...(1)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/125 [EECS 498] Assignment 2. Linear Classifier...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/124 [EECS 498] Assignment 2. Linear Classifier...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를jinwoo-jung.com Introduction본 과제는 Classification을 위한 FC Layer를 가진 Neural Networ..
[EECS 498] Assignment 2. Linear Classifier...(2)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/124 [EECS 498] Assignment 2. Linear Classifier...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/123 [EECS 498] Assignment 1. k-NN...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강jinwoo-jung.comFind Optimal Hyperparameter초기 Accuracy는 9% 정도로 매우 낮음을 확인할 수 있다. Linear Cla..
[EECS 498] Assignment 2. Linear Classifier...(1)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/123 [EECS 498] Assignment 1. k-NN...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/122 [EECS 498] Assignment 2. KNN...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하jinwoo-jung.comIntroduction본 과제는 CIFAR-10 Dataset을 기반으로 Linear Classifier를 구현하고 테스트하는 과제이다. 지난..
[EECS 498] Assignment 1. k-NN...(2)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/122 [EECS 498] Assignment 2. KNN...(1)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/120 [EECS 498] Assignment 1. PyTorch 101...(3)본 포스팅은 Michigan Univ.의 EECS 498 강의를jinwoo-jung.com6. KNN Classifier이제 KnnClassifier Class를 생성 해 보자. 생성한 KnnClassifier를 바탕으로, ..
[EECS 498] Assignment 1. k-NN...(1)
본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.tistory.com/120 [EECS 498] Assignment 1. PyTorch 101...(3)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하면서 공부한 내용을 정리하는 포스팅입니다.https://jinwoo-jung.com/119 [EECS 498] Assignment 1. PyTorch 101...(2)본 포스팅은 Michigan Univ.의 EECS 498 강의를 수강하jinwoo-jung.com1. Load Datax_train, y_train, x_test, y_test = eecs598.data.cifar10()pri..