How to Break GPU Memory Boundaries Even with Large Batch Sizes
Overcoming the problem of batch size and available GPU memory in training neural networks
towardsdatascience.com
https://stackoverflow.com/questions/54413160/training-validation-testing-batch-size-ratio
Training, Validation, Testing Batch Size Ratio
I'm doing transfer learning using Inception on Tensorflow, this is the training code that I followed : https://raw.githubusercontent.com/tensorflow/hub/master/examples/image_retraining/retrain.py ...
stackoverflow.com
한 줄 요약)
(train할 때) GPU 사용 시 메모리 부족하면 batch_size 줄이면 됨,
validation batch size, test batch size는 학습에 영향을 끼치지 못하므로, 그냥 GPU가 감당할 수 있을 만큼 크게 하면 됨 (그리고 그 구체적인 숫자는 직접 돌리고 깨져봐야 알 수 있다.....)
'Computer > ML·DL·NLP' 카테고리의 다른 글
| [PyTorch] .grad.zero_() zero_grad() 차이점 (0) | 2024.01.16 |
|---|---|
| [KoBigBird] Basemodel, configuration (0) | 2022.12.16 |
| [PCA] 공분산 행렬, PCA (0) | 2022.09.20 |
| [ML] 머신러닝 모델에서의 head, backbone이란? (0) | 2022.08.29 |
| Sequential Model 이란? (0) | 2022.07.01 |
댓글