Batch Normalization 정리
이번 포스트에서는 지금는 너무나 당연시 사용되고 있는 Batch Normalization(배치 정규화, BN)에 대해 정리하고자 한다.
BN은 다양한 매커니즘에서 사용되고 있으며 일반적인 신경망이나 Transformer 등에서도 사용되고 있다.
일단 간단하게 BN의 특징을 간단히 정리하면 다음과 같다.
Batch Normalization의 특징
네트워크 input 시에만 정규화하는 것이 아니라, 레이어별로 입력값을 정규화를 진행함.
이때, 미니배치별 통계량(평균, 분산)을 사용해서 정규화 한다.
예상되는 효과는 다음과 같다.
학습이 안정된다.
파라미터(가중치)의 값이나 초기값의 영...
