preview

ReLU (Rectified Linear Unit)

현대 딥러닝의 기본 활성함수. 단순하지만 게임 체인저였어요:

$\text{ReLU}(z) = \max(0, z)$

왜 강력한가

시그모이드·tanh와 비교:

활성	포화 영역	미분
sigmoid	양끝에서 0에 가까움 → vanishing gradient	$\sigma(1-\sigma) ≤ 0.25$
tanh	양끝에서 0에 가까움	$1 - \tanh^2$
ReLU	음수에선 정확히 0 (dead neuron) 가능, 양수에선 미분 = 1	1 (양수) / 0 (음수)

ReLU는 양수 영역에서 그래디언트가 죽지 않아서 깊은 망의 학습 을 가능하게 만들었습니다. 단점: 음수 입력이 계속되면 뉴런이 "죽을" 수 있음 → Leaky ReLU, ELU 등 변형이 나옴.

함수 relu(z) 를 완성하세요.