6장 2개의 층을 연결 - 다층 신경망 (4)
6-3 미니 배치를 사용하여 모델 훈련 - 미니 배치 경사 하강법 에포크마다 전체 데이터를 사용하는 것이 아니라 조금씩 나누어 정방향 계산을 수행하고, 그레이디언트를 구하여 가중치 업데이트 작게 나눈 미니 배치만큼 가중치를 업데이트 보통 16,32,64 등 2의 배수 사용 - 미니 배치 경사 하강법 구현 1. MinibatchNetwork 클래스 구현 class MinibatchNetwork(RandomInitNetwork): def __init__(self, units=10, batch_size=32, learning_rate=0.1, l1=0, l2=0): super().__init__(units, learning_rate, l1, l2) self.batch_size = batch_size # 배치 ..
