종합설계 공부내용 정리 (까먹지 않아야 할 것들)

* GEMV를 GEMM으로 바꾸는 과정이 왜 중요한가?

-> 도저히 찾아도 안나와서 GPT 사용, 아래와 같다고 함

 

*Batch Size

전체 data set을 여러 작은 그룹을 나누었을 때 하나의 그룹에 속하는 data의 수를 batch size라고 한다.

Batch size가 너무 크면 학습해야 하는 data가 많아져 학습 속도가 느려짐 + memory 부족 문제 발생 가능

Batch size가 너무 작으면 훈련이 불안정 (너무 잦은 가중치의 update)