taeyounkim LOG

* GEMV를 GEMM으로 바꾸는 과정이 왜 중요한가? -> 도저히 찾아도 안나와서 GPT 사용, 아래와 같다고 함 *Batch Size 전체 data set을 여러 작은 그룹을 나누었을 때 하나의 그룹에 속하는 data의 수를 batch size라고 한다. Batch size가 너무 크면 학습해야 하는 data가 많아져 학습 속도가 느려짐 + memory 부족 문제 발생 가능 Batch size가 너무 작으면 훈련이 불안정 (너무 잦은 가중치의 update)

[종합설계 공부자료] *벡터와 행렬의 차이 : https://box-world.tistory.com/8 *BLAS란? : https://computing-jhson.tistory.com/72 *SIMD (Single Instruction Multiple Data) : https://m.blog.naver.com/fs0608/221650925743 *GEMV GEMM 차이 1 : http://weekly.tta.or.kr/weekly/files/20221210041249_weekly.pdf *GEMV GEMM 차이 2 : https://stackoverflow.com/questions/7067600/blas-gemm-vs-gemv *Openblas 사용해보기 : https://velog.io/@alirz-..