인공지능 모델 학습 시 설정해주는 파라미터 - 배치 사이즈, 학습률

인공지능이 뜨기 전부터 공부하다가 어느순간 인공지능이 뜨기 시작하더니 이젠 학교에 여러 지원이 들어와서 편히 공부 할수 있고 좋네요.

 

처음 인공지능 교육을 위해 여러 프로그램에 참여하고 여러 학생들과 같이 만들어보고 평가도 해보고 이런저런 시간을 가졌습니다. 여러 조가 발표하는 내용중에 이런 말이 있었습니다. (다들 완전 초보였어서 파라미터의 기능을 잘 모를때였습니다.)

 

'저희 조는 GPU 성능이 좋지 못해 기존 배치 사이즈를 수정서 학습한 결과를 보여드리겠습니다.'

 

이 말을 들었던 교수님은 배치 사이즈와 모델 성능의 상관관계는 어떤가? 라는 질문에 대부분의 답변은 이랬습니다.

'배치 사이즈는 파일을 가져오는 단위로 GPU 성능때문에 조절했습니다.'

 

지금 생각해보면 반은 맞고 반은 틀린 말이죠. 물론 GPU 성능이 낮으면 특정 파라미터로 설정해 모델을 학습시키면, 신나게 학습하다가 갑자기 GPU 용량 초과로 학습이 중단되어버리는 상황이 발생합니다. 그렇지만!! 배치 사이즈는 어떤 역할을 할까 열심히 찾아봤습니다.

 

- CNN 구조에서 배치 사이즈 관계

https://www.sciencedirect.com/science/article/pii/S2405959519303455

 

이 논문을 요약하면 이렇습니다.

1. 배치 사이즈는 학습 정확도에 매우 중요한 관계가 있습니다.

2. 배치 사이즈를 조절할 경우 항상 학습률도 함께 조절해야합니다.

3. 배치 사이즈는 32가 가장 좋은 기본값으로 작용할 수 있다.

4. 결과값으로 따지면 가장 좋은 조합은

- 작은 배치 사이즈 + 낮은 학습률

- 큰 배치 사이즈 + 높은 학습률

 

가장 나쁜 조합은

- 작은 배치 사이즈 + 높은 학습률

- 큰 배치 사이즈 + 낮은 학습률

 

이정도가 되겠습니다.