[HW] 딥러닝에 GPU를 사용하는 이유 / CPU와 GPU의 차이

딥러닝은 왜 GPU 인가?

• AI 모델에서는 프로세서 병렬 연산 속도가 얼마나 빠르냐를 기준으로 성능을 구분한다.
• GPU(Graphics Processing Unit)는 말 그대로 비디오 즉, 픽셀로 이루어진 영상을 처리하는 용도로 탄생했다. 이 때문에 CPU에 비해 반복적이고 비슷한, 대량의 연산을 수행하며 이를 병렬적으로 나누어 작업하기 때문에 CPU에 비해 속도가 대단히 빠르다.
• 어플리케이션의 연산집약적인 부분을 GPU로 넘기고 나머지 코드만을 CPU에서 처리하는 GPU 가속 컴퓨팅은 특히 딥러닝 영역에서 강력한 성능을 제공한다. 사용자 입장에서는 연산 속도가 놀라울 정도가 빨라졌음을 느낄 수 있다.

CPU와 GPU의 구조

• 산술논리연산장치 (ALU) 는 산술연산을 진행하는 장치이다.
• CPU 보다 GPU 가 산술논리연산장치(ALU)의 수가 더 많다.
• 따라서 산술논리연산에서 GPU는 CPU 보다 성능이 좋다.
  • "GPU 에는 제어장치가 없는데, 어떻게 연산이 가능하냐"는 질문을 할 수 있는데, GPU 에게 명령을 내리는 것은 CPU 이다.
• 하지만 GPU 는 CPU 와 달리 복잡한 연산은 진행하지 못한다.

CPU와 GPU의 차이

• CPU
  • 다양한 환경의 작업을 처리하기 위해 control unit, cache, ALU(Arithmetic Logic Unit, CPU 산술 논리 연산 장치)의 처리 구조가 복잡하다.
• GPU
  • 특화된 연산만 처리하기 위해 control unit, cache 보다는 다수의 ALU(Arithmetic Logic Unit, CPU 산술 논리 연산 장치)로 구성되었다.

참고

• https://meetup.toast.com/posts/250
• http://www.aitimes.com/news/articleView.html?idxno=133691
• https://wooono.tistory.com/207
• https://sdc-james.gitbook.io/onebook/2.-1/1./1.1.1.-cpu-gpu