GPU 입문, 무엇부터 배워야 길을 잃지 않을까?
GPU를 처음 배우는 사람이 길을 잃지 않도록, 용어부터 아키텍처·실습까지 순서를 정리한 로드맵입니다.
GPU(Graphics Processing Unit, 그래픽 처리 장치)를 배워야겠다고 마음먹고 검색창을 열면, 대부분 비슷한 벽에 부딪힙니다. 어떤 글은 게임 그래픽카드 이야기를 하고, 어떤 글은 갑자기 행렬 곱셈과 CUDA 코드를 들이밉니다. 처음 보는 사람은 "그래서 나는 뭘 먼저 봐야 하지?"라는 질문에 답을 얻지 못한 채 창을 닫게 됩니다.
문제는 GPU가 어려워서가 아니라, 순서가 없이 배우기 때문입니다. 용어를 모르는 채로 아키텍처를 보면 글자만 지나가고, 아키텍처를 모르는 채로 코드를 보면 왜 그렇게 짜는지 이해가 되지 않습니다.
이 글은 그 순서를 정리합니다. 무엇을 먼저 보고, 무엇을 나중에 봐도 되는지, 그리고 각 단계에서 "이만큼 알면 다음으로 넘어가도 된다"는 기준을 함께 드리겠습니다. 끝까지 읽으면 자신에게 맞는 출발점 하나를 고를 수 있습니다.
GPU는 왜 CPU와 다른 길로 배워야 할까?
GPU를 CPU의 더 빠른 버전쯤으로 생각하면 처음부터 길을 잘못 듭니다. 둘은 애초에 다른 일을 하려고 만들어졌습니다.
CPU는 복잡한 일을 순서대로 빠르게 처리하도록 설계된 소수의 강한 코어로 이뤄집니다. 반대로 GPU는 단순한 계산을 한꺼번에 많이 처리하도록, 약한 코어를 아주 많이 늘려 놓은 구조입니다. 이미지의 수백만 픽셀을 동시에 칠하거나, AI 모델의 수많은 숫자를 한 번에 곱하는 일이 여기에 딱 맞습니다.
왜 이 차이를 먼저 알아야 할까요? 이 한 가지가 뒤에 나올 거의 모든 개념의 뿌리이기 때문입니다. "왜 GPU는 코어가 수천 개인가", "왜 데이터를 옮기는 비용이 중요한가", "왜 조건 분기가 많으면 느려지는가"는 모두 이 구조 하나에서 갈라져 나옵니다. 구조를 먼저 이해하면 나머지는 그 구조에 붙는 설명이 됩니다.
0단계: 용어부터 잡아야 하는 이유는?
많은 입문자가 0단계를 건너뜁니다. "용어 정리는 지루하니 실전부터"라는 생각 때문입니다. 그런데 실제로는 이 단계를 건너뛴 사람이 가장 먼저 포기합니다.
이유는 간단합니다. GPU 글은 코어(core), 스레드(thread), 워프(warp), VRAM, 대역폭(bandwidth) 같은 말을 설명 없이 던집니다. 이 단어들이 서로 어떤 관계인지 모르면, 문장은 읽히는데 뜻은 쌓이지 않습니다. 모르는 단어가 세 개 넘어가는 순간 독해가 무너지는 셈입니다.
그래서 첫 주에는 딱 열 개 안팎의 핵심 용어만 손으로 정리하길 권합니다. 각 용어를 "한 줄 뜻 + 비유 + 왜 중요한가"로 적어 두면 충분합니다. 예를 들어 VRAM은 "GPU 전용 작업 공간, 책상 넓이에 비유, 좁으면 큰 모델이 안 올라감"처럼요. 이 작은 사전 하나가 이후 모든 글을 읽는 속도를 바꿉니다.
1단계부터 4단계까지, 무엇을 순서대로 볼까?
용어가 잡혔다면 이제 큰 흐름을 네 단계로 나눠 올라가면 됩니다. 각 단계는 "다음으로 넘어가도 되는 신호"가 있습니다.
1단계는 용어와 전체 그림입니다. GPU가 왜 병렬 처리(parallel processing, 여러 일을 동시에 하기)에 강한지, CPU와 어떻게 나눠 일하는지를 그림으로 설명할 수 있으면 통과입니다.
2단계는 연산이 흐르는 길입니다. 데이터가 메인 메모리에서 VRAM으로 옮겨 가고, 수천 개 코어가 같은 명령을 나눠 처리하고, 결과가 다시 돌아오는 과정을 따라갈 수 있어야 합니다. 여기서 "데이터를 옮기는 비용이 계산 자체보다 클 때가 많다"는 감을 잡는 게 핵심입니다.
3단계는 아키텍처입니다. 스트리밍 멀티프로세서(SM), 메모리 계층, 워프 단위 실행 같은 내부 구조를 봅니다. 이 단계는 세대·제품마다 세부가 다르므로 특정 사양은 [담당자 검토] 또는 공식 문서 확인이 필요합니다.
4단계는 실습입니다. 간단한 예제를 직접 돌려 보며 "느려지는 지점"을 눈으로 확인합니다. 여기서 1~3단계의 개념이 비로소 자기 것이 됩니다.
어떤 도구로 손을 움직여 볼까?
실습이라고 하면 비싼 그래픽카드부터 떠올리기 쉽지만, 처음에는 돈을 쓸 필요가 없습니다. 순서대로 올라가면 됩니다.
처음에는 코드 없이 개념만 익혀도 충분합니다. GPU가 픽셀이나 숫자를 어떻게 나눠 처리하는지를 보여 주는 그림·영상이면 됩니다. 이 단계의 목표는 "감 잡기"입니다.
다음은 무료로 제공되는 클라우드 노트북입니다. 브라우저에서 바로 GPU를 잠깐 빌려 쓰는 서비스들이 있어, 내 PC에 그래픽카드가 없어도 간단한 예제를 돌려 볼 수 있습니다. 구체적인 서비스 이름·무료 한도·요금은 수시로 바뀌므로 [확인 필요]로 두고, 쓰기 전에 직접 확인하길 권합니다.
실제 프로젝트 규모가 되면 클라우드 GPU나 전용 장비로 넘어갑니다. 여기서부터는 비용과 권한 문제가 생기므로, 회사 환경이라면 예산·보안 기준을 먼저 챙겨야 합니다. [담당자 검토]
흔히 빠지는 함정은 무엇일까?
같은 길을 걷는 사람들이 거의 똑같은 지점에서 넘어집니다. 미리 알면 피할 수 있습니다.
첫째, 순서를 건너뛰는 함정입니다. 멋있어 보이는 아키텍처 글부터 읽으면 진도가 나가는 것 같지만, 용어가 비어 있어 결국 되돌아오게 됩니다.
둘째, 사양 숫자를 외우는 함정입니다. 특정 제품의 코어 수나 메모리 용량을 외우는 건 입문 단계에서 가장 비효율적입니다. 숫자는 세대마다 바뀌고, 개념을 알면 그때그때 찾아보면 됩니다. 외울 것은 숫자가 아니라 구조입니다.
셋째, 장비부터 사는 함정입니다. 개념을 모른 채 비싼 그래픽카드를 사면, 무엇을 돌려야 할지 몰라 방치하기 쉽습니다. 무료 단계에서 충분히 익힌 뒤에 투자해도 늦지 않습니다.
그래서 PM은 이 로드맵을 어떻게 쓸까?
직접 GPU 코드를 짜지 않는 PM이라면, 이 로드맵을 끝까지 다 걸을 필요는 없습니다. 어디까지 알면 될까요? 적어도 2단계, 연산 흐름까지입니다.
그 정도면 세 가지가 가능해집니다. 첫째, 엔지니어와 같은 용어로 대화할 수 있습니다. "메모리가 모자란다"는 말이 왜 나오는지 알면 일정 조율이 쉬워집니다. 둘째, 비용 감각이 생깁니다. GPU 자원이 왜 비싼지, 어디서 낭비가 생기는지 짐작할 수 있습니다. 셋째, 위험을 먼저 볼 수 있습니다. "데이터 옮기는 비용"이나 "장비 조달 기간" 같은 지연 요인을 일정에 미리 반영할 수 있습니다.
즉 PM에게 필요한 건 깊은 코드가 아니라, 판단에 쓸 만큼의 구조 이해입니다. 이 로드맵의 앞 절반이 바로 그 역할을 합니다.
한눈에 보기
| 단계 | 무엇을 하나 | 넘어가도 되는 신호 | PM에게 필요한가 |
|---|---|---|---|
| 0단계 | 핵심 용어 10개 정리 | 세 단어를 비유로 설명 가능 | 필수 |
| 1단계 | CPU·GPU 차이, 전체 그림 | 둘의 역할 분담을 그림으로 설명 | 필수 |
| 2단계 | 연산이 흐르는 길 | 데이터 이동 비용을 설명 가능 | 권장(여기까지면 충분) |
| 3단계 | 아키텍처 내부 구조 | SM·메모리 계층을 구분 | 선택 |
| 4단계 | 예제 실습 | 느려지는 지점을 직접 확인 | 선택 |
정리
GPU는 어려운 게 아니라 순서 없이 배우면 어려운 주제입니다. 용어(0단계)로 바닥을 다지고, 구조와 연산 흐름(1~2단계)으로 뼈대를 세운 뒤, 아키텍처와 실습(3~4단계)으로 살을 붙이면 길을 잃지 않습니다.
오늘 할 일은 하나입니다. 핵심 용어 10개를 "한 줄 뜻 + 비유 + 왜 중요한가"로 적어 보세요. 이 작은 사전 하나가 다음 모든 단계의 속도를 바꿉니다. PM이라면 2단계까지만 올라도, 엔지니어와 같은 말로 대화하고 비용과 위험을 미리 볼 수 있습니다.