GPU 입문, 무엇부터 배워야 길을 잃지 않을까?

GPU를 처음 배우는 사람이 길을 잃지 않도록, 용어부터 아키텍처·실습까지 순서를 정리한 로드맵입니다.

GPU(Graphics Processing Unit, 그래픽 처리 장치)를 배워야겠다고 마음먹고 검색창을 열면, 대부분 비슷한 벽에 부딪힙니다. 어떤 글은 게임 그래픽카드 이야기를 하고, 어떤 글은 갑자기 행렬 곱셈과 CUDA 코드를 들이밉니다. 처음 보는 사람은 "그래서 나는 뭘 먼저 봐야 하지?"라는 질문에 답을 얻지 못한 채 창을 닫게 됩니다.

문제는 GPU가 어려워서가 아니라, 순서가 없이 배우기 때문입니다. 용어를 모르는 채로 아키텍처를 보면 글자만 지나가고, 아키텍처를 모르는 채로 코드를 보면 왜 그렇게 짜는지 이해가 되지 않습니다.

이 글은 그 순서를 정리합니다. 무엇을 먼저 보고, 무엇을 나중에 봐도 되는지, 그리고 각 단계에서 "이만큼 알면 다음으로 넘어가도 된다"는 기준을 함께 드리겠습니다. 끝까지 읽으면 자신에게 맞는 출발점 하나를 고를 수 있습니다.

GPU는 왜 CPU와 다른 길로 배워야 할까?

CPU큰 코어 몇 개 · 복잡한 일을 빠르게GPU 작은 코어 수백~수천 개 · 같은 일을 한꺼번에
CPU와 GPU의 구조 차이. 코어 개수는 개념을 보여 주는 예시입니다. [확인 필요]

GPU를 CPU의 더 빠른 버전쯤으로 생각하면 처음부터 길을 잘못 듭니다. 둘은 애초에 다른 일을 하려고 만들어졌습니다.

CPU는 복잡한 일을 순서대로 빠르게 처리하도록 설계된 소수의 강한 코어로 이뤄집니다. 반대로 GPU는 단순한 계산을 한꺼번에 많이 처리하도록, 약한 코어를 아주 많이 늘려 놓은 구조입니다. 이미지의 수백만 픽셀을 동시에 칠하거나, AI 모델의 수많은 숫자를 한 번에 곱하는 일이 여기에 딱 맞습니다.

왜 이 차이를 먼저 알아야 할까요? 이 한 가지가 뒤에 나올 거의 모든 개념의 뿌리이기 때문입니다. "왜 GPU는 코어가 수천 개인가", "왜 데이터를 옮기는 비용이 중요한가", "왜 조건 분기가 많으면 느려지는가"는 모두 이 구조 하나에서 갈라져 나옵니다. 구조를 먼저 이해하면 나머지는 그 구조에 붙는 설명이 됩니다.

0단계: 용어부터 잡아야 하는 이유는?

용어구조아키텍처실습·코드용어라는 디딤돌을 건너야 다음 단계가 읽힙니다
학습 단계는 디딤돌과 같습니다. 앞 돌을 건너뛰면 다음 돌에서 미끄러집니다.

많은 입문자가 0단계를 건너뜁니다. "용어 정리는 지루하니 실전부터"라는 생각 때문입니다. 그런데 실제로는 이 단계를 건너뛴 사람이 가장 먼저 포기합니다.

이유는 간단합니다. GPU 글은 코어(core), 스레드(thread), 워프(warp), VRAM, 대역폭(bandwidth) 같은 말을 설명 없이 던집니다. 이 단어들이 서로 어떤 관계인지 모르면, 문장은 읽히는데 뜻은 쌓이지 않습니다. 모르는 단어가 세 개 넘어가는 순간 독해가 무너지는 셈입니다.

그래서 첫 주에는 딱 열 개 안팎의 핵심 용어만 손으로 정리하길 권합니다. 각 용어를 "한 줄 뜻 + 비유 + 왜 중요한가"로 적어 두면 충분합니다. 예를 들어 VRAM은 "GPU 전용 작업 공간, 책상 넓이에 비유, 좁으면 큰 모델이 안 올라감"처럼요. 이 작은 사전 하나가 이후 모든 글을 읽는 속도를 바꿉니다.

1단계부터 4단계까지, 무엇을 순서대로 볼까?

1단계용어·개념2단계연산 흐름3단계아키텍처4단계실습아는 것 → 손으로 하는 것 순서로 올라갑니다
네 단계 로드맵. 각 단계는 앞 단계를 발판으로 삼습니다.

용어가 잡혔다면 이제 큰 흐름을 네 단계로 나눠 올라가면 됩니다. 각 단계는 "다음으로 넘어가도 되는 신호"가 있습니다.

1단계는 용어와 전체 그림입니다. GPU가 왜 병렬 처리(parallel processing, 여러 일을 동시에 하기)에 강한지, CPU와 어떻게 나눠 일하는지를 그림으로 설명할 수 있으면 통과입니다.

2단계는 연산이 흐르는 길입니다. 데이터가 메인 메모리에서 VRAM으로 옮겨 가고, 수천 개 코어가 같은 명령을 나눠 처리하고, 결과가 다시 돌아오는 과정을 따라갈 수 있어야 합니다. 여기서 "데이터를 옮기는 비용이 계산 자체보다 클 때가 많다"는 감을 잡는 게 핵심입니다.

3단계는 아키텍처입니다. 스트리밍 멀티프로세서(SM), 메모리 계층, 워프 단위 실행 같은 내부 구조를 봅니다. 이 단계는 세대·제품마다 세부가 다르므로 특정 사양은 [담당자 검토] 또는 공식 문서 확인이 필요합니다.

4단계는 실습입니다. 간단한 예제를 직접 돌려 보며 "느려지는 지점"을 눈으로 확인합니다. 여기서 1~3단계의 개념이 비로소 자기 것이 됩니다.

어떤 도구로 손을 움직여 볼까?

① 코드 없이그림·영상으로 개념② 무료 노트북브라우저에서 GPU③ 클라우드 GPU실제 작업 규모돈을 쓰기 전에 무료 단계에서 충분히 익힙니다
실습 경로는 세 갈래입니다. 비용이 드는 쪽은 맨 나중입니다.

실습이라고 하면 비싼 그래픽카드부터 떠올리기 쉽지만, 처음에는 돈을 쓸 필요가 없습니다. 순서대로 올라가면 됩니다.

처음에는 코드 없이 개념만 익혀도 충분합니다. GPU가 픽셀이나 숫자를 어떻게 나눠 처리하는지를 보여 주는 그림·영상이면 됩니다. 이 단계의 목표는 "감 잡기"입니다.

다음은 무료로 제공되는 클라우드 노트북입니다. 브라우저에서 바로 GPU를 잠깐 빌려 쓰는 서비스들이 있어, 내 PC에 그래픽카드가 없어도 간단한 예제를 돌려 볼 수 있습니다. 구체적인 서비스 이름·무료 한도·요금은 수시로 바뀌므로 [확인 필요]로 두고, 쓰기 전에 직접 확인하길 권합니다.

실제 프로젝트 규모가 되면 클라우드 GPU나 전용 장비로 넘어갑니다. 여기서부터는 비용과 권한 문제가 생기므로, 회사 환경이라면 예산·보안 기준을 먼저 챙겨야 합니다. [담당자 검토]

흔히 빠지는 함정은 무엇일까?

함정 1 · 용어를 건너뛰고 아키텍처부터 봄 → 글만 지나감함정 2 · 세대별 사양 숫자 암기 → 금세 낡고 쉽게 잊음함정 3 · 비싼 장비부터 구매 → 개념도 모른 채 돈만 씀
입문자가 자주 밟는 세 가지 함정. 색이 진할수록 더 먼저 포기하게 만듭니다.

같은 길을 걷는 사람들이 거의 똑같은 지점에서 넘어집니다. 미리 알면 피할 수 있습니다.

첫째, 순서를 건너뛰는 함정입니다. 멋있어 보이는 아키텍처 글부터 읽으면 진도가 나가는 것 같지만, 용어가 비어 있어 결국 되돌아오게 됩니다.

둘째, 사양 숫자를 외우는 함정입니다. 특정 제품의 코어 수나 메모리 용량을 외우는 건 입문 단계에서 가장 비효율적입니다. 숫자는 세대마다 바뀌고, 개념을 알면 그때그때 찾아보면 됩니다. 외울 것은 숫자가 아니라 구조입니다.

셋째, 장비부터 사는 함정입니다. 개념을 모른 채 비싼 그래픽카드를 사면, 무엇을 돌려야 할지 몰라 방치하기 쉽습니다. 무료 단계에서 충분히 익힌 뒤에 투자해도 늦지 않습니다.

그래서 PM은 이 로드맵을 어떻게 쓸까?

PM의판단용어로 소통비용 감각일정·위험깊은 코드가 아니라, 판단에 쓸 만큼이면 충분합니다
PM에게 필요한 GPU 지식의 세 축. 직접 개발하지 않아도 판단은 해야 합니다.

직접 GPU 코드를 짜지 않는 PM이라면, 이 로드맵을 끝까지 다 걸을 필요는 없습니다. 어디까지 알면 될까요? 적어도 2단계, 연산 흐름까지입니다.

그 정도면 세 가지가 가능해집니다. 첫째, 엔지니어와 같은 용어로 대화할 수 있습니다. "메모리가 모자란다"는 말이 왜 나오는지 알면 일정 조율이 쉬워집니다. 둘째, 비용 감각이 생깁니다. GPU 자원이 왜 비싼지, 어디서 낭비가 생기는지 짐작할 수 있습니다. 셋째, 위험을 먼저 볼 수 있습니다. "데이터 옮기는 비용"이나 "장비 조달 기간" 같은 지연 요인을 일정에 미리 반영할 수 있습니다.

즉 PM에게 필요한 건 깊은 코드가 아니라, 판단에 쓸 만큼의 구조 이해입니다. 이 로드맵의 앞 절반이 바로 그 역할을 합니다.

한눈에 보기

단계무엇을 하나넘어가도 되는 신호PM에게 필요한가
0단계핵심 용어 10개 정리세 단어를 비유로 설명 가능필수
1단계CPU·GPU 차이, 전체 그림둘의 역할 분담을 그림으로 설명필수
2단계연산이 흐르는 길데이터 이동 비용을 설명 가능권장(여기까지면 충분)
3단계아키텍처 내부 구조SM·메모리 계층을 구분선택
4단계예제 실습느려지는 지점을 직접 확인선택

정리

GPU는 어려운 게 아니라 순서 없이 배우면 어려운 주제입니다. 용어(0단계)로 바닥을 다지고, 구조와 연산 흐름(1~2단계)으로 뼈대를 세운 뒤, 아키텍처와 실습(3~4단계)으로 살을 붙이면 길을 잃지 않습니다.

오늘 할 일은 하나입니다. 핵심 용어 10개를 "한 줄 뜻 + 비유 + 왜 중요한가"로 적어 보세요. 이 작은 사전 하나가 다음 모든 단계의 속도를 바꿉니다. PM이라면 2단계까지만 올라도, 엔지니어와 같은 말로 대화하고 비용과 위험을 미리 볼 수 있습니다.