[it 조선] 엔비디아 GPU와 구글 TPU라는 선택지 [윤석빈의 Thinking] > 학회소식

• 목록

2025년 현재, 전 세계 기술 시장을 관통하는 하나의 키워드를 꼽자면 단연 ‘AI 인프라 전쟁’이다. 생성형 AI가 기업의 생존을 결정짓는 핵심 도구로 자리 잡으면서 이를 구동할 하드웨어인 그래픽처리장치(GPU)의 확보는 곧 기업, 국가의 경쟁력이 됐다. 이 과정에서 엔비디아는 단순한 반도체 기업을 넘어 AI 시대의 군주로 군림하게 됐다. 하지만 H100, 블랙웰(Blackwell) 등 최신 GPU의 품귀 현상과 천문학적인 비용은 기업들에게 심각한 딜레마를 안겨주고 있다.

과연 엔비디아 GPU만이 유일한 정답일까? 이 질문에 대해 구글이 10년 넘게 갈고닦아온 ‘텐서처리장치(TPU, Tensor Processing Unit)’가 묵직한 대답을 내놓고 있다.

범용성의 제왕 GPU vs AI 스페셜리스트 TPU

엔비디아의 GPU가 시장을 장악한 비결은 ‘범용성’에 있다. 그래픽 처리를 위해 탄생했지만, 병렬 연산 능력이 AI 학습에 탁월하다는 것이 입증되면서 CUDA(쿠다)라는 강력한 소프트웨어 생태계와 결합해 사실상 표준이 되었다. 어떤 AI 모델이든 GPU 위에서는 잘 돌아간다.

반면 구글의 TPU는 태생부터 다르다. 이름에서 알 수 있듯 텐서(Tensor) 연산, 즉 딥러닝의 핵심인 행렬 연산에만 극도로 최적화된 주문형 반도체(ASIC)다. GPU가 스포츠카라면, TPU는 F1 레이싱 머신이다. 일반 도로(그래픽, 게임 등)에서는 달릴 수 없지만, 서킷(AI 연산) 위에서는 압도적인 효율을 발휘한다.

특히 최신 TPU 세대(Trillium 등)는 엔비디아 GPU 대비 전력 효율성과 비용 효율성(TCO) 측면에서 유의미한 우위를 점하고 있다. 초거대 언어 모델(LLM)을 학습시키고 운영하는 데 드는 비용의 상당 부분이 전력비임을 감안할 때, TPU는 단순한 대안을 넘어선 ‘경제적 필연’으로 다가오고 있다.

‘연결’이 만드는 초격차: 아키텍처의 차이

TPU가 엔비디아 GPU의 대안으로 떠오르는 진짜 이유는 개별 칩의 성능보다 ‘시스템 아키텍처’에 있다. 구글은 수천·수만 개의 칩을 연결하는 인터커넥트(Interconnect) 기술에서 독보적이다. 광회로 스위치(OCS) 기술을 통해 수천 개의 TPU를 하나의 거대한 슈퍼컴퓨터(Pod)처럼 작동하게 만든다.

엔비디아 역시 NVLink로 칩들을 연결하지만, 구글의 TPU Pod 아키텍처는 데이터센터 레벨에서 병목 현상을 최소화하도록 설계됐다. 이는 제미나이(Gemini)와 같은 조 단위 파라미터 모델을 학습시킬 때, 칩 하나의 속도보다 칩 간의 통신 속도가 전체 학습 시간을 좌우한다는 점을 꿰뚫어 본 전략이다.

CUDA라는 해자와 JAX라는 사다리

물론 엔비디아의 아성은 쉽게 무너지지 않는다. 수많은 AI 개발자들이 엔비디아의 소프트웨어 플랫폼인 쿠다에 익숙해져 있기 때문이다. 이는 강력한 해자(Moat)다. 하지만 이 철옹성에도 균열이 나올 수 있다. 구글의 잭스(JAX)나 파이토치(PyTorch) XLA와 같은 프레임워크들이 발전하면서, 개발자들은 하드웨어에 종속되지 않고 코드를 짤 수 있게 됐다. 즉, 코드를 한 번 짜면 GPU든 TPU든 상관없이 최적화해 돌릴 수 있는 환경이 조성되고 있는 것이다. 특히 애플, 아마존, 메타 등 빅테크 기업들이 엔비디아 의존도를 줄이기 위해 자체 칩 개발과 함께 오픈소스 진영을 지원하면서 ‘반(反) 엔비디아 연합’의 소프트웨어 생태계는 빠르게 성숙하고 있다.

그렇다면 우리 기업들은 어떤 선택을 해야 하는가? 무조건 비싼 엔비디아 GPU를 줄 서서 기다리는 것이 능사가 아니다. 이제는 ‘AI 네이티브(AI Native)’ 관점에서의 인프라 전략이 필요하다. 범용적인 연구나 다양한 모델을 실험해야 하는 단계에서는 GPU가 여전히 유리할 수 있다. 하지만 서비스가 명확해지고, 대규모의 추론(Inference)이나 특정 목적의 학습이 필요한 단계라면 TPU와 같은 AI 전용 반도체(NPU 등 포함)를 활용하는 것이 비용과 속도 면에서 월등히 유리하다.

엔비디아는 AI 시대를 열었고, 그 공로로 최고의 자리에 올랐다. 하지만 AI 기술이 보편화되는 2025년 이후의 세상은 단일 칩이 지배하는 세상이 아닐 것이다. 구글의 TPU는 이미 제미나이와 같은 세계 최고 수준의 모델을 통해 그 성능을 증명했다.

우리는 지금 하드웨어의 경쟁을 목도 하고 있다. 엔비디아의 GPU, 구글의 TPU, 그리고 수많은 스타트업의 NPU들이 경쟁하며 AI 비용을 낮추고 효율을 높일 것이다. 기업의 리더들은 이제 "GPU를 몇 개 샀는가?"를 자랑할 것이 아니라, "우리 비즈니스에 최적화된 AI 컴퓨팅 아키텍처는 무엇인가?"를 고민해야 할 시점이다. TPU, NPU는 그 고민에 대한 가장 강력하고 현실적인 대답이 될 수 있는 가능성이 있다.

※ 외부필자의 원고는 IT조선의 편집방향과 일치하지 않을 수 있습니다.

윤석빈 트러스트 커넥터 대표는 서강대 AI·SW 대학원 특임교수로 투이컨설팅 자문과 한국 경영학회 디지털 경영 공동위원장, 법무 법인 DLG 고문으로 활동하고 있다. 한국 오라클과 한국 IBM 등 IT 업계 경력과 더불어 서강대 지능형 블록체인 연구센터 산학협력 교수로도 활동했다.

출처 : IT조선(https://it.chosun.com)