구글 TPU 수직 통합이 추론 단가를 78% 낮춘 구조

AI에서 돈이 영원히 빠져나가는 구간은 모델 학습이 아니라 매일 돌아가는 추론이고, 그 단가를 가장 크게 깎아낸 회사는 지금까지 구글입니다.

엔비디아 이야기가 AI의 전부처럼 들리는 데는 이유가 있습니다. 칩이 없으면 아무것도 시작되지 않으니까요. 그런데 칩을 사는 건 한 번이고, 그 칩으로 사용자 질문에 답하는 일은 서비스가 살아 있는 내내 계속됩니다. 비용의 무게중심이 여기에 있습니다. 구글은 2026년 5월 열린 I/O에서 월 3,200조 개(3.2쿼드릴리언) 토큰을 처리한다고 밝혔고, 같은 자리에서 제미나이 서빙 단가를 78% 낮췄다고 했습니다. 이 두 숫자가 함께 나왔다는 점이 핵심입니다.

한눈에 보는 숫자

• 구글 클라우드의 2026년 2분기 매출은 248억 달러로 전년 대비 82% 늘었습니다. 알파벳 전체 매출은 1,198억 달러(+24%)였습니다.
• 클라우드 백로그는 5,140억 달러입니다. 회사는 이 가운데 절반이 조금 넘는 금액을 앞으로 24개월 안에 매출로 인식할 것으로 봤습니다.
• 같은 분기 설비투자는 449억 달러였고, 잉여현금흐름은 마이너스 59억 달러로 돌아섰습니다. 2026년 연간 설비투자 가이던스도 1,800억1,900억 달러에서 1,950억2,050억 달러로 올라갔습니다.
• 월간 토큰 처리량 3,200조 개는 1년 전의 7배입니다. 2024년 4월에 밝혔던 월 9.7조 개와 비교하면 약 330배 규모입니다.
• 제미나이 서빙 단가 78% 절감은 하드웨어 한 시간당 뽑아내는 토큰이 4.5배로 늘었다는 뜻입니다. 같은 전기, 같은 랙에서 네 배 넘게 일을 시킨 셈입니다.

학습은 한 번, 추론은 영원히

AI에 들어가는 돈은 성격이 다른 세 덩어리로 나뉩니다. 모델을 처음 만드는 학습, 용도에 맞게 손보는 파인튜닝, 그리고 사용자의 질문 하나하나에 답하는 추론입니다.

학습은 무섭게 비싸지만 끝이 있습니다. 파인튜닝은 그보다 훨씬 쌉니다. 문제는 추론입니다. 사용자가 늘수록, 서비스가 오래 굴러갈수록, 대화가 길어질수록 비용이 비례해서 붙습니다. 매출이 늘면 원가도 같이 늘어나는 구조라, 토큰 한 개를 처리하는 단가가 사업의 수명을 결정합니다.

사용자 수가 그대로여도 추론에 드는 몫은 계속 불어납니다. 답을 내기 전에 스스로 여러 단계를 밟는 모델이 늘면서 사용자 눈에 보이지 않는 토큰이 답변당 수천 개씩 붙었고, 에이전트 방식은 한 번의 요청을 처리하려고 도구를 여러 차례 호출하며 그때마다 이전 대화를 통째로 다시 읽습니다. 컨텍스트 창이 길어진 만큼 한 번 읽는 값도 커졌습니다. 사용자 한 명이 만들어내는 토큰이 2년 전과 비교가 안 되는 이유입니다.

그래서 질문은 이렇게 바뀝니다. 누가 가장 좋은 모델을 갖고 있느냐가 아니라, 누가 같은 답을 가장 싸게 내놓느냐입니다.

이 프레임을 정면으로 밀어붙인 게 위 영상입니다. 엔비디아가 AI의 왕처럼 보이는 건 학습 단계만 보기 때문이고, 추론까지 시야에 넣으면 그림이 달라진다는 주장입니다. 화자는 구글이 칩부터 모델, 데이터센터, 네트워크, 배포 창구까지 전부 자기 것이라는 점을 근거로 듭니다. “구글은 금광 전체를 소유하면서 삽까지 직접 만들었다"는 비유로 끝을 맺습니다.

과장을 걷어내고 보면 확인 가능한 사실이 남습니다. 단가를 78% 낮췄고, 처리량은 1년 만에 7배가 됐습니다. 이 둘이 동시에 일어난 이유를 따라가면 구글이 무엇을 사고 있는지가 보입니다.

40만 칩 클러스터와 78%가 나온 자리

구글은 2015년부터 자체 AI 칩을 돌려왔습니다. 텐서 처리 장치, 줄여서 TPU입니다. 남이 만든 칩을 사서 모델을 얹는 게 아니라, 칩과 모델을 같은 회사 안에서 함께 설계해 온 시간이 10년을 넘었다는 뜻입니다.

7세대 TPU인 아이언우드는 이 접근이 어디까지 갔는지 보여줍니다. 팟 하나에 9,000개가 넘는 칩이 들어가고, 이 팟을 43개까지 엮으면 약 40만 칩 규모의 단일 클러스터가 됩니다. 일반적인 GPU 랙 구성과 달리 3D 토러스 방식의 자체 인터커넥트와 광 회선 스위칭을 씁니다.

3D 토러스: 칩을 격자 모양으로 배치하고 각 축의 끝을 반대편 끝과 연결해 고리로 만든 배선 구조입니다. 어느 칩에서 출발하든 다른 칩까지 가는 거리가 짧아져, 칩 수가 늘어도 통신 지연이 급격히 나빠지지 않습니다.

여기서 78%가 나옵니다. 칩을 만드는 팀과 모델을 만드는 팀이 같은 지붕 아래 있으면, 모델 구조를 칩의 특성에 맞춰 바꾸고 다음 칩은 그 모델이 실제로 많이 쓰는 연산에 맞춰 설계할 수 있습니다. 이 왕복이 세대마다 반복되면 격차가 복리로 벌어집니다.

한쪽만 갖고 있으면 이 왕복이 불가능합니다. 칩을 사서 쓰는 회사는 이미 확정된 하드웨어에 모델을 맞추는 수밖에 없고, 칩만 파는 회사는 자기 칩 위에서 어떤 모델이 어떻게 돌아가는지 고객만큼 알기 어렵습니다.

배포 규모도 이 계산에 들어갑니다. 제미나이 앱 월 사용자는 2분기 실적 발표 시점에 9억 5,000만 명이었고, 2026년 8월 11일 10억 명을 넘었습니다. 검색의 AI 오버뷰는 25억 명 넘는 사용자에게 닿습니다. 크롬, 유튜브, 워크스페이스, 안드로이드까지 이미 깔려 있는 통로가 있으니, 새로 만든 칩과 모델을 태울 트래픽을 따로 사올 필요가 없습니다. 규모가 커질수록 칩당 단가는 더 내려가고, 내려간 단가는 다시 더 많은 트래픽을 감당하게 합니다.

78%라는 숫자가 쓰는 쪽에서 어떤 크기인지도 가늠해볼 수 있습니다. 연간 1조 토큰을 소비하는 기업이 작업량의 80%를 경량 모델 쪽으로 옮기면 연 10억 달러 넘게 아낄 수 있다는 계산이 나옵니다. 물론 모든 작업을 가벼운 모델로 대체할 수는 없으니 그대로 받아들일 수치는 아닙니다. 다만 단가가 한 번 내려가면 절감액이 어느 자릿수에서 움직이는지는 보여줍니다.

칩이 학습용과 추론용으로 갈라졌다

2026년 4월 클라우드 넥스트에서 구글은 아이언우드를 정식 출시하면서 8세대 계획을 함께 공개했습니다. 여기서 방향이 분명해집니다. 하나의 칩으로 학습과 추론을 다 하던 방식을 버리고, 둘을 아예 다른 칩으로 나눴습니다.

추론용인 8i에는 고대역폭 메모리 288GB와 온칩 SRAM 384MB가 들어갑니다. 에이전트가 작업 중에 들고 있어야 하는 데이터를 칩 밖으로 내보내지 않고 안에서 처리하겠다는 설계입니다. 여러 단계를 오가며 도구를 부르는 요즘 에이전트 방식에서는 연산 속도보다 이 부분이 병목이 되는 경우가 많습니다.

칩 이름을 나눴다는 건 회사가 추론을 별도 시장으로 본다는 선언에 가깝습니다. 학습 성능으로 홍보하고 추론은 덤으로 처리하던 관행에서 벗어난 겁니다.

2026년 2분기 숫자

2026년 7월 22일 발표된 실적은 이 흐름이 장부에 어떻게 찍히는지 보여줍니다.

백로그 5,140억 달러는 따로 읽어볼 값입니다. 이미 계약은 맺었지만 아직 매출로 잡지 않은 잔고를 뜻합니다. 클라우드 사업에서 이 숫자가 커진다는 건 앞으로 몇 년치 일감이 확보됐다는 신호이지만, 확정된 현금은 아닙니다. 회사가 절반이 조금 넘는 금액을 24개월 안에 매출로 인식하겠다고 밝힌 만큼, 나머지는 그보다 뒤에 걸쳐 있습니다. 계약이 큰 고객 몇 곳에 몰려 있다면 그쪽 사정에 따라 인식 속도가 흔들릴 수도 있습니다. 그래서 백로그는 총액보다 증가 속도와 인식 비율을 함께 봐야 의미가 생깁니다.

시장 반응은 갈렸습니다. 매출과 클라우드 성장률은 기대를 넘겼는데, 설비투자 가이던스가 다시 올라가고 잉여현금흐름이 마이너스로 돌아섰다는 소식에 주가는 밀렸습니다. 번 돈보다 쓰는 돈이 많은 분기를 반기는 투자자는 많지 않습니다.

여기서 판단이 갈립니다. 이 지출을 현금 소각으로 볼 것이냐, 아니면 앞으로 몇 년치 추론을 남보다 싸게 돌릴 권리를 미리 사두는 행위로 볼 것이냐입니다.

성격을 뜯어보면 후자에 가깝습니다. 449억 달러는 마케팅비나 인건비가 아니라 데이터센터 건물, 자체 설계 칩, 그리고 그 사이를 잇는 네트워크로 갑니다. 회사가 직접 밝힌 배정도 AI를 떠받치는 기술 인프라 쪽입니다. 이 자산은 한 번 깔면 여러 해 동안 토큰을 찍어냅니다. 다만 GPU든 TPU든 감가상각 주기가 짧다는 점은 그대로 위험 요인으로 남습니다. 세대 교체가 빠르면 다 쓰기 전에 다음 세대가 나오고, 그 사이 전력 비용은 계속 붙습니다.

TPU가 외부로 나가기 시작했다는 점도 이번 사이클의 변화입니다. 앤스로픽이 대표 사례로, 2026년에 최대 100만 개 규모의 TPU 칩과 1기가와트가 넘는 용량을 쓰게 됩니다. 다만 이걸 두고 “구글이 칩 장사를 시작했다"고 정리하면 절반만 맞습니다. 대부분은 클라우드 계약 형태이고, 완성된 랙이 직접 넘어간 물량은 그중 일부입니다. 백로그 5,140억 달러의 성격도 이런 장기 계약이 쌓인 결과로 봐야 합니다.

다섯 개 층을 누가 갖고 있나

AI 서비스를 굴리려면 최소 다섯 개 층이 필요합니다. 칩, 모델, 데이터센터, 네트워크, 그리고 사용자에게 닿는 배포 창구입니다. 어느 층을 직접 갖고 있고 어느 층을 빌려 쓰는지가 원가 구조를 결정합니다.

표를 세로로 읽으면 각자의 사업 모델이 드러납니다. 엔비디아는 한 층에서 압도적인 마진을 가져가는 구조이고, 오픈AI는 모델과 제품에 집중하는 대신 아래 두 층을 남에게 빌립니다. 구글은 다섯 층을 다 들고 있어서 어느 층에서도 남에게 마진을 떼어주지 않습니다.

눈에 잘 안 띄는 층이 네트워크입니다. 구글은 대륙을 잇는 해저 케이블을 직접 깔아 왔고, 데이터센터 사이를 잇는 백본도 자기 것입니다. 추론 요청은 사용자와 가까운 지역에서 처리해야 응답이 빠른데, 그러려면 모델 가중치와 데이터를 대륙 간에 계속 옮겨야 합니다. 이 이동 비용을 남에게 지불하지 않는다는 점이 토큰 단가에 조용히 반영됩니다. 층 하나하나로 보면 몇 퍼센트지만 다섯 개가 곱해지면 격차가 됩니다.

빌리는 쪽이 항상 불리하다는 뜻은 아닙니다. 다 짓는 데는 시간과 돈이 들고, 잘못 지으면 그대로 부실 자산이 됩니다. 구글의 마이너스 잉여현금흐름이 바로 그 대가입니다. 반대로 빌리는 쪽은 초기 자본이 덜 들지만, 규모가 커질수록 남의 마진을 계속 얹어 지불합니다.

칩만 파는 회사 입장에서 진짜 위협은 경쟁 칩 회사가 아닙니다. 큰 고객이 스스로 칩을 만들기 시작하는 일입니다. 아마존은 트레이니엄, 마이크로소프트는 마이아를 밀고 있고, 앤스로픽 같은 대형 수요처가 TPU 쪽으로 물량을 옮기고 있습니다. 이 흐름이 계속되면 시장 전체는 커지는데 특정 회사가 가져가는 몫은 줄어드는 국면이 옵니다.

엔비디아 쪽 반론도 만만치 않다

그렇다고 판이 이미 기울었다고 보면 곤란합니다. 엔비디아는 여전히 AI 가속기 시장의 90% 이상을 쥐고 있고, 2026년 1월로 끝난 회계연도에 데이터센터 부문에서만 1,937억 달러를 벌었습니다. 전체 매출 2,159억 달러 가운데 대부분이고, 영업이익률은 60% 안팎입니다. 이 규모에서 나오는 연구개발 여력은 그 자체로 방벽입니다.

소프트웨어 쪽 잠금 효과도 그대로입니다. 지난 십수 년 동안 쌓인 쿠다(CUDA) 생태계 위에 학계와 산업계의 코드가 얹혀 있고, 라이브러리와 도구까지 엔비디아 하드웨어를 전제로 만들어졌습니다. 회사는 최근 이 층을 개발자 눈에 덜 띄게 만드는 방향으로 손보고 있습니다. 하드웨어를 갈아 끼울 수 있는 부품처럼 만들려는 시도에 정면으로 맞서는 전략입니다. 젠슨 황은 2026년 내내 총소유비용 대비 성능에서 자사 스택이 가장 낫다는 주장을 반복했습니다.

숫자로 보면 전망도 갈립니다. 골드만삭스는 TPU 채택률이 2026년 4분기에 35%까지 오를 수 있다고 봤고, 뉴스트리트리서치는 하이퍼스케일러의 맞춤형 칩이 양산 규모에 도달하면서 엔비디아의 추론용 연산 점유율이 2028년까지 20~30%로 내려갈 수 있다고 봤습니다. 반대로 맥킨지는 2026년 데이터센터 수요가 학습과 추론에 반반씩 걸릴 것으로 추정했습니다. 학습 수요가 절반이나 남는다면 엔비디아가 잃을 땅도 그만큼 줄어듭니다.

세 기관의 전망이 서로 다르다는 사실 자체가 지금 상황을 잘 보여줍니다. 추론 쪽에서 점유율이 깎이는 방향이라는 데는 대체로 동의하지만, 속도와 폭에서는 합의가 없습니다.

직접 확인하는 법

주장을 그대로 믿을 필요는 없습니다. 공개된 자료만으로 검증할 수 있습니다.

1단계 · 분기 보고서에서 세 줄만 본다

알파벳 IR 페이지에서 실적 발표 자료를 받아 클라우드 매출 증가율, 백로그 총액, 설비투자 금액을 적어둡니다. 세 줄이면 충분합니다. 백로그가 늘면서 매출 증가율이 유지되는지, 아니면 백로그만 부풀고 실제 인식은 밀리는지를 분기마다 비교합니다.

2단계 · 설비투자를 용도별로 나눈다

총액만 보면 “많이 썼다"는 감상밖에 안 남습니다. 실적 발표 자료와 콜 녹취에서 데이터센터, 서버·자체 칩, 네트워크 중 어디에 배정됐는지를 찾아 적습니다. 서버와 칩 비중이 높으면 당장 돌릴 추론 용량을 늘리는 지출이고, 건물과 전력 비중이 높으면 몇 년 뒤를 보는 지출입니다.

3단계 · 토큰당 단가를 직접 계산한다

각 사가 공개하는 API 가격표에서 같은 급의 모델을 골라 100만 토큰당 입력·출력 단가를 표로 만듭니다. 구글 클라우드, AWS, 애저를 같은 조건으로 놓고 분기마다 갱신하면, 78% 같은 발표 수치가 실제 가격표에 반영되는지 시차까지 눈에 들어옵니다. 발표는 마케팅이지만 가격표는 계약입니다.

세 단계 모두 한 시간이면 끝나고, 분기에 한 번만 하면 됩니다.

그래서 무엇을 하나

첫째, AI 관련 기업을 볼 때 기준을 하나 바꿉니다. 분기 설비투자와 잉여현금흐름만 보고 “돈을 태운다"고 판단하는 대신, 그 지출이 어떤 자산으로 남는지 함께 봅니다. 남의 데이터센터 임차료로 나가는 돈과 자기 부지에 자기 칩을 심는 돈은 몇 년 뒤 장부에서 완전히 다르게 움직입니다. 잉여현금흐름 마이너스 59억 달러라는 한 줄만으로는 이 차이가 드러나지 않습니다.

둘째, 직접 AI 서비스를 운영한다면 추론 비용의 증가 속도를 매출 증가 속도와 나란히 놓고 봅니다. 호출 로그에서 월별 토큰 사용량과 청구액을 뽑아 매출 곡선 위에 겹칩니다. 두 선의 기울기가 역전되는 시점이 보이면 그때가 모델 교체나 캐싱, 프롬프트 축소를 검토할 때입니다. 사용자가 늘어서 망하는 서비스는 대부분 이 지점을 놓쳐서 그렇게 됩니다.

여기서부터는 추정입니다. 수직 통합이 준 원가 우위가 지금 속도로 이어진다면 추론 단가 경쟁은 몇 년 안에 상위 몇 곳만 남기는 방향으로 갈 가능성이 큽니다. 다만 이건 확정된 예측이 아니라 위 숫자들에서 이어지는 추론이고, 감가상각 주기나 전력 확보 같은 변수 하나가 그림을 바꿀 수 있다는 점은 분명히 해둡니다.

정리

추론은 서비스가 살아 있는 한 계속 나가는 비용이고, 칩과 모델을 함께 설계할 수 있는 회사는 이 단가를 남보다 빠르게 깎습니다. 구글은 그 결과를 78% 절감과 월 3,200조 토큰, 클라우드 매출 248억 달러와 백로그 5,140억 달러로 보여줬습니다. 분기 449억 달러 지출과 마이너스 잉여현금흐름은 그 우위를 미리 사들이는 값이고, 이게 제값인지는 앞으로 몇 분기의 단가 곡선이 답할 문제입니다.

원문 출처

원문 영상: 영상 원문 보기 — “Google’s 400,000 AI-Chip Rack Monster Absolutely Destroyed Nvidia’s AI Future!”, Evolving AI

원문: Google’s 400,000 AI-Chip Rack Monster Absolutely Destroyed Nvidia’s AI Future!

함께 참고한 자료

• Alphabet Q2 2026 Earnings Call — Alphabet Investor Relations
• Alphabet earnings takeaways: Q2 revenue beats, GOOGL stock sinks on 2026 capex hike — CNBC, 2026년 7월 22일
• Google touts its tokenmaxxing and capex spending amid AI orgy — The Register
• Inside the Ironwood TPU codesigned AI stack — Google Cloud Blog
• Our eighth generation TPUs: two chips for the agentic era — Google Blog
• NVIDIA AI Accelerator Market Position: Q1 2026 Snapshot — Celadon Research
• Google closes in on another billion-user product with Gemini — TechCrunch, 2026년 7월 23일