엔비디아 시대 끝! 결국 웃는건 삼성·하이닉스 I 김정호 카이스트 교수

AI의 능력이 바뀌고 있습니다. 이자수가 한국을 찾아오고 젠슨 황이 요즘 눈빛이 흔들리고 인공지능의 게임이 지능이 아니라 토큰으로 넘어갔다는 토큰 생산량은 결국 메모리고 때려넣는 그 메모리의 양이 중요하기 때문에 금광을 팔 때 금으로 돈 벌은게 아니라 청바지로 돈 벌었듯이 AI 시대의 돈은 메모리가 벌 것이다.

저는 이제 그 AI를 가능하게 하는 반도체 혁신에 대해서 말씀을 드릴 텐데요. 간단히 요약드리면 어 판별형 인공지능 시대에서 생성형 인공지능 시대 어 지금은 이제 에이전틱 AI 시대를 이제 시작하고 있고요. 어 곧 언젠가는 피지컬 AI 시대로 가서 인간의 정신적인 노동과 육체적인 노동을 이제 AI가 대신하는 과정에 있습니다.

그런데 제가 AI 반도체를 집중해서 하면서 최근에 깨달은 사실은 지능이란 무엇인가 했을 때 지능이란 기억 용량이더라라는게 결론입니다. 그래서 AI가 많은 일을 똑똑하게 할 수 있는게 알고 보니까 메모이라는 그런 말씀을 드리고 피지컬 AI로 가면 더 그렇더라라는 생각이죠.

그래서 우리한테 메모리 입장에서의 발전의 기회, 경제 성장의 기회가 어 또는 어 해외 기업들과 협력했을 때 어떤 기회가 있는지를 말씀을 드리고 어 그 요약해 보겠습니다.

자 어 제가 작년 여름까지는 학습 프리트레이닝이라 그래서 GPT의 이제 P가 프리 트레이닝인데 학습이 중요해졌다 이렇게 생각을 했습니다. 그래서 어 학습량이 많을수록 인터넷에 데이터가 많을수록 또는 모델이 커질수록 AI가 똑똑해진다. 그래서 모델 크기의 싸움이 벌어졌었죠.

그런데 지금은 출론의 시대인데 왜 학습의 시대에서 출론으로 넘어갔냐면 세상의 모든 거를 다 학습할 수가 없더라. 특히 최근에 나온 뉴스까지는 모르더라고요. 그래서 루시네이션 문제가 생깁니다. 그래서 이제는 실시간으로 저는 추론이라는 답보다는 실시간 평생 학습이라고 하는데 배우면서 일하자. 그래서 사전 학습이 아니라 인퍼런스로 넘어왔고 인퍼런스로 넘어오면서부터는 얼마나 실시간으로 공급해 줄 데이터가 많은가 탐색 능력이 많은가 이걸로 AI의 능력이 바뀌고 있습니다.

그래서 어 사전 학습되는 GPU가 메인이었는데 추론으로 가면서 메모리가 더 중요해졌습니다. 그래서 작년 가부터 갑자기 메모리 수요가 증가하고 젠슨왕이나 리자수가 한국을 찾아오고 어 테슬라의 CEO가 테라을 짓겠다. 뭐 이런 얘기가 바로이 두 가지인데 그 시점이 작년 여름이었습니다.

근데 학습이라는 걸이 수학적으로 표현해 보면 저기 약간 복잡해 보입니다만 어 정답을 마치는 훈련하는 건데 저기서 Y가 이제 정답이 있는 거고요. 어, 인공지능이 F세타가 우리가 프롬트를 쳐 넣으면 정답에 맞게 만들어 주는 거고 그 차이를 최소화하는 거다. 저게 미니멈이라는게 그 뜻입니다. 그렇도록 세타를 어 모델 변수를 조정해 보자. 뭐 이런게 학습인데요. 수학적으로 보면 저기 미분이라는게 들어가 있습니다. 삼각형을 뒤집어는 건데. 그래서 미분을 하면서 끝없이 미분을 하면서 학습을 찾는데 이때 똑똑한 AI를 녹아 갔느냐이 시대가 작년 여름까지였는데 저기서 삼각형으로 표현된 미분을 잘하는 반도체가 GPU입니다. 그중에 특별한 거 한다는게 이제 NPU고요. 어 더 특별하게 뭐 또 한다는게 이제 TPU고 그렇습니다.

아까 말씀드린 것처럼 루시네이션 문제 때문에 처음 모든 데이터를 갖고 사전 학습하는 건 불가능하다는 거를 깨달은 거예요. 그 깨달은 이유 중에 하나는 GPU의 성장은 성능을 높여야 되는데 성능을 높일 방법이 없다라는 거예요. 그래서 젠슨이 요즘 눈빛이 흔들리고 잠바가 입고 잘난척하는게 조금 많이 줄어들어가는 겁니다. 요즘은 그러니까 이 치킨 들고 다니는게 저 미분 때문에 그렇습니다.

지금의 추론은 뭐냐면 사전 학습이 아니라 저기 X라는 현존하는 데이터를 최대한 때려 넣어서 그거를 이제 락 부르는데 본인이 기록이든 인터넷에서 찾든 때려넣어서 결과를 얻자 이겁니다. 이때 필요한 건 넣는 그 메모리의 양이 필요하기 때문에 미분이 아니라 메모리 시대가 왔다. 그래서 지금이 추론 시대에 왔다. 이렇게 보면 되겠습니다.

그런데 그럼 메모리 양을 때려 넣는 그 양을 뭐라 그러냐면 토큰으로 표현되는 건데 그 양을 컨텍스트라고 얘기합니다. 과거에는 질문을 어떻게 잘하냐가 중요한게 아니라 요즘은 어떤 그 내가 원하는 데이터를 많이 집어넣어 주느냐를 중요한데 그거를 컨텍스트라 그럽니다. 그래서 작년부터 프롬프트 엔지니어링이 아니라 컨텍스트 엔지니어링이란 말로 바뀌었고 AI가 B2C가 있고 그건 이제 구글이 잘하고 B2B는 클라우드가 잘하는데 B2C 경우는 나에 대한 모든 정보를 알고 있을수록 정확한 답을 내 주는 겁니다. 같은 질문을 하면 어제 같은 질문 하면 어제 너 이거 물어봤지 않느냐? 아니면 왜 오늘 기분이 안 좋아? 하면이 사람의 모든 감정의 기록을 갖고 있어야 돼요. 그게 전에 사용했던 프롬트, 내가 만든 결과물, 이메일, 위치, 어 파일, 뭐 검색 기록, 뭐 구매 기록 다 갖고 넣어 줘야 나에 대한 여행에 내 비서로서 여행을 잘 짜 주는 겁니다. 10년 20년 된 비서처럼 말 안 해도 그냥 다 알아서 해 주는 그게 다 컨텍스트의 길이의 자우가 되기 때문에 AI가 개인화되는 과정에서 쿠팡과 같이 내가 원하는 걸 딱딱 갖다 주는 진정한 비서가 되는 저 컨텍스트가 길이가 길어진다. 근데 에이전트가 뭐 여행 샤핑도 있고 교육도 있고 뭐 기자, 회계사 내가 많은 거를 가질수록 결국은 AI 힘은 데이터에서 온다.이 말씀을 드리고 그래서 에이전틱 AI 나를 대신하는 사 인공지능의 힘은 LRM. 근데 LM은 트랜스포 모델이 되면서 더 이상 발전이 없어요. GPU가 더 이상 발전이 없는 거하고 더 거의 꼭 같습니다. 그러니까는 제미나이에 LM이나 GPT나 클로드나 거기가 거기예요. 오히려 GPU 대수에 비례하긴 하는데요. 그래서 거기는 끝났고 앞으로의 용량 AI 능력은 메모리 곱하기입니다. 플러스가 [목을 가다듬음] 뭐냐면 툴이 뭐냐면 에이전틱 AI가 내 엑셀에도 들어오고 PPT도 들어오고 어 뭐 예약 사이트에도 들어가고 마음대로 소프트웨어를 다닐 수 있어야 되고요. 생산 현장에 들어가면 생산 현장을 컨트롤하는 소프트웨어까지 AI가 컨트롤할 수 있어야 돼. 반도체 제조 공정에서 약간 1천000개의 소프트웨어가 사용이 되거든요. 저 툴인데 툴이야 돈 주면 되는 거고 저거는 이제 많이 발전했는데 결국은 메모리에 의해서 결정이 된다 그 말씀을 드리고요.

특히 우리가 어 뭐 뭐 오늘 날씨가 어떻게 돼 하고 물어봤을 때 첫 번째 답인 어떻게 하냐면 인공지능 첫 번째 우리의 인간의 언어를 인공지능의 언어로 한번 번역하는데 그 번역한 결과가 저 Y0인데 GPU가 하는 겁니다. 그거를 전문형으로 KV캐시라고 해요. 일단 우리 말을 번역하는 건데이 컨텍스트가 길어질수록 거의 제곱에 비례해서 KV캐시 사이즈가 길어집니다. 그래서 우리가 만약에 지금은 그 컨택 사이즈가 K바인데 곧 100M기가 가면은 10에 18승이 되는 거예요. 그러면 1000바트가 필요한 거. 1인당. 엄청난 메모리 용량이 필요한데 현재 트랜스포머를이 구조로 갖고 있고요. 그다음에 이제 그거에 대한 답으로 단어 하나씩 쏟아내는게 저 디코동이 하는데 단어를 쏟아내는 속도 PPT를 몇 장을 일초에 만들어낸 속도는 메모리가 결정하고 있습니다. 그래서 메모리 증가 속도는 여러 가지 공식이 있습니다만 시퀀스 랭스에 비례한다. 결국은 컨텍스트 양에 비례한다. 배치 동시자가 늘어나거나 프로시전 몇 비트로 표현할 거냐. 그런데 어 최근 나온 터보 컨트는 프로시전을 16비트로 하는 걸 3비트로 줄여 봤더니 뭐 될 것 같으라 이런 얘긴데 뭐 그냥 논문에 불과하고요. 결국 시퀀스 랭스와 배치해서 B 곱하기라는 뜻입니다. 저게 열배 열배가 되면 100배가 되는 겁니다. 그런데 이거는 예고편이고요. 최근에 클로드에 코드가 리퀴지 그까 유출이 됐는데 원하지 않던 원해서 한 걸 수도 있는데 실제로는 여덟 배가 더 메모리가 필요하다는 겁니다. 그 저기 X로 보면 우리가 인공지능으로 뭘 하나 숙제를 내 주잖아요. 보고서를 써라 하면 에이전트만 되는게 아니라 여러 개 에이전트가 병렬로 보고서를 쓰고 평가하는 에이전트가 평가해서 그 중에 하나를 우리한테 보내 준다는 거예요. 그럼 아까 KV 캐시 때문에 메모리가 엄청 필요하다 그런는데 그게 실제로는 선업가 그 안에서 동작하고 있다라는 거죠. 멀에트 저 Y라는 건 뭐냐면 제가 지금 질문을 하고 10분 전에 채치T하고 뭐 했는데 10분 후에 할 때 10분 동안 꺼 놓는게 아니라 그걸 살려두고 있다라는 거예요. 왜냐면 계속 나하고 대화를 끊임없이 짧은 시간 내 해야 되니까. 그래서 백그라운드 세션이 계속 있다는 거예요. 그게 내가 질문과 보고서 쓰고 주거니 받고 한게 열 개 있으면 KV캐시가 열배가 거기 숨어져 있다는 거 우리한테는 없지만 쿠팡이 새벽 배송하듯이 데이터를 저장하고 서비스를 하는 동안지는 뭐냐면 제가 클로드도 쓰고 퍼플렉스테도 쓰고 노트북도 동시에 쓰는데 그게 안 꺼지고 있다라는 거예요. 그 두 배, 두 배하면 여덟 배가 커지는 거예요. 그래서 완전히 AI는 메모리 게임이다.이 말씀을 들으면 되고요.

자, 그런데 12시간 채치T에 딱 안 썼으면 얘네들이 그러면 평생 갖고 있을 순 없잖아요. 어딘가 기록해 둬야 되잖아요. 그 기록하는 작업을 오토드림이라고 하더라고요. 그러면 압축하고 랜드 플래시에 쌓아 둬야 되는 거예요. 그래서 요즘 랜드 플래시 가격이 오르는 겁니다. 뭐 그것뿐만 아니고요. 우리는 한 일을 한 가지 일을 시키지만 어 클라이언트 에이전트가 서브 에이전트하고 컨트랙트를 맺어서 여러 개의 어 수십개의 에이전트를 동시에 사용한다. 그런데 최근에 기업에서의 개인 평가가 토큰을 얼마나 많이 쓰냐로 지금 하고 있거든요. 애플 같은 회사가. 그렇습니다. 물론 언젠가는 토큰 양에 비해서 성과가 어떠냐? Ri 대신에 저는 R K t가 들어갈 거 같아요. Return of 토큰이 전기 비용과 메모리와 모든 인프라 비용을 차지하니까 근데 일단은 많이 쓰라고 토큰으로 너 얼마 토큰 몇 개 썼어? 토큰 맥시멈 생산한다는 그 단어를 뉴욕 타임스에서 맥 토큰 맥싱이라는 표현을 쓰더라고요. 일단은 회사의 경쟁력을 높이기 위해서 토큰 생산량으로 평 지금은 어떻게 하나요? 출퇴근 시간 그거 별로 의미 없는 거 같아. 출근해서도 주식 주식 보고 있으면 아무 소용 없는 거 아니에. 커피 마시고 토큰을 그니까 윈도우를 켜 놓느냐 시간보다도 실제 몇 개 입력하고 몇 개 생산하느냐 한 3년쯤 지나면 그래서 그거 성과를 어떻게 냈냐로 아마 인사 평가가 이루어질 것 같습니다.

자 그런데 이게 너무 메모리 양이 많으니까 16비 32비로 표현하는 그 KVK캐시를 3비트로 해보자 하고 터보 컨트했는데 제 결론은 부지럽다. 예. 그 정확성을 떨어뜨리면 허루시네이션이 생긴다이 얘기입니다. 그래서 어 인공지능의 게임이 지능이 아니라 토큰으로 넘어갔다는 말씀을 드리고요. 어 토큰 생산량은 결국 메모리고 메모리는 돈이고 전기고 결국 돈이다. 예 그래서 토큰 경제학이라 그러는데요.

자 그런데 다시 기술로 돌아오면 우리가 채찍한테 보고을 때 첫 번째 단어 튀어나오는 속도 있잖아요. 좀 1, 2분 걸리죠. 그 레이턴스인데 그거는 GPU가 결정한다. 자, 오른쪽에 컴퓨팅 바운더라고 그러고요. 그다음에 한 장씩 또는 한 개의 단어씩 튀어나오는 속도는 어 스루프이라 그러는데 그거는 HBM이 결정한다. 그래서 새벽 배송처럼 지금 뭐 여러 개 회사가 AI를 경쟁하는게 결국은 새벽 배송 경쟁하는 거하고가 시간 싸움에서 매물가 결정한다.이 말씀을 드리겠습니다.

그래서 AMD에 455X 리자수가 저거 했는데요. GPU 두 개밖에 못 붙였어요. 거듭 말씀드리면 GPU는 더 붙이면 오히려 손해만 봐요. 자기네들께 통신하는데 시간이 다 걸려서 근데 GPU도 싸우면 될 거 아니냐? 못 쌓아요. 열이 나서. 그래서 지표의 꿈은 여기서 끝나는구나 이런 생각이 들고 저기 보면 리자수가 만든 MI3005에는 HBM이 16개가 붙어요. 더 늘어난 거죠. 그거 16층이 되면 면적이 토탈 실리콘의 면적이 실리콘보다 메모리가 더 높아지는 거고 그래서 리자수가 한국 오고 평택 공장 왔다 갔다. 근데 어 젠슨 황이 하는 A엔비디아는 네 개만 붙여요. 자존심 싸움인 거예요. 삼성 하이닉스에 끌려가기 싫은 건데 리자수는 기술의 방향에 더 어니스한 거 같습니다.

자 그래서 HBM 4 제가 8까지 발표를 했는데 4에서는 저 베이스다 2번이 되게 중요한데요. 뭐냐면 GPU의 일부 기능을 HBM으로 넣차라는 제 생각이 반영되 있는 겁니다. 아, 그래서 아까 인코딩 할 때는 GPU 가고 디코딩할 때는 HBM이 해서 직접 그냥 로컬리 하자는 거예요. 그래서 베이스 다이가 그래서 전통적으로 메모리와 시스템 반도체가 분리돼 있었는데 이제 합쳐지고 있는 거고요. SK 하이닉스는 저 베이스 다이를 TSMC하고 M비디아와 같이 하고 삼성은 자체적으로 하는 게임이 달라지고 있는데 SK 하이닉스는 TSM 공하면서 10난호가 14난노 했고 삼성은 4난노를 한 거예요. 자기의 인생의 결정권이 삼성이 더 있는 느낌입니다.

자 그래서 어 HBM4는 이렇고요. HBM 5는이 1층에 GPU를 넣으니까 너무 뜨거워지는 거예요. 그러니까 메모리가 온돌빵에 있으니까 성능이 떨어지니까 옥상으로 올리자는게 저희 연구실 아이디어고요. 아마 HBM 5 45 되면서 메모리 용량이 두 배가 돼야 되고 밴드위스트가 두 배가 돼야 되는 그런게 있는데요. 차선도 넓히고 어 데이터 속도도 넓히고 있는데 저희 집 앞에 신세계 백화점이 있는데 그냥 1층에 가서 샤핑하면 더 좋은 거예요. 멀리 비막을 필요 없이. 그래서 GPU를 오히려 HBM 옥상에 넣차는 이런 아키텍처가 있는데요. 한번 꼭 기억해 보시죠. 여기서 HBM5, 삼성과 하이닉스, TSMC, Nvida의 운명이 바뀔 거라는 거를 꼭 기억해 주시고요.

그다음에 [콧방귀] 메모리가 모자르니까 제 주장은 HBM 뒤에 HBF를 붙이자는 겁니다. 지금은 HBM의 메모리를 모자르면 데이터 센터에 어, SSD를 데이터 프로세서 CPU, GPU 거쳐서 오게 돼 있어요. 그러니까 그 컴퓨터의 구조가 CPU가 왕이고 GPU가 그다음 어 왕자쯤 되고 그 밑에 하인이 메모리인데 왕자가 요즘 더 힘을 가진 거 아니에요. 그래서 반란이 거의 일어난 거 아니에요. 그런데 메모리가 이제 반란을 일으킬 수 있는 거예요. 기술적으로. 그래서 CPU GPU 거치지 않고 메모리 네트워을 자체로 갖자. 아까 그리고 GPU의 일부 기능을 우리가 자체로 보여하자는게 제 생각이고 그런 거를 메모리 센트리 컴퓨팅이라 그러고요. 그래서 HBM은 뭐 100GB면 테라바의 메모리가 최소한 필요한데 그거를 HBF 랜드 플래시를 쌓고 근데 개인 개인당 메모리가 저는 1000바가 필요하다고 보는 거예요. 그래서 우리가 지금 일하려면 자동차가 있어야 되고 아파트가 있어야 되듯이 1인당 1,000바를 국가에서 줘야 된다는게 제 주장입니다. 안 그러면 빈부 격차가 난다는 거예요. 그다음에 이제 HBF 뒤에 네트워을 붙여서 100T바 1000T바를 붙이자. 이게 HBM7입니다.

그런데 이제 버티컬리 보면 이렇습니다. H 그 옆으로 보면 HBM과 HBF가 이렇게 놓게 되고요. 근데 이제 NVIA는 HBM HBF로 가면 삼성 하이닉스에 너무 의존도가 크니까 직접 메모리 스토리지 네트워을 만들고 있습니다. 저게 ICMS라는 건데요. 어 Nv디아는 GPU CPU를 다 하니까 DPU라는 걸 만들어서 데이터를 스토리지 저기 ICMS 랜드로 이루어져 있습니다. 저것 때문에 요즘 샌디스크 주가가 하늘로 올라가고 있는 건데요. 저기서 자기네가 끌어서 HBM에다가 저장시키겠다는 거죠. 메모리 데이터 주도권을 자기네가 갔다는 건데 제 주장은 저기서 인터넷이나 PC 엑스프레스로 와도 시간이 너무 걸린다는 거예요. 그래서 그 네트워은 존중하대 우리가 갖고 있는 메모리 네트워크 HB HBF 그다음에 소켓 이런 거를 어 연결망으로 PCI 젠 6 젠 7으로 연결해서 인공 메모리끼리 네트워을 다 가져서 우리가 인공지능을 컨트롤하다는게 제 의견이고요. 이렇게 했더니 저희 학생 연구에 의하면 여기 파란 색깔 보면 405 빌리언 큰 모델을 실제로 인퍼런스 할 때 로그 스케일입니다. 어 스루풋이 거의 100배를 증가하더라. 그 지금 단어가 1초에 개 나온다면 1천000개 나오게 할 수 있더라. 그래서 저희가 이 자료로 전 세계 회사들을 마케팅을 하고 있고요.

근데 이때 또 문제는 뭐냐면 GPU나 메모리가 너무 뜨거워지니까 냉각을 해야 되는데 이제 반도체 안으로 물이 통과해야 된다는 거 이게 10년 후에 전 세계 반도체 회사의 운명을 가를 거라고 생각을 하고요.

자, 이제 결론입니다. 과거의 메모리 스토리지는 CPU에 붙었는데 이제 우리만의 하이러키를 갖자 S램부터 메모리 팩토리까지. 그래서 우리가 중심이 되고 옆에 CPU와 GPU를 붙으라는 생각이고요. 어, 금을 팔 때, 금광을 팔 때 금으로 돈 벌은게 아니라 청바지로 돈 벌었듯이 AI 시대의 돈은 메모리가 벌 것이다. 그리고 2038년에는 HBF의 그 인퍼런스 전용 메모리가 어, 더 수요가 커질 것이다. 이렇게 생각하고 오늘 20분 강의 마치겠습니다. 경청해 주셔서 대단히 감사합니다. 입니다.