500억 짜리 반도체가 벽돌이라니? 엔비디아 독점의 진짜 이유

딥시크 가성비 모델입니다. 그 가성비보다 의미가 있다면, 빅테크의 흐름이죠. 오늘 진짜 수백조, 수천 조까지 때려놓고, 다른 플레이어들은 아 이거 포기해야 되나 하는 분위기에서, 그 정도까지는 투자를 안 해도 할 수 있구나, 희망을 좀 보여줬다고 생각이 돼요.

80억이 딥시크 만들 수 있습니까? 단답형으로 얘기하면 저는 아니온데, 딥시크 그럼 결국은 사람들을 현혹시킨 거냐? 이 얘기는 사실 많이 안 나온 것 같은데, 지금 뭐 H800 썼다고 하는데 H800이 80GB 그래요. 320개 중에 아홉 개만 선택되고, 310개 정도는 놀아야 되잖아요. 그 기간 동안에 놀지 않도록 막 많은 것들을 해요. 그런 엔지니어링을 기가 막히게 많이 넣어놨습니다.

삼성전자는 인공지능 왜 이렇게 못 합니까? 사실 삼성전자가 제가 알기로는 두세대, 세 세대 이전에 GPU 같은 거에 투자를 굉장히 많이 했습니다. 이 식의 시대가 올 것이다라는 얘기에 대해서 좀 어떻게 보십니까? 엔비디아 GPU 직이 같이 공존하는 형태로 될 것 같아요. 각자가 이제 개성이 있을 거고, 더 잘하는 분야가 분명히 있을 거거든요. 어떻게 보면 헤테로지니어스 하게 시장이 흘러가지 않을까 그렇게 생각합니다.

건 시작하겠습니다. 안녕하세요, 건순 팀장입니다. 딥시크 얘기들 많이들 하고 계시죠? 딥시크 얘기 너무 어렵고, 이게 뭐 대충 이제 어느 정도 가성비 모델까지는 아닌 것 같다는 얘기도 나오면서, 새로운 변화가 시작되는 것 같다는 얘기도 하고, 막 그래 가지고 이거를 어떻게 하면 우리가 좀 더 와닿게들을 수 있을까 싶어 가지고 진짜 전문가를 모시면 내용이 너무 어려울 것 같아서, 진짜 전문가 중에 저랑 친한 분을 불렀습니다. 그래야 우리가 친분이 있으니까 좀 무식해 보여도 편하게 물어볼 수 있지 않을까 싶어서요.

여러분도 좀 궁금하신 얘기 있으면 채팅창에 많이 올려 주세요. 그러면 그거 진짜 무식한 질문이라도 우리 친한 사이니까 좀 편하게 답변을 주실 것 같습니다. 우리나라를 대표하는 AI 반도체 설계 팬리스 회사 하이퍼 엑셀의 이진원 CTO 모셨습니다. 안녕하십니까?

네, 안녕하세요. 이진원입니다. 안녕하세요, 자기 소개부터 부탁드리겠습니다. 네, 안녕하세요. 저는 지금 소개해 주신 하이퍼 엑셀이라는 AI 반도체 회사에서 CTO 일하고 있는 이지원입니다. 원래 삼성에 계셨죠? 네, 삼성전자에서 엑시노스 들어간 MPU 개발을 했었고요. 지금은 스타트업에서 열심히 만들고 있습니다.

그때는 MPU, 지금으로 따지면 AI 반도체랑 비슷한, 그렇죠? AI 반도체인 지금 저희가 만드는 거는 그 MPU가 칩에 거의 대부분을 차지한다면, 이제 엑시노스 그 중에 하나의 컴포넌트로 들어가는. 그때는 약간 좀 구석방에 있다가, 뭐 구석방은 아닌데 어쨌든 그냥 원오브 대었다가, 그러니까 지금은 주인공으로 집주인 돼 있는 결론부터 무쳐 보겠습니다.

딥시크는 가성비 모델입니다. 네, 이게 참 어려운 얘긴데요. 가성비라는 게 또 상대적이기도 하고, 전반적으로는 이제 뭐 우리가 훈련 얘기하면 가성비라고 할 수 있고, 또 뭐 훈련 말고 추론, 뭐 테스트라고 하죠. 그거에서 또 약간 안 좋은 점이 있는데, 그 가성비보다 사실 의미가 있다면, 작년에 어떤 빅테크들이 LM 막 개발하는 흐름을 보면, 돈을 진짜 막 수백조, 수천 조까지 얘기 나오면서 때려놓고, 막 큰 모델을 계속 만들고, 새로운 게 계속 나오고, 막 5원 같은 거 갑자기 리즈닝 하는 모델이 나오고 이러면서, 어떻게 보면 다른 플레이어들은 아 이거 따라갈 수 있는 건가 하고, 그냥 약간 쳐다보고 있는 포기해야 되나 이런 분위기에서, 그래도 딥시 어떤 희망을 좀 보여줬다고 생각해요.

이게 그 정도까지는 투자를 안 해도 할 수 있구나. 그리고 열심히 이제 훌륭한 친구들 모아가지고 엔진이랑 잘 하면 희망이 있구나라는 걸 보여줬다고 생각합니다. 그러니까 이전에는 이제 수백 조 깔고 시작 안 하면 시작도 못 하니까 엄두 안 내다가, 이제 똑똑한 애들 가둬 놓고서 갈고 가면서 엔지니어링을 하면 한 수천억에서 한 1조 정도 있으면 되지 않을까 갈아 넣으면 할 수는 있다는 어떤 가능성을 보여줬다.

그러면 진짜 오히려 우리나라 입장에선 좀 유리한 거 아닙니까? 뭐 우리나라 입장에서도 굉장히 유리할 거라고 생각하고 있고요. 딥시크 보면은 이제 테크니컬 리포트라는 어떻게 학습했는지에 대한 내용들을 꽤 자세하게 써놨어요. 물론 그것만 가지고 다 할 수 있는 건 아닌데, 예, 그래도 사실 이게 조금 테크니컬하게 조금만 하면은 오픈에서 작년에 원이라고 하는 애가 나왔고, 이거는 이제 리즈닝, 이것도 사실 추론이라고 하는데, 요게 뭐냐면 이제 어려운 수학 문제 같은 거 푸는 거를, 그러니까 우리 사람은 그냥 머릿속에 생각해서 풀 수 있지만, 얘는 중얼중얼 하면서 푸는 거죠.

우리 사람이 말하면 이제 문제를 풀 때 내가 중얼중얼 풀이 과정을 말로 하면서 푸는 거다. 어려운 문제를 중얼중얼 하지 말고 답만 바로 말해 하면 어렵잖아요. 근데 중얼중얼 하면은 좀 잘한다는 거. 왜냐하면 LM이라는 게 이제 단어가 하나 나오고 또 그게 입력으로 들어가서 다음 단어가 나오고 이렇게 하는 거라서, 얘가 말을 많이 뱉어야 걔를 다시 흡수해요. 그래야 그다음 사고를 또 할 수 있거든요.

그래서 이제 말을 막 많이 하면서 이거 엄청 잘하는 애가 있었는데, 이거 어떻게 만드는지 아무도 몰라 가지고, 그걸 사람들이 굉장히 궁금해하고 막 연구를 많이 했는데, 이번에 이제 R1 모델이 나오면서 그 궁금증이 어느 정도는 해결이 됐다. 음, 이거 제가 조금만 더 쉽게 한번 설명 한번 드려 볼게요. 그러니까 저는 어떻게 리즈닝 설명하냐면, 내가 이제 답을 냈어요. 뭐 세종대왕이 애플 컴퓨터를 정수한테 집어 던졌어라는 답이 나왔어요. 그리고 나서 그거를 소비자한테 보여주기 전에 다시 물어보는 거야. 야, 근데 세종대왕이 애플 컴퓨터를 신한테 던졌다는 게 말이 되냐? 그럼 그걸 가지고 추론을 해. 아, 이거는 세종대왕 시절에는 애플은 없었던 것 같아. 그러면서 좀 더 맞는 답을 찾아가게 계속 중얼중얼 중얼중얼 하면 스스로 스스로 그걸 계속하게 만든 모델인데, 도대체 어떻게 학습해야 그런 모델이 나오냐, 그 몰랐던 거고, 그거를 이번에 이제 어떤 레시피라고 할 수 있겠죠.

그럼 학습 방법이 어느 정도 풀렸다, 비밀이 그렇게 보고 있습니다. 아, 이분은 그 파운드리 하시는 분은 아니고요. 그 설계하시는 분이다. 설계 반도체를 설계해 가지고 파운드리에 맡기는 거죠. 맡겨서 이대로 만들어 주세요. 그런데 아니, 근데 도대체 인공지능 얘기하면 돈 많이 든다 소리 엄청 많이 하잖아요. 그리고 반도체 만들 때 돈 많이 든다 그래 가지고 뭐 그러는데 왜 돈이 많이 드는 거죠? 조그만 거 그거 하나 만드는데 돈이 왜 이렇게 많이 들어요?

네, 진짜 조그만데 보면은 조그만 거는 반도체 공정이 미세화 되면서 칩을 더 작게 만들 수 있게 되면서, 집이 점점 이제 똑같은 기능을 넣어도 점점 작게 만들 수 있는 거고요. 그런데 이 조그만 게 왜 이렇게 돈이 많냐? 가격부터 얘기하시죠. 가격부터 왜 이렇게 돈이 많냐? 그래, 열 개 만듭니다. 열 개 만들면 이제 저희가 하고 있는 삼성이나 TSMC, 저희는 삼성 파운드리를 쓰고 있는데, 예, 미세 공정, 뭐 5나노 이하 공정으로 만든다라고 하면 수백억 단위가 필요합니다. 수백억이 열 개 만드는데, 집금 10열 개 만들어도 수백억 필요합니다. 왜요? 뭐하는데 돈을 이렇게 많이 써?

그 손으로 만들어도 그렇죠. 그게 사실 잘 납득하기 힘든데, 일단 러프하게 말씀드릴게요. 정확한 숫자는 아닙니다. 사실 정확한 숫자 저도 잘 몰라요. 근데 러프하게 말씀드리면 한 1분 정도는 예, 이제 그 랩에서 생산하는 비용, 그니까 뭐 대부분이, 근데 마스크 비용이라고 해서 그 공장에서 찍어내는 비용이고, 그니까 마스크 비용이라는 거는 설계도 그리는 거죠. 이 빛으로 쏴서 막 하는 거니까, 여기 그림자 판 맞네, 어떻게 빛을 조일지 그 설계도가 있어야 되는데 그 비용이 굉장히 비싸고, 그래서 어쨌든 공정, 그 파운드리 공장에서 공장에가 내야 되는 돈이 한 1이고요. 예를 들어 600억이다 그러면 200억이 그러면 200억 그 그림판 만드는데 200억 맞습니다.

그리고 이제 거기에 웨이퍼에 그리는 돈은 그냥 플러스로 조금 조금씩 나가는 거니까. 예, 그게 이제 좋은 얘기 해 주셨는데, 웨이퍼를 몇 장 더 찍는다고 해서 200억이 300억 되지 않아요. 200억이 뭐 20억은 될 수 있어도 웨이퍼를 막 열 장, 100장 늘려도 그 다음부터 돈이 별로 안 되고요. 그다음에 이제 저희가 모든 걸 다 만들 순 없잖아요. 저희는 이제 MPU 아까 말씀드린 AI 빨리 효율적으로 돌리는 그런 걸 만드는데, 걔가 메모리랑 통신해야 되고, 밖에 있는 CPU 또 명령도 주고받아야 되고 하려면 또 걔네들을 위한 IP 하는데 저희는 그 암에서 CPU 만드는 것처럼 CPU 같은 그런 IP 있는데, 그런 아를 저희가 다 못 만드니까 사와야 돼요. 뭐 컴 마벨 이런 데요. 그래서 뭐 신나시스 뭐 이런 회사들이 있는데, 그런 회사 사와야 돼요. 그 비용이 또 한 1이 들고요.

그다음에 이제 팬리스 회사에서 하는 거는 그 설계하는 언어가 있고, 시언어, 뭐 파이썬 이런 것처럼 그 언어로 설계를 하면은 그게 트랜지스터 가서 아까 그 설계도까지 포토 이걸로 비로 하는 설계도까지 가야 되잖아. 그 과정을 해주는 회사들이 있어요. 네, 디자인 하우스, 디자인 서비스 파트너라고 하는 그 파운드리 팬마 이렇게 디자인 서비스 파트너들이 있고요. 그래서 그 회사에 가는 돈이 또 한 1 이렇게 든다고 생각하시면 됩니다.

어, 근데요 이게 사실 이렇게 설계를 하고 예를 들어 그 600억 정도라고 할게요. 그 그리는데 일단 그림판 만드는데 200억, 그리고 거기다가 이제 뭐 옆에 거 예를 들어서 내가 사람을 그리고 싶은데 나는 머리 그리는 사람이면 나머지 몸통 그림은 딴 데서 사와야 되니까 그것도 한 200억 맞습니다. 그리고 이 코딩 돼 있는 거를 생산 가능하게 만들어 주는데만 또 200억. 네, 그 600억 들여서 찍었는데 잘 나와. 그럼 뭐 그래도 팔리면 좋고는 거. 근데 찍으면 다 나옵니까? 그게 이제 굉장히 리스키 부분이죠. 찍었는데 소유 벽돌이 아고 하죠. 아, 돌라. 그니까 돌이라고 합니다. 안 돌아. 이러면은 네, 그 600억 날아가는 겁니다. 아니면 이제 그걸 어떻게든 고쳐 가지고 할 수 있는 방법들을 찾아야 되고, 그런 상황이 되면 이제 굉장히 여러 명이 힘들어지는 상황이 되는 거죠.

음, 근데 저는 이런 거 보면서 아 그 팬리스 회사들을 솔직히 잘 못 믿겠을 때가 있어요. 왜요? 아니 600억 없으면 찍어 보지도 못하잖아요. 그죠? 그러면은 리스는 그 찍어서 반도체 만드는 회사인데, 네, 그냥 생돈 600억 없으면 한 번도 못 찍어 보는 거잖아. 그죠? 그래서 사실은 그런 시행 착오를 줄이기 위해서 테스트 칩을 먼저 찍어보고 이런 과정들이 있기는 해요. 그냥 처음부터 그 누가 600억 그냥 바로 태울 수는 없잖아요. 그런 과정들은 있지만 어쨌든 그런 과정을 거쳤다고 해서 이게 뭐 무조건 잘 돈다 이렇게 보장되는 건 아니라서 굉장히 힘들기도 하죠.

와, 근데 그 리스 설계하시는 분들 입장에서는 자기가 설계한 칩을 한번 찍어 보는 분도 드물 수도 있겠어요. 네, 이게 좀 약간 오해하시면 안 되는 게, 저희가 만들고 있는 지금 AI 반도체, 특히 서버향 클라우드 양 반도체가 굉장히 크고 아주 최첨단 공정을 써야지만 되기 때문에 사실 비용이 이렇게까지 비싼 거고요. 다른 팬리스 회사들이 모두 다 이렇다고 생각하시면 안 됩니다. 근데 어쨌든 AI 반도체 한 해 말씀드리면 이런 찍을 수 있는 기회를 가지는 것만으로도 사실 되게 좋은 찬스인 거죠.

음, 맞겠습니다. 삼성은 인공지능 왜 이렇게 못 합니까? 사실 오늘 그 질문 아닌데, 여러분들도 궁금하지 않으십니까? 없는 질문을 삼성, 뭐 그전에는 이런 얘기 한다 그랬으면 안 나오셨죠? 네, 사실 되게 민감한 질문인데, 그리고 저는 이제 반도체 쪽에 있었던 사람이고, 그래서 AI 알고리즘, 뭐 모델 개발하는 사람 아니기 때문에 사실 제가 잘 알지 못해요. 그런데 이제 제가 아는 선에서 그래도 조심스럽게 좀 말씀을 드리면, 사실 삼성전자가 제가 알기로는 GPU 같은 거에 투자를 굉장히 많이 했습니다. 어, 근데 굉장히 빨리 했어요. 지금 우리가 소위 말하는 뭐 A100이다 H100이다 그 엔비디아 GPU 얘기하는데 그런 거보다 한 두세대, 세 세대 이전에 GPU 정말 많이 샀어요.

그러면 한 백 00도 있지만 그거보다 더 이전, 어 더 이전에 했다고요? 뭐 소위 말하는 뭐 108이라는 막이 시절에 진짜 많이 샀고요. 제가 알기로는 그때 열심히 많이 이것저것도 많이 했던 걸로 알고 있는데, 지금 사실 LM 나오면서 한번 이제 굉장히 큰 변화가 있었죠. 근데 사실 지금 돌아와서 생각해 보면, 이건 제 개인적인 의견입니다만, 그때 사실 투자를 많이 했어야 된다고 생각하는데 조금 타이밍이 안 맞은 게 아닌가 하는, 뭐 이것만 이유는 아니겠지만 그 중에 하나가 될 수 있지 않을까 생각합니다.

음, 그니까 딱 뭔가의 그 타이밍을 보고서 투자를 왕창 했는데, 그때는 결과물이 잘 안 나와 가지고, 야 이거 좀 어려운가 보다라고 하는 고타에 뭔가 새로운 변화가 확 올라왔고, 네, 뭐 그렇게 볼 수 있죠. 음, 알겠습니다. 그 성시경 닮았다는 얘기를 들으십니까? 아, 네, 제가 좀 눈이 쳐져 가지고 조금 들었습니다. 살진 성시경 모. 아, 성시경도에 쌀 많이 쪘던데. 네, 맛있는 거 많이 드셔 가지고.

80억이 딥시크 만들 수 있습니까? 이게 이제 가장 아마 여기 보시는 분들도 많이 이 얘기는 너무너무 많이 들으셨을 것 같은데요. 80억이 만들 수 있냐 하면은 뭐 단답형으로 얘기하면 저는 아니온데, 왜냐하면 이게 훈련 한 번 하는데 드는 비용이에요. 80억이 뭐 그 훈련 한 번 한 되든 80억을 많은 거냐 적은 거냐 하면은 뭐 그거는 적은 쪽에 속한다고 생각을 합니다.

근데 어쨌든 이게 훈련을 한 번 한 번만에 딱 성공하는 경우는 없잖아요. 그러니까 굉장히 많은 시행 착오를 해서 한번 해보고 안 되면 요거 조금 바꿔서 또 하고 또 하고 이 과정을 굉장히 많이 거치는데, 그런 과정 비용을 다 합치지 않고 그냥 마지막에 한번 하는 비용, 최종적으로 잘 되는 거 그렇게만 한 거죠. 근데 사실 이게 그 논문에 써 있어요. 어, 이게 최종 비용입니다. 이거는 시행 차고를 포함하지 않은 거라고 써 있어요.

아, 근데 이제 사람들이 그것보다는 이게 왜 그러냐면 이 논문에 테이블 1번에, 이 표가 있어요. 그러니까 이 딥식스 의도가 있는 거죠. 왜냐면 자기네들 자랑하고 싶은 거 많을 텐데 그 중에 1번으로 비용에 대한 테이블을 만들었으니까 의도는 분명히 있는데 약간 이제 어그로를 끌려는 거죠. 근데 어쨌든 써 있기는 하다, 이거는 그런 회 1회성 비용인 거다라고 써 있긴 합니다.

음, 근데 어쨌든 기존에 만들던 거보다 싸긴 싼 거잖아요. 그렇게 보고 있어요. 여기서 이제 그 MOE, 아는 믹스처 오브 엑스퍼트라는 뭐 우리말로 하면 뭐가 될까요? 전문가 합성 모델 이런 거, 예, 구조를 쓰면은 한 번에 사용되는 그 파라미터, 하죠. 그 개수가 적어요. 그러면은 한번 단어를 예측할 때 사용되는 파라미터가 적으면 개만큼 학습하면 되거든요. 한번은 음, 한 번에 학습하는 양이 적고, 그 빨리빨리 할 수 있겠죠. 전체 모델은 크지만 그중에 일부만 쓰고 그 일부만 학습하고 이런 식으로 학습을 계속 반복해서 연산을 조금만 하고도 학습을 잘할 수 있는 구조가 그 믹스처 엑스퍼트 구조라고 생각하시면 되고요.

그게 사실 학습을 효율적으로 만든 굉장히 중요한 키 중에 하나입니다. 그 추론은, 추론은 이제 좀 다른 얘긴데, 학습할 때는 그렇게 하면 효율적일 수 있는데, 추론은 또 완전 다른 얘기가 돼요. 이제 이 전문가들을 여러 명 두는 거예요. 그 다음 단에 예측할 때 1번부터 지금이 딥시 모델에는 257명의 전문가가 있어요. 그 중에 한 명은 뭐든지 다 잘하는 공통 전문가고 모든 분야의 전문가고, 나머지 각자 전문 분야가 있다고 생각하시면 돼요.

그러면은 뭐 제가 순우 지금 뭐 하니 이렇게 물어봤어요. 근데 얘가 순우 수우는 지금 생방송 중이야 이렇게, 네, 단어로 대답했다고 하면은 순우 처음에 딱 들어가잖아요. 그러면 수우는 들어가면 어 너는 5번, 6번, 7번, 뭐 10번 테가 이렇게죠. 그럼 걔네들이 5, 6, 7, 10번 전문가들이 막 해가지고 다음 단어를 지금 뽑아 주는 거, 지금이 또 들어가면 이번에는 너는 120번으로 가고 뭐 58번 가고 뭐 이런 식으로 또 찍어줘요.

그럼 거기 가서 다음 단 생방송 하고 또 생방송이 들어가면 중이야 이런 식으로 예측을 하게 되는 거죠. 그러니까 근데 추론할 때는 몇 번 전문가한테 갈지 모르잖아요. 사용자가 뭐라고 할지 모르니까 그죠? 예, 그러니까 그 전문가 모든, 뭐 전문가들을 다 GPU 메모리에 올려 놓고 기다려야 돼요. 어, 실제로는 한 20, 한 18분 정도만 쓰거든요. 한번 단어 예측할 때 전체에 예 18을 위해서 그 18배에 해당되는 걸 메모리를 다 들고 있어야 되니까, GPU 메모리 측면에서 굉장히 비율적인 구조입니다.

어, 그러니까 학습은 좀 빨리 하지만 추론할 때는 비용이 많이 든다. 네, 비용이 많이 들 수 있습니다. 근데 그것도 또 방법이 있기는 한데, 뭐 그 얘기 조금 할 예. 그럼 그니까 그 다음 질문 저거였어. 그럼 딥이 그 조산 모사를 가지고, 근데 사실 MO 모델 자체의 특성인데, 이게 그 딥시가 결국은 사람들을 현혹시킨 거냐? 이게 학습에서는 비용이 적게 들지만 실제로 사용하는 추론에서 비용이 많이 들면 실제로 이걸 만들어서 사용할 때 총 비용을 계산해 보면 비쌀 수 있는데, 그게 원래 MO 모델의 원래 특성인데, 그걸 학습 비용만 얘기해 가지고 딥은 그러면 약간 치팅을 한 겁니까? 뭐 그렇게 볼 수도 있고요. 그런 부분이 전 틀렸다고 하긴 힘든데, 또 지금 사실 보면은 딥시 서비스하고 있는 API 비용을 보면은 또 싸긴 싸거든요.

그 이제 그거에 대한 얘기도 굉장히 많아요. 뭐 지금 약간 어디가 못 뺏 가라 그런다네. 그래서 약간 손해 보면서도 하고 있는 거라도 있는데, 그 딥식스 보면은 여기에 엄청나게 많은 엔지니어링이 하죠. 그런 소위 사람을 갈아넣는 그런 작업들이 있어요. 그래서 딥시 그 논문에 보면은 이 얘기는 사실 많이 안 나온 것 같은데, 우리 이거 서비스 하려면 최소 필요한 GPU 개수가 나와 있어요. 그게 320개. 원래 뭐 GPT 같은 거 하려면 몇 개 들어갑니까? 이게 지금 딥시 모델 670 빌리언, 6,700 뭐 10억 개 정도 되는데, 이게 용량으로 따지면 뭐 67GB 정도 됩니다.

근데 GPU 지금 뭐 H800 썼다고 하는데 H800이 80GB 그래요. 용량이 그러면 이제 10개 안에 돌릴 수 있는 거죠. 사실 용량만 따지면. 그러네요. 근데 얘네들은 320개 써요. 이거 어떻게 하냐면 256개 전문가를 GPU 하나에 하나씩 다 뿌려요. 예, 그리고도 남잖아요. 그럼 그 아까 공통 전문가라고 하 애들 있잖아요. 걔네들을 또 많이 뿌려요. 걔네들은 걔네들 많이 쓸일 거니까.

음, 그리고 256개 그 선택되는 전문가들 중에서도 모니터링을 계속하다가 자주 쓰이는 애들 있잖아요. 그런 애들은 좀 비중을 늘리는 거예요. 그래서 320개 GPU 한 지에 한 전문가들이 다 상주하고 있다가 그 5번 전문가로 가면 5번 GPU 가는 거예요. 오, 근데 이제 그렇게 생각하면은 320개 한 번에 선택되는 전문가는 아홉 개. 예, 320개 중에 아홉 개만 선택되고 나머지 거의 310개 정도는 놀아야 되잖아요. 예, 예.

근데 이거를 얘네들이 기가 막히게 엔지니어링 해 가지고 그 기간 동안에 놀지 않도록 막 많은 것들을 해요. 그리고 또 이거 서버에서 서비스를 하다 보니까 한 명이 리퀘스트 하는 게 아니고 뭐 수천 명이 들어올 거잖아요. 그 수천 명이 이제 아홉 개의 전문가들한테 다 흩어지면 어느 정도 지겠죠. 그런 골고루 퍼질 수 있게 하는 그런 것도 굉장히 많이 넣어놨고, 그럼에도 불구하고 노는 애가 있으면 그걸 또 잘 활용할 다른 걸로 다른 연산으로 활용하는 그런 엔지니어링을 굉장히 많이 넣어놨습니다.

와, 그러면은 아까 지금 여기서 보 얘기 나와요. 뭐 디지털 중류 방식을 쓰지 않았냐 얘기 나오는데, 그 얘기는 제가 짧게 정리하고서 지금 얘기 조금만 해설해 드리겠습니다. 이게 딥식의 비용이 좀 싸게 들어갔었던 이유에 대해서 그 MOE 모델에 따른 그 학습 비용과 추론 비용의 차이 얘기가 있고, 또 하나는 디젤 중류 방식 해가지고 남이다 증류하는 걸 갖다 써서 있고, 그렇게 해서 비용을 낮췄다는 얘기는 좀 내용에 대해서 관심 있으신 분들은 어느 정도 나온 얘기일 거예요.

근데 제가 오늘 이진원 C 님을 모신 거는 그거보다 더 엔지니어링 단, 하드웨어와 소프트웨어 엔지니어링 단의 이야기까지 좀 같이 들어 보려고 하는 건데요. 지금 말씀주신 거는 예를 들어서 GPU 뭐 예를 들어 10개가 있다. 그럼 한 번 처리할 때 보통 한 두 개 정도밖에 안 쓰게 되는 경우가 생기는데, 그래도 10개 깔아 놔야 되니까 비용이 싼 비싼 건데, 얘를 어떻게 배분해 가지고 노는 애를 어떻게 안 만들 건지에 대해서 갈구는 그런, 그렇죠? 그 소프트웨어적인 거죠. 그거는 소프트웨어적인 엔지니어링이 굉장히 고도화 돼 있다는 말씀이신 거죠? 맞습니다. 맞습니다.

그래서 계속 그 GPU 320개 모니터링하면서 계속 다이나믹하게 뭔가 그때그때 상황에 맞게 컨트롤하는 것들이 다 포함되 있어요. 그리고 그런 내용들도 어느 정도 다 그런 논문에 기재를 해 놓고 있어요. 아, 그러면 식에 320개 썼으면 뭐 예를 들어서 좀 큰 모델이라고 하는들은 뭐 얼마나 쓴다고 대략 우리가 그냥 감만 잡으려면 몇 개 정도 쓴다고 생각해야 됩니까? 보통 우리 GPT-3 같은 거 175M짜리 그거 350GB 정도 되는데, 그거 한번 돌리려면 여덟 개 정도 있어야 되는 거죠. 그렇죠? 네, 근데 320개면 훨씬 많이 쓰는 거. 훨씬 많이 쓰는 거죠.

그러니까 사실이 그냥 단순히 생각하면 이제 비용이 훨씬 많이 드는데, 그 320개 놀리지 않고 계속 돌릴 수 있으면 또 가성비가 좋다고도 볼 수 있는 거예요. 그래서 사실 이게 약간 애매한 부분이 있습니다. 예, 음. 그러면은 딥시 지금 말씀 주신 거 보면은 아까 처음 얘기하셨던 얘기가 어쩌면 결론에 가까울 것 같아요. 예, 진짜 예전에는 막 엄청나게 뭐 GPU 뭐 몇 장이 들어가든 뭐 320개 부족하면 3,200 깔아 놓고서 뭐 효율적이 비효율적이 빨리만 나오게 한다 그러면 빅텍 이길 방법이 없잖아요. 그렇죠? 근데 이거를 진짜 그 톡톡한 분들이 거기서 엔지니어링 해서 정말 야무지게 쓸 수 있도록 하는 거는 돈의 문제는 아닌 거잖아요. 그렇죠?

음, 그래서 아까 처음에 말씀드렸다시피 노력하면 따라갈 수도 있다는 희망을 좀 보여 준 것 같아요. 음, 실제로 주변에서 그런 체감이 좀 되십니까? 이거 보면서 사실 아까 칩 하나 찍어보는 것만으로도 600억 들어간다 그러면은 정말 뭘로 모델이랑 좀 다른 거긴 하지만 엄두를 내기도 좀 어렵잖아요. 네, 근데 이렇게 엔지니어링으로 어느 정도 할 수 있다라는 거라 까 예전에 보다 좀 활기가 좀 돕니다. 뭐 제가 직접 지금 사실 우리 이제 1월 20일 정도에 나왔어요 R1 모델이. 그러고 나서 지금 뭐 한 20일 정도 지났나요? 보름 정도 지났는데 얘기가 너무 많이 나오니까, 예, 사실 뭐 그 얘기하다가 그런 것까지 사실 느낄 틈이 없기는 한데, 그래도 조금 이제 해 볼 수 있지 않을까 우리도.

그리고 사실 실제로 우리나라에서도 뭔가 그런 얘기들이 많이 나오는 것 같고, 사실 저희는 인프라 반도체를 만드는 회사니까 사실 이런 분위기가 더 좋긴 하거든요. 더 많은 많은 시도들이 생기고, 더이 소위 말하는 파이가 커지는 상황이 되는 게 저희 입장에서 굉장히 좋고, 그런 움직임들이 어느 정도 있는 것처럼 느껴지고 있어요. 음, 그러면은 어쨌든 이 딥시 보여줬던 거는 그냥 진짜 눈에 보이는 80억의 문제가 아니라, 진짜 그 똑똑한 엔지니어들의 그 노력으로 무엇인가를 달성해 낼 수 있다라는 걸 보여줬다는 게 오히려 딥시 보여준 제일 중요한 함의가 되겠네요.

네, 네, 저는 그렇게 생각하고 있습니다. 음, 기술적인 내용 말고 생각하면은 그게 제일 중요한 얘기인 것 같아요. 음, 근데 그게 오픈 모델이잖아. 맞습니다. 그러면 그 지금 타시기 님이 해 주셨는데, 지금이야 오픈 소스로 공개를 하니까 카피켓처럼 하면 따라야 가겠지만, 저 부분은 어떻게 봐야 됩니까? 딥시 오픈 모델이니까 우리가 그 똑같이 따라하면 그냥 할 수 있습니까? 그게 아까 앞에서 말씀드렸던 거랑 좀 연결이 되는데, 이게 자세하게 공개를 했지만 그 사이사이에 엄청난 엔지니어링이 있구나. 아까 제가 뭐 모니터 실시간으로 모니터링 하는 것도 그중에 하나인데, 그걸 어떻게 했다는 얘기는 없고, 그걸 했다 이렇게만 나오는 거예요.

아, 그러니까 그런 부분들을 사실 따라 하려면 그만큼 또 엔지니어링이 들어가야겠죠. 그걸 따라하는 회사들도 뭐 학습도 마찬가지입니다. 사실 서비스만 얘기할 건 아니고 학습도 마찬가지인데, 그러다 보니까 누구나 할 수 있냐라고 하면 그건 아닌데, 어쨌든 방법이 어느 정도 알려져 있으니까 이제 열심히 하면 우리도 할 수는 있겠다 이 정도는 희망이 생겼다고 보는 거죠. 음, 더 들어가면은 이건 꼭 딥시 얘기 아니더라도 이건 딥식스 10도 결국은 비용을 절감했다고 하지만 그 비싼 비디아 GPU 썼다는 거죠. 뭐 H800을 썼다는 건 사실 중국이라서 뭐 직접 쓰면 안 되니까 H800이나 그런 거 같은데, 네, 뭐 그런 얘기도 많죠.

왜 다 엔비디아를 씁니까? 그 비싼 걸. 뭐 이게 사실 나 인텔은 가격 1인데 성능도 더 좋게 나온다고 자기들은 얘기하잖아요. 이게 이제 저도 포함해서 AI 반도체, 뭐 AMD, 뭐 인텔도 다 AI 반도체를 한다고 치면은 그런 회사들이 공통적으로 겪은 일인데요. 그니까 지금 AI 모델 쪽은 어떻게 보면 기술적인 해자가 굉장히 짧게밖에 없는 상황이 되고 있어 점점 계속 따라 잡잖아요. 음, 근데 이쪽은 굉장히 기술적인 해자가 되게 큽니다. 그니까 뭐 예를 들면 이런 거예요. 모델을 만드는 사람들, 그다음에 어떤 그 모델을 서비스할 최적화하는 사람들 다 엔비디아 GPU 가지고 하고 있잖아요.

예, 그러니까 거기에 최적화된 상태가 이미 그게 그게 최고라고 생각하고 있으니까 이제 새로운 게 나와도 사실 최적화가 잘 되기가 일단 힘든 부분이 있고요. 그걸 기본으로 깔고 가고, 그다음에 사실 AI 반도체 회사들이 미국에도 그렇고 굉장히 이제 예전부터 많이 있었는데 한 7, 8년 전부터 많이 있었는데, 그 시절에 이제 알고리즘 영역에서 굉장히 큰 체인지가 있었어요. 그니까 예를 들면 이런 거죠. 제가 뭐 음식 만드는 기계를 만들려고 해요. 다양한 음식을 다 잘 만들게 하고 싶은데, 다양한 음식의 AI 알고리즘들이 하면은 어 지금 탕우르 유행을 하는 거예요.

그래서 탕후루를 진짜 포커스를 해 가지고 최적화 해서 막 기계를 딱 만들어서 딱 내놨는데, 내놓고 나서 보니까 갑자기 유행이 다 요거트 아이스크림으로 간 거예요. 예, 예. 근데 또 요거트 아이스크림 상호는 요만한 게 조그만데 사람들이 요거트 아이스크림을 예를 들어서 막 냉면 그릇 같은 데다 먹는 게 유행이다 이러면 이제 난 조그만 거 잘 만드는 거 하다가 이거 막 큰 거 해야 되고, 이제 엄청난 빅 체인지가 일어난 거죠. 그러면서 이제 뒤늦게 또 따라가고 있는 그런 상황이고, 사실 지금이 이제 초창기라 생각해요. LM이라는 게 트랜스포머라쳇 해지면서 이제 뭐 VLM이라고 하는 또 새로운 프레임웍이 나오면서, 그것도 오픈 소스든요. 그런 식으로 되면서 이제 다른 회사들도 이제 시작하는 단계라고 봐 주시면 좋을 것 같아요.

왜 못 하냐 보다 이제 시작해서 조금씩 조금씩 아마 점유율을 늘려 가지 않을까 저는 이렇게 생각하고 있습니다. 지금 닥터케이 님이 제가 이전에 얘기했었다 딴 거 왜 안 쓰냐? 실제로 돌려보면 안 돌아간다. 아예 맞아요. 그것도 많이 있었어요. 예, 그게 사실은 맞는데 저는 안 돌아간다는 건 아니지만 왜 안 돌아가는지는 몰라요. 근데 이님은 그게 왜 안 돌아가는지도 잘 아시긴 할 건데, 이걸 설명하자면 너무 복잡할 것 같긴 하고, 지금 레서피와 관련한 그 이전에 어떤 프레임이 바뀌어 가지고 그렇다라는 얘기도 어느 정도로 인정이 되는데, 그러면은 정말 그 인텔의 AMD, 인텔이나 AMD 만든 가우라 뭐 MI 시리즈라던지 이런 것들은 트랜스포머 이후에 나온 거잖아요. 그렇죠?

그래서 근데 이제 아까 말씀드렸던 것처럼 그 부분에서 제가 생각, 이건 제 개인적인 의견인데, 그런 어떤 소프트웨어적인 최적화라든지 이런 부분에 있어서의 또 장벽이 있거든요. 그래서 그니까 후다가 아니더라도 그런 걸 이제 맞춰가는 단계라고 생각이 되고 있고요. 그래서 사실 계속 좋아지고 있기 때문에 물론 디아도 가만히 있지 않고 계속 치고 나가고 있기 때문에 그 격차가 뭐 별로 많이 안 줄어든 것처럼 보이지만, 제가 감히 얘기를 하자면 그런 그런 걸 이제 지금 비디아 워낙 비싸고 또 사실 수요가 공급을 훨씬 앞서 있잖아요. 너도나도 지금 막 뭐 미국의 빅테크는 뭐 몇십만 개씩 사려고 하니까, 그러다 보면은 자연스럽게 좀 다른 반도체도 써 봐야겠다.

그리고 써보면은 또 이제 그 회사들이 자기들 거에 최적화를 많이 할 거고, 그러다 보면은 이제 조금씩 조금씩 쓰게 되지 않을까 생각하고 있습니다. 지금 질문 올라온 거 좀 질문드리면, 그럼 이제 식의 시간이 오는 것이냐? 어떻게 보십니까? 그 범, 그니까 GPU 범용 반도, 사실 뭐 범용 반도체라고 보기에는 굉장히 그 트랜스포머에 최적화돼 있는 게 GPU 한데, 이제 브로드컴을 중심으로 해서 주가 올라가니까 이제 식의 시대가 올 것이다라는 얘기에 대해서 좀 어떻게 보십니까?

뭐 이것도 되게 어려운 얘기기 한데요. 뭐 어느 정도는 맞는 얘기라고 생각을 하고, 근데 어차피 이제 엔비디아는 가고 다른 회사, 그자를 다 차지할 거야 이렇게 생각하긴 쉽지 않은 것 같아요. 엔비디아가 괜히 지금 시총 1, 2위를 왔다 갔다 하는 회사가 아니라고 생각을 하고, 굉장히 높은 기술력과 훌륭한 엔지니어들이 많이 일하고 있기 때문에 엔비디아가 다 못 하고 있는 거를 같이 한다라는 개념으로 생각해 주시면 좋을 거고, 이제 비디아 GPU 직이 같이 공존하는 형태로 될 것 같아요. 각자가 이제 개성이 있을 거고, 더 잘하는 분야가 분명히 있을 거거든요.

그래서 그런 부분에 있어서 약간 어떻게 보면 헤테로지니어스 하게 시장이 흘러가지 않을까 그렇게 생각합니다. 음, 저기 도럼프 님이 리벨리온 사장은 크다가 된다던데, 그 리벨리온 사장님도 다 친한 분들입니다. 네, 맞습니다. 그 다른 GPU 쿠다가속을 위한 거고요. 프로그램, 그 소프트웨어고, 그래서 쿠다 원래는 다른 AI 반도체는 안 돌아갑니다. 원래는. 네, 그렇죠. 근데 이제 쿠다 그 명령어를 똑같이 받아서 우리 AI 반도체에서 돌아가게 해서 마치 후다가 돌아가는 것처럼 보이게 하려는 시도들을 하는 회사들이 있는 거죠.

음, 그러니까 번역기를 하나 갖다 집어 넣다는 거죠. 그니까 얘가 한국말, 한국 사람한테 한국말 쓰는 건데 외국 사람하고 얘기 못 하냐? 그 그니까 번역기를 끼면 된다. 네, 맞. 근데 아무래도 불편함은 좀 있겠죠. 되게 불편하죠. 그러니까 후단은 그 하드웨어의 디펜, 하드웨어와 관련된 것들이 굉장히 많이 있어요. 그니까 뭐 안에 메모리, 내부에 있는 메모리 HBM 말고 S이라고 하는 그 안에 뭐 공간을 어떻게 쓰고 여기다 몇 번지에다 뭘 저장하고 하는 그런 부분까지 다 포함되는데, 그거를 그냥 갖다 쓸 순 없잖아요. 그러니까 우리 하드웨어 맞게 고쳐야 되는 부분들이 굉장히 많이 있고요.

그게 이제 비디아 GPU 특성에 맞게 그렇게 만들어졌기 때문에 그걸 그냥 번역을 한다. 우리가 뭐 영어를 번역해도 한국어를 번역해서 뭔가 그 뉘앙스라 그지 이런 것들이 잘 전달 안 될 수 있는 것처럼 딱 맞춤형으로 되지는 않는 거죠. 음, 그 이번에 하이퍼 엑셀 얘기를 좀 해 보려 그러는데, 이게 GPU 워낙 좋습니다. 비디아 GPU 워낙 좋고 속도도 빠르고 용량도 크고, 거기 비링크 연결하는 거 보면은 정말 과연 이런 반도체를 상대로 해서 뭔가의 대안을 내놓는다는 게 굉장히 어려워 보여요.

근데 하이퍼 엑셀도 이제 AI 반도체를 만드는 회사 입장에서 이런 엔비디아를 뭐 이기겠다는 건 아니더라도 아까 헤테로지니어스 하게 뭔가의 영역을 나눈다고 했을 때 하이퍼 엑셀의 컨셉은 좀 어떻게 됩니까? 어, 저희가 만들고 있는 AI 반도체에서 좀 소개를 해 드리면, 저희는 이제 지금 제가 예를 들면 체지 PT 같은 거 유료로 제 돈 내고 쓰고 있는데, 사실 좀 부담됩니다. 좋긴 한데 비싸요. 그 이게 서비스 비용이 비싸지는 게 뭐 여러 가지 이유가 있지만 그중에 굉장히 중요한 게 GPU 가격이 비싸다는 거죠. 예, 그리고 또 이제 GPU 파워를 굉장히 많이 먹거든요.

음, 이런 부분들이 이제 GPU 다 잘하고 있지만 약간 아쉬운 부분들이 있으니까 그런 부분은 이제 공략을 하겠다는 건데, 그래서 그러면 돈이 어디서 많이 드냐 아까 뭐 제가 1, 3, 3 얘기했지만 그거 외에도 HBM이라 메모리를 쓰잖아요. HBM 메모리가 엄청 비싸죠. 그것 때문에 이제 하이닉스도 되게 잘 나가고 하는데, 그러니까 그 메모리 비용을 줄여서 저희는 LPDDR이라는 기존에 이제 모바일폰 같은 데서 많이 쓰는 그 메모리를 사용해 가지고 저희가 AI 반도체를 만들고 있어요. 그게 하나의 특징이고, 또 하나는 이제 저희는 모든 AI 알고리즘을 다 타겟하는 게 아니고, 체지 PT 같은 라지 랭기지 모델이라고 하죠. L&M에 포커스를 해서 하드웨어부터 그거에 맞춤형으로 만들고 있습니다.

뭐 다른 알고리즘 안 되는 건 아니지만 최적화를 하드웨어부터 거기다가 다 한 거죠. 그럼 두 가지 질문이에요. 첫 번째 저전력 반도체를 쓴다. 사실 HBM 쓰고 싶어서 쓰는 게 아니라 그 커다란 용량과 엄청난 속도가 필요하니까 쓰는 그 부분은 그래픽 DDR 어떻게 해결을 하죠? 그 어, 이제 HBM 장점은 뭐냐라고 하면은 그 밴드 이스라 하죠. 쉽게 얘기하면은 1초에 몇 번 데이터를 얼마나 많은 데이터를 읽고 쓸 수 있느냐. 그게 DDR 대비해서 굉장히 좋거든요. 예, 똑같은 용량 대비한 10배 이상 좋은데, 그게 뭐 LM 뭐에 적용되냐? 그은이 단어가 나오는 때문에 그렇죠. 1초에 3.5T 읽어야 1초에 10열 단원을 뱉을 수 있는 거거든요.

와, 그 메모리 하나 2기간인데 1초에 3.5T 처리를 해야 그죠 단호 나온다는 거니까. 예, 1초에 열 단어도 사실 사람들이 막 그렇게까지 빠르다고 안 느끼거든요. 그러니까 DDR 이제 그거에 비해서는 속도가 굉장히 느려요. 그럼 이 속도 느린 거를 어떻게 커버할 거냐? 사실 되게 중요한 거고, 그래서 저희가 이제 두 가지를 말씀드릴 수 있을 것 같은데, 실제로 1초에 3테라를 읽을 수 있다고 해도 GPU 최적화를 소프트 하나도 안 하면은 한 2T, 뭐 1.5T 밖에 못 읽어요. 음, 그니까 그 읽을 수 있는 능력치가 되는데 그걸 다 활용을 못 하는 거죠.

근데 저희가 지금 시제품으로 FPGA고 하는 반도체를 이용해서 서버를 만들어 놓은 게 있는데, 거기에는 그 유틸라이제이션 효용성이 한 90% 정도 됩니다. 우리가 1초에 1테라 읽을 수 있어 하면 실제로 900GB 정도, 0.9T 정도 읽고 쓰면서 동작을 하고 있어요. GPU 쓰면 몇 % 쓰니까? GPU 쓰면 한 50%, 60% 최적화 안 하면 최적화 해도 한 70%. 진짜 많이 나와야 한 80% 아지 갈랑 말랑 하는데 저희는 한 90% 이상 나오고요. 그런 메모리를 효율적으로 쓰는 기술을 저희가 갖고 있어서 그걸로 이제 최대한 따라잡는 게 있고, 그다음에 이제 그렇게 해도 사실 차이가 많이 날 거잖아요.

그거는 이제 경량화 기술을 많이 쓰고 있습니다. 그래서 이제 뭐 보통은 이제 16비트 기준으로 많이 모델이 만들어져요. 하나 파라미터 한 개에 16비트, 2바이트. 근데 저희는 이제 그걸 더 줄여서 1바트나 뭐 0.5바트, 4비트 이렇게 하는 모델들을 잘 돌릴 수 있도록 하고, 그런 모델들도 어떤 성능 저하 없이 돌아갈 수 있도록 하는 기술을 또 여러 회사들이 같이 하고 있고요. 그래서 그런 거를 이제 저희 인프라, 저희 반도체에서 성능 저하 없이 잘 돌아갈 수 있도록 그런 쪽으로 생각을 하고 있습니다. 여러 회사 어딘지 물어보면 안 되죠 아직.

네, 뭐 여러 회사가 있고요. 사실 뭐 그중에는 이름만 들으면 알만한 굉장히 훌륭한 회사들도 있습니다. 언젠가 여기 와서 한번 얘기, 그때 공개되면 그때 한번 다시 한번 해. 네, 그 두 번째 답변 질, 그 할 수 있는 비결이라고 한다면 아 집중하고 있는 부분이 트랜스포머에 집중하고 있다. 네, 이거는 어떤 의미입니까? 뭐 딴 거는 트랜스포머가 아닌 거에 집중을 합니까? 뭐 다른 당연히 지금 LM 대세니까 다들 트랜스포머에 집중을 하고 있는데, 이제 반도체를 설계하다 보면은 예를 들면 예전에는 CNN이라고 하는 컨볼루셔널 뉴럴 네트워크라고 하는 그 컴퓨터 비전 쪽에서 많이 쓰이던 모델이 있었고요. 지금은 트랜스포머 이렇게 두 개가 있다고 하면은 얘네 둘이 비슷한 점도 있지만 약간 다 다른 부분들도 있어요.

음, 그럼 이제 선택의 순간이 오는 거죠. 이 CNN 잘 돌리게 만들 거냐 아니면은 요거를 요렇게 바꾸면 트랜스포머 좋은데 CNN 성능이 좀 떨어져 이런 선택을 해야 되는 상황들이 있거든요. 음, 그래서 그런 때 이제 트랜스포머 쪽 LM 쪽에 포커스를 해서 저희는 하드웨어도 만들고 그 위에 소프트웨어도 하고 그렇게 한다고 생각하시면 될 GPU 어쨌든 그 둘 다 소화할 수 있도록 돼 있는 거죠. 그죠? 네, 네 맞습니다.

음, 이게 우리가 얘기하는 A0 개념, 그니까 개념적으로는 조금 이게 비슷한 거 같으네요. 모든 모델을 상대하기다는 맞습니다. 그래서 저희가 만드는 게 직인 거고요. 결국에는. 음, 그리고 이제 저희는 스타트업이다 보니까 넓게 가기보다는 좁게 해서 LM 만큼은 이제 세계 1등으로 잘해보자 이런 느낌으로 하고 있는 거죠. 실제 성능은 어떻게 나옵니까? 저희가 이제 FPGA 그 서버에서 실제로 라마 3가 작년에 나왔을 때 저가 하루만에 그거를 저희 서버에 올려가지고 돌려서 사실 저희 유튜브 채널이 있는데, 뭐 영상이 많이 올라와 있지 않지만 저희 회사 유튜브 채널에도 올렸어. 그 라마 홈페이지에서 GPU 돌리는 거랑 저희 서버에서 돌아가는 거랑 속도 비교하는 영상이 있는데 저희가 훨씬 빠릅니다.

음, 그런 거는 영상으로 좀 준비를 하셨어야죠. 네, 다음에 나오면은 그러니까 라마를 그니까 메타에서 집 치유를 가지고 돌린 것과 메타에서 라마를 이쪽 서버에 올려 가지고 여기서 돌려보는 걸 해봤을 때 라마를 기준으로 봤을 때는 더 잘 나온다. 네, 맞습니다. 똑같은 질문을 해서 답이 이렇게 쭉 나오는 속도를 비교한 영상이 있는데 가져왔어야 되는데, 아무튼 굉장히 빠르게 잘하고 있습니다. FPGA 뭡니까? FPGA 쉽게 말씀드린 이제 반도체는 한번 만들면 고칠 수가 없잖아요. 600억 든 되면서. 네, 네. 그 그것도 고칠 수가 없어. 잘못한 걸 찾아 버그가 있는데 벽돌이 되어도 이거 고칠 수가 없는데는 고칠 수가 있습니다. 대신에 이제 다른 제약들이 많이 있죠. 뭐 안에다가 그 로이라고 연산 같은 걸 많이 못 넣고, 음, 뭐 속도도 좀 느리고 이런 게 있는데, 그럼에도 불구하고 이제 저희가 굉장히 빠르게 하는 기술을 개발을 해 가지고 지금 실제로 그 직 반도체를 만드는 데다가 노력을 하고 있습니다.

그 두 가지, 그 끝 아까 하나 찍는데 한 600억 든다 그랬잖아요. 돈은 있습니까? 600억을 기자님이 얘기하신 거고. 아, 그저 거는 600까지 안 억. 예, 수억. 응, 수백억 이제 투자를 받는 거고요. 사실 이게 뭐 여기서 할 얘긴지 모르겠지만, 이 팬리스 특히 AI 반도체 하는 회사들이 어려운 점 중에 하나예요. 이제 저희 같은 회사들이 창업한 지 이제 2년 정도 됐는데 첫 번째 칩을 지금 만들고 있거든요. 그러니까 그 얘기는 뭐냐면 아까 제가 FPGA 서버를 만들었다고 했지만 칩이 이제 처음 나와. 근데 투자를 엄청 많이 받아야 되는데, 수도자들 입장에서는 이게 뭘 아무것도 없는데 이런 어려움이 있어요. 그래서 그런 어려움이 있지만 그래도 저희 회사를 믿고 투자들 분들이 투자를 잘 해 주셔 가지고 저희가 작년에 투자를 잘 받고 지금 열심히 개발하고, 참고로 투자 유하러 나오신 거 아닙니다. 투자 다 끝났습니다.

그러니까 언제쯤 찍을 겁니까? 어, 지금 설계가 거의 다 끝나서 올해 연말이면 칩이 나옵니다. 아, 그래요? 오, 와 실제로 나와서 정말 뭔가 유의미한 지금까지 나왔던 칩들은 이제 비디아 GPU 아니고서는 거의 안 돌아가는 것으로 알려져 있는데, 실제로 뭔가 이게 특성들을 얘기했을 때 이게 단순히 홍보문구가 아니라 실제로 지렌 기지 모델이 돌아가는 모습들이 좀 나타난다면 꼭 하이퍼 엑셀뿐만 아니라 여러 팬리스에서 그런 결과물들이 좀 나온다면 꼭 그렇게 초거대 자본이 투입된 부분이 아니더라도 딥식의 한계가 많음에도 불구하고 이런저런 가능성을 보여 준 것처럼, 이런 AI 반도체 쪽에서도 꼭 엔비디아가 영원한 정답은 아닐 거다라는 그것이 그냥 기대가 아니라 현실에서의 가능성으로 좀 볼 수 있는 기회가 저희도 그렇게 노력하고 있고요. 저희가 DDR 싸게 만들어서 많은 사람들이 싼 가격에 AI 쓸 수 있도록 하려고 최선을 다하고 있습니다.

알겠습니다. AI 정말 싸지는 그날까지 저희도 함께하겠습니다. 지금까지 권이었습니다. [음악]