Transcription
드디어 사이언스도룡스포츠센터 뭐 51, 53보 안 좋네. 수학이랑 코딩 실력 진짜 구리네. 엔트로피의 클로드 손의 3.7이 나왔는데, 걔가 이제 먼저 선방을 사실 쳤죠. 그 쳤는데 그것보다 좀 안 좋다 뭐 이런 얘기들이 나오는데, 그냥 점수로만 이게 안 좋다라고 그냥 넘어가기에는 또 공학 채널이지 않겠습니까. 이게 어떤 의미를 가지는지, 어떤 기술을 이용해서 그래도 발전이 됐는지, O1, 53과 어떤 부분에 다르기 때문에 이게 문과 감성에 훨씬 창작을 잘하는, 그런 글쓰기 잘하는 그러한 AI 될 수 있었는지, 그러면 이거는 또 어떻게 이용될 수 있는지까지 어 좀 다루어야 될 거 같아서 아직 이런 부분에 대해서는 많은 언론들이나 이렇게 좀 짚어 주는 것들이 없는 거 같아서 좀 정리를 해 보도록 하겠습니다.
이게 영상이 있긴 한데, 이 영상은 그냥 차례차례로 보시면 돼요. 그냥 늘 그렇듯이 엔지니어 분들이 그렇게 발표를 하는데, 이분이 빤히 쳐다보고 있어서 이게 베스트 댓글 제가 보니까 AI 럼 가만히 쳐다보고 있다 뭐 이런 얘기도 하는데, 요거는 여러분들 이게 찬찬히 보시면은 물론 영어로 돼 있는 부분도 있고, 이 비교를 하더라도 자기 비교가 안 되는 부분도 있지만, 요거는 제가 나중에 따로 달아드릴 거고, 이것보다는 어떤 내용이 집중해야 될 건지, 왜 문과 감성을 충만하게 하는 AI 등장을 했는지 이게 뭔가 이유가 있을 거잖아요. 그리고 그 문과 감성은 어떻게 만들었는지를 좀 살펴보도록 하겠습니다.
여기 보시면 오픈 AI GPT 4.5 시스템 카드 해 가지고 27일 날 나온 게 있죠. 여기 보시면은 뭐 자세한 내용들이 있겠지만, 이거를 뭐 여러분 뭐 대부분은 이걸 자세히 안 보실 테니까 핵심적인 내용만 좀 다뤄 보자면은 말하고자 하는 게 이거예요. 컴바인 했다. 뭘 컴바인 했냐? 전통적인 방법을 썼다. 그냥 학습을 굉장히 많이 시켰다는 거예요. 강화 학습이랑 같이 컴바인 해 가지고. 근데 뭘 했다? 휴먼 피드백을 줬다. RHF. 근데 이게 기존하고 조금 달라요. 요거를 알고 넘어가셔야 되는데, 특히 이 부분 휴먼 피드백 부분이 뭔가 조금 달라진 부분을 잘 적용했기 때문에 더 사람같이 얘기하고 더 감정을 실어서 문과 감성으로, MBTI A가 아니라 T 발놈이 아니라, 의 감성으로 대답을 한다는 거죠. 어떻게 그렇게 했을지 좀 살펴봐야 되는데, 이 이게 학습을 많이 했다. 비지도 학습으로 많이 했다라는 거, RHF 적용했다는 거 말고도 여기도 나오죠. GPT 4.5가 좀 더 내추럴하게 느껴집니다 하면서 훨씬 더 많은 정보를 알고 있고, 이게 좀 더 이제 그 단일 모델로서 굉장히 큰 파라미터를 사용했다고 했거든요. 파라미터 개수를 공개하지 않았지만, 근데 스트롱거 얼라인먼트라고, 이 번역하자면 이제 정렬인데, 이 RHF이 스트롱거 얼라인먼트 한 방법이 더 내추럴하게 만들었다는 겁니다.
본격적으로 설명을 하기 전에 좀 잠깐 말씀을 드리자면, 우리가 AI 모델 얘네들을 만들려고 하면 뭐 한다고 합니까? 학습한다고 하죠. 트레이닝 한다라고 얘기를 하는데, 다 만들어 놓은 그래서 AI 모델이 나왔습니다. 뭐 GPT, GPT 4.5가 나왔습니다고 해서 얘네를 실제로 우리가 프롬프트를 통해서 물어보고 대답을 받을 때를 우리가 추론한다 하잖아요. 인퍼런스 한다고 얘기거든요. 근데 이제 한국에서는 이 인퍼런스, 원래 AI 업계에서 인퍼런스, 추론이라는 말로 쓰고 있었어요. 근데 우리 흔히 말하는 이제 테스트 타임 컴퓨터 있잖아요. 이게 뭡니까? 이 프롬프트를 O3 같은 이 추론 모델이라고 흔히 얘기하는 이 프로세스. "What a beautiful world" 이렇게 친다고 칩시다. 그러면 얘가 리즈닝 하면서 뜬단 말이에요. 그러면서 이 과정들이 보이죠. 그러면서 어떤 생각을 하고 있는지 이런 것들 얘기를 해 주고 있는데, 이 리즈닝이라는 것도 지금 한국에서 추론이라고 얘기를 하고 있거든요. 그게 처음 이거 누가 얘기했어? 누가 얘기했지 모르겠지만 감사합니다. 그래야 제가 또 이렇게 설명을 드리니까. 자, 감사합니다. 아, 어, 잘못하신 거 아니에요. 잘했습니다. 어쨌든 이 추론 모델이라고 표현한 부분 있잖아요. 이 추론 모델이라고 하는 거는 리즈닝 모델이에요. 인퍼런스, 우리가 흔히 이렇게 그냥 프롬프트 쳐 가지고 하는 그 얘기를 하는 게 아니란 말입니다. 그 인퍼런스와 다르게 추론이라고 하는 거는 이렇게 제가 늘 말씀드리는 되새김질. 리즈닝 모델이라고 하는 거는 되새김질을 계속 해 가지고 시간을 잘 들여 가지고 자기가 체인 오브 스토리를 쭉 프롬프트 생성하고 하는 방식을 추론 모델이라고 한다. 그거를 리즈닝 모델이라고 한다라고 이해를 하셔야 돼요.
그래서 이 GPT 4.5는 이게 오픈 AI의 마지막 비출 모델이라고 얘기해요. 넌 리즈닝 모델이 있죠. 이게 넌 인퍼런스 모델 이게 아니란 말이에요. 원래 AI 모델은 인퍼런스 하는 건데, 인퍼런스 못 하는 게 아니라 리즈닝을 사용하지 않았다. 그래서 이게 구분하는 게 오픈 AI GPT 2, 3, 뭐 3.5, 4, 이번에 또 4.5 나왔잖아요. 이런 식으로 GPT라는 네이밍을 썼는데, 중간에 GPT 4 다음에 물론 GPT 4.5도 나왔지만, GPT라는 브랜드를 버리고 오픈 AI O1이라고 썼어요. 그리고 오픈 AI O3라고 쓴단 말이에요. 이거는 GPT가 아니라 이거는 단일 모델, 흔히 이제 월드 모델로 확장하기 위한 기반 모델로 이 얘기를 하는 것으로 보이는데, 기반으로 그냥 추론 같은 거 안 하고, 제가 여기서 말씀드리는 추론은 리즈닝입니다. 인퍼런스가 아니라이 리즈닝 같은 거 안 하고 계속 이렇게 되새김질 안 하고 하는 모델을 GPT라고 쓰고, 따로 이렇게 시간을 들여서 테스트 타임 컴퓨터로 계속 뭔가 이렇게 생각을 하는 모델, 한국에서는 추론 모델이라고 번역되는 거, 요것들은 O1, 53이라 따로 가고 있다는 거죠. 근데 이 4.5가 마지막 비출 모델이다. 그렇게 이해를 하시고 넘어가시면 좋겠습니다.
우선 얼마나 구리길래 이런 얘기가 나오느냐라고 보시면은 블로그에는 지금 보시면 잘한 것만 얘기하고 있어요. 이 심플 QA accuracy라고 하는 게 쉽게 말해서 약간 할루시네이션 덜 한다. 그러한 질문들을 Q&A 잡아 놓은 거야. 굉장히 간단한 Q&A 있잖아요. 그냥 질문 정확한 걸 딱 질문을 딱 하고 사실의 기반에서 제대로 대답하는지 물어본 거였는데, 할루시네이션 레이트라고 나오죠. 그러면서 아 GPT 4.5는 다른 추론 모델 같은 것들이랑 비교를 해서도 정확도가 높고 할루시네이션이 낮은 모델이라고 자랑하는 부분인데, 이 자랑하는 거 말고, 그리고 GPT 4와 대비해서도 뭐 창의성이라든가 아니면 프로페셔널 코리즈 이런 것들 다 잘하고 있긴 한데, 이런 거 잘하는 거 말고 대체 뭘 그렇게 잘 못 하냐. 요런 예제들은 나중에 따로 보세요. 홈페이지가 바로 보실 수 있으니까 제가 따로 올 필요는 없을 것 같고. 이봐 이봐 이봐. 수학 못하지. 수학이 4랑 비교하면 많이 늘었어요. 어, 축하해. 그냥 단일 모델로서 이렇게 비출 모델로서 굉장히 잘했다라고 인정할 수 있는 부분 있는데, 이미 O3 미니가 이 87점 맞고 있는 거야. 이 30점밖에 못 봤잖아요. 사이언스도룡스포츠센터. 이 또 SW 랜서 다이아몬드는 잘하는데, 또 벤치마크 베리파이드 이 코딩 쪽은 또 이제 못 하는 것도 있고. 그러니까 아, 약간 좀 이거 좀 새로운 거 냈는데 왜 더 못 하지라고 하는 부분들이 있다라는 겁니다.
요거를 인지하는 상태에서 보시면요, 이게 오픈 AI 시스템 카드 지금 나온 걸 찾아보시면은 여기서 얼라인먼트를 이해를 해 봅시다. 새로운 얼라인먼트, 스트롱 얼라인먼트라고 얘기를 했는데, 이 얼라인먼트가 뭐냐면은, 그러니까 이 GPT 4.5는 거대한, 엄청나게 큰 모델을 만들려고 하는데, 오픈 AI가 원하는 대로 이 사용자의 의도랑 감정을 좀 정확하게 반영을 유도할 수 있도록 얼라인을 했다는 거예요. 우리 뭐 세이프티 얼라인먼트 그런 얘기 하잖아요. 옛날에 그 챗봇 해버 나가기 전에 이 너무 이렇게 좀 이렇게 위험한 모델로 번지면 안 되니까 이 얼라인먼트 팀이 따로 있다고 얘기했잖아요. 그것처럼 약간 이렇게 정렬을 해 준다. 원래 모델을 좀 이렇게 보정을 해 주는 역할을 한다라고 볼 수가 있는데, 이 얼라인먼트 그런 것들을 신경을 썼다는 거고. 또요, RHF. 이거는 사람이 직접 보면서 평가해 준다는 거예요. 어, 너 잘 대답했어. 어, 이거 좀 어색하게 대답했는데, 야, 사람들은 이런 말 안 써. 이런 피드백을 준다는 말이에요. 근데 이걸 어떻게 했느냐? 소형 모델로부터 했다는 거예요. 무슨 말이냐? 자, 소형 모델로부터 이 좀 약간 정제된 데이터 혹은 이 얼라인을 할 수 있는 데이터를 통해서 학습을 시키고 피드백을 줬다. 야, 사람이 직접 얘기한 것처럼 얘기해 봐라고. 소형 모델이 엄청나게 많은 거를 생성할 수가 있죠. 왜냐면 소형 모델은 일단 계산 비용이 굉장히 낮죠. 그리고 이게 추론을 할 때도 이게 프롬프트를 해서 대답을 얻어낼 때도 굉장히 빠르게 실험을 할 수 있기 때문에 굉장히 다양한 응답 데이터들을 빠르게 막 구하고 생성할 수가 있다라는 거예요. 그래서 이게 웜하고 인튜이티브하고 내추럴한 요런 것들을 마구마구 생성해 가지고 얘네들이 받아들일 수 있도록 그렇게 소형 모델로 쫙 가져왔고, 피드백을 자주 줬다. 그래서 이 대형 모델이 소형 모델로 생성한 엄청나게 많은, 어쨌든 전제되어 있는 그런 데이터들을 토대로 해서 훨씬 더 내추럴하게 반영할 수 있게 되었다라고 하는 부분들을 일단 이 GPT 4.5에서 알고 가셔야 되고.
그렇다고 해서 이 GPT 4.5가 아예 그 추론 모델이라고 부르는 O1, 53에서 쓰는 뭐 체인 오브 스토리 이런 개념 있잖아요. 체인 오브 스토리가 이제 제가 말씀드리죠. 에서도 이렇게 얘기하면은 이 중간에 이렇게 주주주, 내가 말도 안 했는데 자기가 이렇게 생각하는 것처럼 생각의 꼬리에 꼬리를 엮어 가지고 이렇게 임베딩 데이터들을 그리고 단어들을 쫙 생성한 다음에 요걸 토대로 해서 다시 프롬프팅을 되새김질에서 넣는 요런 과정을 거치지 않는 건 아닙니다. O3에서 이렇게 여러 가지가 나온다고 했잖아요. 이게 애초에 그냥 "What a beautiful world" 만 쳤는데 자기가 알아서 이렇게 쭉쭉쭉 생산하잖아요. 이렇게 넣으면은 더 대답을 잘하니까 이런 거를 체인 오브 스토리를 똑같이 GPT 4.5도 반영을 하긴 했어요. 근데 이렇게까지 길게 리즈닝을 하는 정도는 아니고 적용을 하긴 하는데, 제가 아까 말씀드렸다시피 이 수학이나 뭐 사이언스, 코딩 같은 거, 여기도 이제 아까 예시하고 다른 게, 다른 게 나왔는데, GPT 4.5가 79점을 받았다. 근데 O1 83점, O3 미니 92점 이렇게 높게 나오고 하는데, 얘는 수학, 사이언스, 코딩은 잘 못 하는데, 딴 걸 잘한다. 약간 이렇게 말씀을 드렸잖아요. 얘네도 체인 오브 스토리 개념을 쓰긴 쓰는데, 원래 다양한 논문들이 있죠. 이런 논문 같은 경우에도 체인 오브 스토리 이게 리즈닝 하게 되면은 성능이 굉장히 잘 나온다. 이런 얘기를 하고 싶은 건데, 제가 에도 이거 한번 소개를 해 드린 적 같은데, 스탠다드 프롬프팅 대비해서 체인 오브 스토리를 하면 상당히 쫙쫙쫙 올라가잖아요. 뭐 GSM, 8K 이런 것들. 그러니까 수학, 논리, 코딩 문제들이 GPT 4.5가 아직 대답을 잘 못 할 수 있는 게, 걔네들이 일단 언어적으로 어떤 연관성에 관련해서 얘기를 하는 거지, 단계 단계별의 이 리즈닝 과정을 거치지 않기 때문에, 체인 오브 스토리를 쓰다 하더라도 리즈닝 모델에 대비해서는 이 수학, 논리, 코딩 같은 것들이 결국 다 프롬프트로 쫙쫙쫙 펼쳐 가면서 중간중간 논리를 이어주는 역할을 해 주는 역할인데, 그게 빠지다 보니까 GPT 4.5가 약할 수 있다라는 거예요. 그러면서 GPT 4.5에 못 해요. 이렇게 그냥 의문을 가지지 마시고, 얘는 다른 쪽에 특화된 모델이라고 이해를 하시면 돼요. 대신에 얘가 법률 AI, 자연스러운 대화라든가 아니면 감성적인 응답이라든가 뭐 창작 글씨 이런 거를 되게 잘한다라고 주장을 하고 있는데, 실제로 써 보신 분들도 그런 얘기를 하고 있어요. 당연히 제가 이걸 왜 그렇게 했다고 했습니까? RHF, 사람이 직접 피드백을 줬다고 했죠. 야, 이게 뭔가 사람 같아. 사람이 얘기하는 거 같네. 야, T가 아니라 F처럼 대답을 하네라고 느끼는 것처럼 반응을 해 줬다는 거. 그런 측면에서 보면은 아, 이과, 사이언스, 매스, 코딩 부분은 아주 잼병이지만, 다른 멀티링구얼 쪽은 굉장히 잘하는 아주 멋진 문과 친구가 등장했다. 문과 전교 1등 등장했네라고 보시면 돼요.
그러니까 여러분들이 이제 수학이라든가 코딩이라는 이런 거 쓰시려면 뭐 클로드 손의 3.7을 쓰시던가 아니면은 GPT O3 모델 요런 것들을 쓰시면 되고, 요거는 이제 파운데이션 모델로 이제 멀티링구얼하게 쓸 수 있는 거. 근데 사실 에이전트 모델 식으로 가면은 지금 매스나 코딩 이쪽으로 하시는 분들 말고 실질적으로 AI 에이전트 쪽으로 보면은 멀티링구얼 쪽이 좀 더 강력하면 좋은 것들이 많겠죠. 아무래도 작가나 디자이너, 뭐 마케팅 전문가들이 뭐 수학이나 코딩보다는 이 멀티링구얼 쪽, 이런 것 쪽에서 좀 더 프렌드리하게 생성할 수 있는 것들이 훨씬 더 도움이 되지 않겠습니까. 훨씬 더 인터랙티브하게 스토리텔링 해 주고, 뭔가 브레인스토밍 좀 잘해주고 이런 것들 전부 다 약간 이게 언어적인 감각 쪽이기 때문에, 아, 이거 약간 이제 문과 출신들이 좀 잘할 것 같다라고 이해를 할 수 있는 부분들이 있겠죠. 거기다가 뭐 고객 서비스라든지 뭐 감성적으로 이렇게 상담하는 거 이런 것들도 대응을 할 때 이런 뭐 코딩, 뭐 수학, T 발놈 이 T의 성향을 가진 사람들이 하는 게 아니라 문과적인 성향이 충만한 애들이 더 잘할 수 있으니까, AI 에이전트 기준으로 봤을 때는 훨씬 더 좀 더 잘할 수 있지 않을까 기대할 수 있는 부분들이 있고요. 특히나 이게 언어 모델을 다 이렇게 여러 가지 합친다는 입장에서 봤을 때는 링구얼, 그러니까 언어적으로 이해를 잘할 수 있는 애가 훨씬 더 통합을 잘할 수 있겠다라고 하는 부분들이 있겠죠. 그러니까 인간 중심의 어떤 감성적으로 상호 작용을 해야 될 부분에 있어서는 GPT 4.5 같은 스텝이 필요하다는 거죠. GPT 5도 이제 곧 한 3, 4개월이면 나온다라고 듣고 있는데, 근데 이게 이제 문제가 있습니다. 지금 초기에 GPT 4.5가 이 아키텍처, 뭐 분산 학습이라는 뭐 퀀타이제이션 잘 적용해 가지고 효율을 한 배, 효율을 향상시켰다는 말이 있었는데, 이게 좀 삭제됐다고 얘기가 있고 좀 정확하지가 않아요. 근데 이것저것 떠나서 가격표를 보시면 바로 느껴지시죠. GPT 4.5 프리뷰 같은 경우에는 지금 입력이 75달러인데, 다른 애들이랑 비교하면 너무 비싸잖아요. 51도 비싸다고 했거든요. 야, 51, 53 뭐 이런 것도 비싸다고 해 가지고 51이 15달러였는데, 이것보다도 다섯 배 많다. 그다음에 아웃풋도 굉장히 높다. 이게 추론 모델로서 굉장히 큰 파라미터의 모델이다 보니까 GPU 자체도 엄청나게 많이 쓰였다고 얘기를 하고 있어요. 샘 알트먼도 얘기를 하고 있는 게, 자, 4.5 준비가 됐습니다라고 얘기하면서 GPU 모자라다는 얘기를 하고 있어요. 그러면서 수만 개의 GPU 다음 주에 또 이렇게 배치해 가지고 더 추가를 할 거다. GPU 수가 계속 늘어난다는 거죠. 이게 결국은 이게 쓸 수밖에 없는 이 서비스를 제공하는 입장에서는 모델이 크게 나오고 더 발전되게 나오고 사용자들이 늘어나고, 지금 지금 주변에 가족분들 쓰시는 분들 계십니까? 저희 부모님 아직 안 쓰거든요. 그런 사람들까지도 다 쓰기 시작하면은 이 GPU 지금 늘어날 수밖에 없죠. 어떻게 보면은 그런 상황에서 챗GPT 한 달에 20달러 주는 거 있잖아요. 저는 그거 쓰고 있는데, 그거 쓰는 사람들은 다음 주부터 제공한다고 하고, 프로 모드 쓰시는 분들은 지금 200달러 쓰시는 분들은 지금 바로 쓸 수 있다라고 얘기를 하고 있으니까 써 보시면 되겠고요. 자, 이게 얼마나 감성적인지 또 평가하신 분이 계신데, GPT 4.5 기준으로 굉장히 외향적이고 뭔가 굉장히 동의적, 호의적이고 약간 이런 얘기, 오픈되어 있고 이런 것들에 대해서 수치가 굉장히 높다라는 걸 얘기를 하고 있는 거예요. 그리고 4.5 같은 경우에는 뭐 나르시시즘, 내가 다 알아, 약간 이런 느낌. 그 사이코패스, 사이코 같은 느낌. 마키아벨리즘, 약간 전투적인 이런 약간 이런 느낌, 이런 수치를 좀 보면은 낫다라는 거죠. 다른 모델에 비해서 확실히 이 RHF, 이 얼라인먼트를 잘해 줬다. 이 노가다로 막 해 주면은 아무래도 그런 부분들이 개선될 수 있구나라는 부분들이 있는데, 반면에 이걸 하기 위해서는 그냥 파라미터 늘리는 것만으로는 이 스케일링 법칙을 따라서는 역시 그 일리야 수츠케버가 얘기를 했듯이, 그리고 지금 메타의 이 수석 과학자 아시죠? 야루 콘이 늘 말씀하셨다시피 트랜스포머 갖고 안 돼라고 하는 것들에 어느 정도 신빙성이 있지 않나라고 생각하는 부분들이 있습니다.
그런데 요런 것도 있어요. 이분 같은 경우에는 MD, 그러니까 의사 선생님이신데, 이런 뭐 초음파 이런 사진 같은 것들을 GPT 4.5가 훨씬 더 해석을 잘한다라는 얘기가 있습니다. 이것도 피드백을 잘 줘서 그런가 싶은데, 그러니까 3랑 클로드 3.7, 손의 재미나 2.0, GPT 4, O3 미니까지 다 비교를 했는데, 프로브를 했는데, 얘네들은 정상적인 임신이라고 진단했다. 실수로. 근데 이게 정상적인 이미지가 아닌가 봐요. 이게 뭐 뭐 이 평가를 해보라 했는데, 뭔가 좀 문제가 있다라고 이제 제대로 평가를 해 주는 거를 야, 이 정도면은 진짜 이거 의사를 대체를 할 수도 있겠구나. 특정 부분에 대해서는 뭐 그런 얘기도 생각들 수 있잖아요. 점차 발전이 되어 가고 있는 부분들이 좋은 평가가 있다라고 하는 부분도 이해를 하시면 되겠고. 여튼 이 GPT 4.5와 관련해서는 즉각적으로 대답을 해 주는 이런 챗봇 모델 기준으로 해 봤을 때 인간과 원활한 상호작용을 잘 할 수 있는 점에서 좀 더 신경을 썼다. 그거를 RHF, 얼라인먼트로 소형 모델을 이용해 가지고 계속 이렇게 빨리빨리 이렇게 뽑아낼 수 있으니까 그렇게 훨씬 더 이게 빡세게 돌렸다라고 하는 부분. 그리고 여러분, 추론 모델이라고 해서 그 추론이 인퍼런스가 아니라는 거 기억하세요. 리즈닝입니다. 리즈닝. 한국에서만 똑같이 추론 모델, 추론이라고 인퍼런스를 동시에 쓰고 있다라고 하는 부분 주의하시고, AI 에이전트 모델이 확정될 때 이 모델이 훨씬 더 더 잘 사용할 수 있겠구나라는 부분들 짚고 가시면 좋겠습니다.
코딩 후드 집어. 이거 우리 안대가 랩장님이시고 직접 이렇게 입어 가지고 찍어 주셨는데, 어, 이거 집어 후드 많이 팔리고 그래서 또 팔릴 것 같아서 많이 샀는데 별로 안 사시더라고요. 아시는 분들 단체티로 원하시니까 관심 있으신 분들은 어 좀 구매 부탁드리고요. 안델 공학 해외 채널 지금 구독자 1,000명을 넘어 가지고 열심히 달리고 있으니까 영상이 편하신 분들 또 주변에 또 많이 소개해 주세요. 어, 유튜브가 이게 먹고 살기가 참 쉽지 않습니다. 이게 뭐 얼마나. 인스타그램 통해서도 짧은 소식들 이렇게 받아 가시기 바랍니다. 지금까지.