사진 한 장으로 제 인생을 영화로 만들었습니다 (전 과정 공개)

그리고 몇 년 후에 이렇게 유튜버가 돼서 이렇게 영상을 찍고 있죠. 여러분 반갑습니다. 오늘은 제가 앞서 보여드린 영상처럼 AI로 인생 영화를 만들 수 있는 방법을 소개해 드리려고 합니다. 요즘 AI로 영상 만드는 거 진짜 잘 된다는 말은 많이 알고 계시죠? 하지만 이거를 하나하나 어떻게 하는지 설명해 주는 영상은 많이 없는 것 같아서 제가 이번 기회에 Higgsfield랑 Claude, Fable 사용해서 어떻게 하면 이렇게 고퀄리티의 영상을 쉽게 만들 수 있는지 하나하나 설명해 드리는 시간이 될 것 같아요. 그리고 영상 마지막에는 이 모든 자료들을 한 페이지로 공개를 할 테니까 끝까지 함께해 주시면 좋을 것 같습니다. 그럼 바로 한번 보실까요?

그래서 내 인생을 픽사 영화로 AI 1분 영화 제작 A부터 Z까지 이 자료를 하나 준비를 했는데 이거 제가 링크 아래 하단에 첨부해 드릴 테니까 참조해 주시면 좋을 것 같고요 이 모든 과정을 한번 담아봤어요. 이게 진짜 다시 봐도 퀄리티가 진짜 좋게 나온 것 같은데 꽤 마음에 들었던 것 같거든요. 이거 만드는 데 걸린 시간은 몇 시간 안 됐던 것 같아요. 정말 그냥 콘셉트 잡고 스토리보드 만들고 영상 개요 조금 설명을 하고 그리고 보이스오버 하고 자막 넣고 이미지 몇 개 만들고 이런 과정들이 있었는데 보통 이렇게 영상 제작에 있어서 사람들이 잘 모르잖아요. 그래서 저도 잘 몰랐고 그래서 저도 여기저기서 주워 담은 그런 정보들 그리고 테스트해보면서 가장 잘 된다고 판단했던 것들을 여기에 조금 담아봤는데 그리고 영상을 만드는 게 워낙에 돈이 좀 많이 들어가는 일이다 보니까 이거를 조금 효율적으로 어떻게 쉽게 만들 수 있는지 정리를 해봤어요. 영상 자료고요.

첫 번째가 바로 이거였습니다. 가장 먼저 이 영상을 만들기 위해서는 스토리가 중요하죠. 그래서 스토리를 따오는 게 되게 중요했고 그래서 이렇게 꽤나 완성도 있는 영상을 만들기까지 한 몇 시간이 걸렸는데 그거의 가장 첫 번째는 역시 스토리. 스토리를 짜는 거죠. 그래서 이 스토리를 먼저 가져와야 되는데 당연히 프롬프트로 Claude랑 이렇게 주고받으면서 만들 수가 있지만 저는 영상을 하나 따왔어요. 사실 제가 제 얘기를 조금 했던 영상이 하나 있거든요. 2년 전에 올린 건데 이게 제가 ChatGPT 나오기도 전에 올린 영상이었는데 이 스토리를 그래도 생각보다 많이 좋아해 주셔서 이거를 가지고 제 인생을 담은 조금 짤막한 그런 영화에 대한 시놉시스를 한번 만들어 봤습니다. 그래서 이 영상 짧게 설명드리자면 제가 좀 자취가 있었다, 이런 얘기인데 어렸을 때 조금 이렇게 자신감이나 자존감이 좀 낮은 상태에서 여러 가지로 고민을 하다가 성공을 하려면 진짜 열심히 살고 경쟁하면서 살아야 되겠구나라는 그런 마음을 가지고 제 유학 학생 시절을 이렇게 보낸 다음에 그러고 나서 실리콘밸리 개발자가 됐는데도 행복하지 않았고 그래서 그거의 이유가 뭔가 항상 이기려고 하는 것들이 나를 더 행복하게 만들어주지는 않는구나라는 것들을 친구들을 통해서 깨닫고 사람들의 곁으로 왔다, 이런 건데 그거를 이제 짤막한 그런 1분짜리의 영상 시놉시스로 만들기 위해서 일단 Claude한테 이 링크를 던져줬죠. 이런 영상이 있는데 내 인생을 조금 담았으니까 한번 참고해서 알아줘 봐 영상의 그런 스토리를 만들어줬고요. 이것도 하나씩 살펴볼 거예요.

그리고 그다음에는 이제 이 콘셉트를 조금 만들어서 무드 보드 같은 것도 좀 얘기를 해볼 건데 그런 무드 보드를 만드는 과정도 조금 있었지만 사실 바로 캐릭터 생성으로 들어갔어요. 왜냐하면 캐릭터를 보면 그 캐릭터에 대한 그런 스토리들이 같이 이렇게 스타일로 나오기 때문에 그래서 여기 보시면 이제 알렉스가 8살 때, 제가 어렸을 때는 이렇게 처비(chubby)하고 조금 좀 찌질한 그런 모습을 조금 표현하려고 했는데 이렇게 좀 귀엽게 나온 것 같기는 해요. 그래서 이제 16살 때는 사립학교를 들어가서 어떻게 고군분투를 하긴 했는데 되게 이렇게 열이 바짝 오른 그러한 저의 모습을 좀 보여주고 있고 이 알렉스 30살에는 이건 조금 미화가 된 것 같기는 한데 하여튼 후디 입고 개발자 하는 안경 동그란 거 쓰고 이런 것들을 이렇게 넣어줬죠. 스토리를 만들기 위해서는, 그리고 이렇게 잘 짜여진 영상을 만들어 나가기 위해서는 이 Character Consistency, 캐릭터의 일관성이 되게 중요해요. 그래서 어떻게 보면 이 정체성과 이 스토리 자체가 사람 중심의 스토리로 나아가다 보니까 가장 먼저 하는 게 캐릭터 설계인 것 같아요. 근데 캐릭터는 사실 하나의 캐릭터고 그거에 대한 이미지를 이렇게 나이에 따라서 분석을 해가지고 이거를 하나씩 저장을 시킨 거죠. 그리고 참고로 이거 나중에 다 같이 한번 해볼 거니까 조금 빨라도 걱정 안 하셔도 될 것 같고.

그다음에 이제 이안이라는 친구가 있는데 저에게 뭔가 깨우침을 준, 제가 너무나도 좋아하는 형이거든요. 그래서 그 형이 이런 거 입고 다니기도 하는데, 사실 좀 비슷하게 나온 것 같아요. 저는 이 사람에 대한 얼굴을 전혀 설명을 하지 않았음에도 불구하고 이렇게 나오기는 했는데, 그 친구도 이렇게 캐릭터로 만들어서 이런 것들을 만들었고.

그다음은 무엇을 해야 되냐. 이 무드 보드 자체, 그러니까 이런 씬(scene)이라든지 이런 몇 개 스티커를 만들어주고 사실 그거보다 더 중요한 건 키 프레임을 먼저 만들어주는 게 중요합니다. 그래서 이거를 보통 스토리보드라고 얘기를 많이 하는데, 이거를 그냥 한 번에 뽑았다고 저는 알고 있거든요. 이거 워낙에 너무 처음부터 끝까지 자동화로 해버려서 그 중간 과정을 제가 검수하는 과정이 좀 있었지만, 기본적으로 몇 장을 뽑은 다음에 아예 "한 장을 만들어 줘"라고 했는데 이게 그냥 바로 나왔어요. 그러니까 어떻게 보면 참 재밌는 게 스토리가 있고, 캐릭터가 있고, 대충의 그런 컨셉 보드가 있으면 그다음 스티커 스토리보드 만드는 거는 생각보다 되게 금방 이렇게 딸깍 나올 수 있다. 그다음에는 미세 조정이 들어가는 거죠. 근데 저는 기본적으로 이거를 일러스트레이션을 위해서 이렇게 쭉쭉 뽑았던 건데 생각보다 너무 퀄리티가 잘 나와서 그냥 바로 쓸 수가 있었고요.

그래서 이렇게 스토리가 나온 다음에는 당연히 영상을 만들어야 되는데 여기서 되게 중요한 게 하나 있습니다. 바로 목소리부터 만들어야 된다는 거예요. 사람들이 이거를 많이 안 하고 영상으로 바로 들어가는 경우가 있는데 사실 이 영상을 만드는 것 자체가 우리가 Higgsfield를 써서 영상을 만들 건데 보통 몇 초짜리 영상을 만들지 얘가 정해주거든요. 근데 그게 타이밍이 조금 안 맞을 때가 있어요. 왜냐하면 영상을 5초짜리를 만들었는데 내레이션을 바꾸고 싶었던 거죠. 그래서 내레이션이 바뀌면 영상 초 단위의 길이가 안 맞으니까 다시 만들어야 되는 이러한 과정들을 제가 많이 반복했다 보니까 제일 중요한 게 이 스크립트부터 만드는 게 제일 중요하구나. 그러니까 당연히 내레이션이 없는 경우에는 바로 만들어서 들어갈 수도 있겠죠. 하지만 저는 기본적으로 독백 내레이션을 원했기 때문에 일단 가장 먼저 대본을 만들어야 되는구나. 그리고 그 대본에 맞춰서 보이스를 만들어야 되는구나라는 것을 깨달았습니다.

가장 그다음에 했던 게 이 대본을 만든 거였고요. 이렇게 초안을 18줄을 만든 다음에 그걸 당연히 Claude와 왔다 갔다 하면서 Claude 스킬 중에 이 윤문 스킬도 하나 있거든요. 이 윤문 스킬은 어감을 AI가 아닌 사람처럼 만들어주는 그런 스킬인데 그것도 나중에 다 공개를 할게요. 그걸 해서 스크립트를 돌린 다음에 바로 제가 녹음을 할 수도 있었겠지만 저는 사실 보이스 클로닝을 해보고 싶었어요. 그래서 ElevenLabs라는 툴을 사용을 해서 제 목소리를 딴 보이스 클론을 가지고 이렇게 영상을 만들었었죠. 그러면 이제 대본을 가지고 바로 AI를 통해서 영상 음성까지 내레이션 음성까지 바로 따올 수가 있었어요. 그래서 그거에 대한 영상도 보여드릴 수 있을 것 같은데.

음성까지 나온 다음에는 음성에 대한 대본의 길이가 정해져 있다 보니까 예를 들어서 가장 첫 컷은 6초짜리. 그러면 6초짜리 영상을 만드는 거죠. 그리고 그다음 대본은 예를 들어서 3초짜리다. 그러면 3초짜리 영상을 또 만들고 그다음에 영상이 나왔을 때는 대본별로 영상의 길이를 만들어서 그거에 대한 영상 제작을 시작을 한 거죠. 이런 식으로 했다고 보시면 될 것 같고요.

그다음에 이게 조금 중요한 건데 일단은 영상을 만들 때 우리가 마지막 영상을 만드는 게 아니잖아요. 이게 영상이 잘 안 흘러갈 수도 있단 말이에요. 그래서 보통 샘플 영상을 먼저 만드는 편이에요. 그래서 저해상도 480픽셀로 만들어서 일단 간을 보는 거죠. 아 영상이 이렇게 나오는구나. 이런 이미지, 이런 대본에 이런 보이스로 이렇게 나올 수 있겠구나. 해서 480p로 하면 비용도 저렴하고 그리고 금방 나옵니다. 영상 제작이 되게 금방 돼요. 그래서 보통 이렇게 480픽셀로 만들었는데 한번 보실까요?

저는 한때 죽고 싶을 만큼 불행했습니다. 제가 잘하는 건 게임 딱 하나였거든요. 현실보다 게임 속이 더 아름다웠어요. 너무 못났어라는 말을 그대로 믿었죠.

이렇게 나오는데 근데 딱 들으셔도 아시겠죠? 이 보이스가 잘못됐다. 이거는 제 생각에는 이 보이스를 하기 전에 대본을 짠 다음에 그냥 바로 영상 만들었던 건데 그다음에 깨달았던 것 같아요. 이 보이스 일관성이 안 되는구나. 그러면 사실 보이스 일관성을 만들 수 있는 이 모델을 돌릴 수도 있지만 이거는 그냥 바로 Higgsfield에서 만든 것 같고 보이스 consistency를 위한 ElevenLabs API를 사용할 수도 있고. 네.

그래서 샘플 영상을 만들었는데 사실 이 샘플 영상은 아예 보이스를 안 하고 만든 샘플 영상이었어요. 근데 보시면 아시겠지만 이 보이스가 너무 왔다 갔다 하잖아요. 전혀 일관성도 없고 제 보이스도 전혀 아니고. 그때 깨달아서 보이스 클로닝을 먼저 하고 그다음에 내레이션을 덮어야 되는구나. 그래야 이 스토리가 일관성 있게 들릴 테니까. 이제 이 480 픽셀 해상도 영상을 가지고는 샘플이 이 정도로 나왔으니까 이렇게 수정을 가면 되겠다. 아니면 이거 그대로 가면 되겠다. 이런 바이브를 체크를 하는 거라고 볼 수가 있고요.

일단 보이스 오버 한 거 보여드릴게요. 그래서 가장 처음에 만들었던 게 바로 이거였어요.

듣고 싶을 만큼 불행했습니다. 제가 잘하는 건 게임 딱 하나였거든요. 현실보다 게임 속이 더 아름다웠어요.

그래서 이렇게 나왔는데 들어보시면 아시겠지만 이게 톤이 너무 신난 거죠. 너무 신나서 이거는 안 되겠다. 그래서 방법이 두 가지가 있는데 톤을 바꿔서 좀 더 차분한 톤으로 제가 대본 같은 거를 읽어서 그거를 클로닝을 해서 새로 만드는 방법이 있고, 아니면 그냥 이건 제 목소리니까 그냥 바로 제가 녹음을 할 수도 있었겠죠. 근데 저는 그래서 이번에는 그냥 제가 직접 녹음을 해서 조금 더 진정성 있고 일관된 그런 스토리 내레이션을 했던 것 같아요. 근데 물론 당연히 다른 보이스 모델을 쓸 수도 있고, ElevenLabs에 원하는 목소리가 없다면 Typecast라는 앱을 써서 할 수도 있고, 여러 가지를 할 수 있겠는데 그런 식으로 합치기 시작했고.

그리고 마지막으로는 Suno로 배경 음악을 얹어서 한층 더 그 분위기와 톤을 살리는 퀄리티 있는 영상을 만들 수가 있었습니다.

그래서 기억할 일곱 가지를 조금 짧게 설명을 드리자면 목소리보다는 사실 대본 먼저 돼야 된다고 생각하고, 그래서 그 길이를 가지고 영상을 만드는 게 중요하다. 그리고 영상을 만들 때는 480 픽셀로 먼저 영상이 어떻게 나올지 체크를 하는 게 중요하다. 그러면 빨리 나오고 돈도 아껴서 만들 수가 있고. 그리고 캐릭터를 만드는 게 되게 중요하다 보여드리고요. 캐릭터를 만들면 일관성뿐만 아니라 전체적인 영화의 톤과 바이브, 무드 같은 거를 다 체크를 할 수 있겠죠. 결국 스토리텔링이 되는 영상이다 보니까. 그리고 그다음에 중간 과정은, 이거는 제가 피드백을 줬던 건데 "이 영상은 이게 별로야." "저거는 저렇게 해줘." 이런 식으로 피드백을 준 거를 얘기하는 거고. 이 "전부 기록하라"라는 거는 Claude에다가 여러 가지를 넣어가지고 이렇게 쓴 거를 말씀을 드리고, 음악도 "맥락에서 골라라." Claude 써서 다 만들었죠. 전체적인 툴과 시퀀스를 알고 나머지는 Claude를 다 쓰면 된다. 그리고 당연히 Higgsfield를 쓰면 이 모든 것들이 엄청나게 쉽게 가능하다.

그래서 이번에는 Higgsfield 그리고 Claude를 써서 직접 영상을 만들어 보는 시간을 가져보도록 하겠습니다. 그래서 가장 먼저 이거를 보여드릴 거예요. Higgsfield MCP. 이게 뭐냐면, Higgsfield라는 앱을 잠깐 설명을 드리자면, 이거는 콘텐츠 제작에 필요한 거의 모든 툴들이 있다고 보시면 돼요. 이미지 만드는 거, 이미지 에디팅하는 거, 라이트 수정하는 거, 인페인팅 하는 거, 그리고 비디오도 비디오 에디팅하는 거, 텍스트로 비디오 만드는 거, 이미지로 비디오 만드는 거, 비디오로 비디오 만드는 거, 여러 가지가 되고 심지어 오디오 모델 같은 것도 있어요. 구독 같은 거를 우리가 많이 고민을 하잖아요. "영상 만드는 거 Seedream이 좋다던데 Seedream 구독해야 되나?" "Kling이 좋다던데 Kling 해야 되나?" 그런 고민할 필요 없이 그냥 이거 구독하면 걔네들을 다 쓸 수 있으니까 그게 가장 좋은 강점이라고 생각을 하고. 두 번째는 이 모든 게 Claude와 연동이 너무나도 쉽게 되어 있다. 그 연동을 해주는 게 이 MCP라는 거거든요. 이렇게 Custom Connector라는 게 나오거든요. 정말 너무 쉬워요. 이게 되고 나면 그냥 Claude에서 바로 되거든요. 그래서 예를 들어서 Claude 세션이 있다 했을 때, 바로 이렇게 될 수가 있는 거예요. "Higgsfield MCP 써서 우리가 영상이랑 이미지 만들 수 있나 확인해 줘." 이렇게 하면, 이거 알아서 오타 수정이 될 것 같은데 Higgsfield 연결되어 있는지 확인해 본다고 하죠. 아까 그 연결을 시켰으면 얘도 자동적으로 될 거라고 알고 있어요. 그래서 "툴 스키마들을 로드하고 쉴드를 응답하는지 테스트한다." 그랬더니 "Calling Higgsfield multiple times" 이런 거 나오면서 이게 연동이 됐는지 안 됐는지 확인을 해줄 거예요. 그러면 이렇게 된다고 하는 거잖아요? 그러면 이렇게 해볼 수 있을 것 같아요. "그러면 Higgsfield MCP 써서 멋진 AI 영화 스틸컷 이미지 하나 만들어 줄래? 그리고 그 파일 열어줘." 그랬더니 이런 이미지가 나왔죠. 영화 스틸컷의 아름다운 이미지로 조금 수정을 해서 해달라고 했는데, 처음에는 사실 소울 시네마를 만들어서 조금 저해상도 이미지가 나와서 좀 더 아름다운 이미지, GPT Image 2 써서 만들어 달라고 했더니 바로 이렇게 이미지가 나와서 파일이 열렸습니다. 이렇게 그냥 Claude에서 Higgsfield를 쓸 수 있다는 가장 큰 장점이 있고요.

그렇다면 이제 저는 어떻게 Claude를 써서 이 모든 것들을 조금 체계적으로 만들었나 잠깐 보여드릴게요. 그래서 사실 저는 이 Claude Fable을 가지고 저를 위한 크리에이터 스튜디오라는 것을 만들었어요. 이게 만약에 반응이 좋으면 이것도 한번 공개를 하는 것을 고민을 한번 해보도록 하겠습니다. 그래서 어차피 Claude 구독료 쓰고 Higgsfield로 구독료를 쓰는 거다 보니까 조금 이렇게 걱정 없이 만들 수 있겠고, 그냥 컴퓨터로 내 브라우저 내가 띄워서 하면 되겠다 싶었거든요. 그래서 이거 로컬로 돌리고 있어요. 이게 웹사이트를 deploy한 게 아니라 로컬로 만들고 있는데 여기 보시면 여러 가지가 있어요. 처음에 이렇게 스토리를 만들어서 아까 보여드렸던 두 번 체크라는 영상 스토리 가이드라인을 만들었고요. 팔레트, 컬러 같은 거 이런 거 있고, 그다음에 캐스팅 같은 거를 해가지고 제 어린 시절, 16살 때, 30살 때, 그리고 제 친구 이렇게 넣은 것을 볼 수가 있고. 그다음에는 신이 들어가는 거죠. 그래서 신을 들어가기 전에 사실은 스토리보드가 먼저 왔는데 이거 이미지 한 장이에요. 이거를 따닥따닥 붙인 게 아니라 그냥 "한 장짜리 만들어줘." 했더니 이런 게 바로 나온 것을 알 수가 있었고요. 그다음이 사실 이렇게 신을 만드는 거였는데 여기도 밑에 보시면 하나하나가 영상이 만들어진 게 제가 그냥 컴퓨터 파일에 저장이 되어 있는 걸 그냥 이 브라우저에서 띄워서 그냥 제가 보기 쉽게, 검증하고 수정을 쉽게 만든 거예요. 그렇게 아시면 될 것 같고. 여기 보시면 총 overview했을 때 얘네들은 목소리를 만들었을 때 어떤 식으로 나올까, 여러 가지 목소리로 시험을 해보기도 했거든요.

죽고 싶을 만큼 불행했습니다. 제가 잘하는 건 게임 딱 하나였거든요.

그래서 이렇게 다양한 목소리도 시도를 해보고 그냥 Claude를 쓴다면, 그리고 특히 Fable을 쓴다면 모든 것들이 되게 쉽게 가능하다고 생각을 하고, 이것도 어떻게 보면 Claude로 다 만들어서 폴더 관리를 할 수 있었겠지만, 그냥 Claude한테 "나 웹사이트로 띄워줘서 네가 내가 쉽게 검증할 수 있게끔 만들어줘." 그래서 오늘도 Claude로 이 프로젝트를 열었으니까 하나씩 새로 만들어 보자, 이런 식으로 해볼 겁니다.

그래서 오늘 여러분들이랑 같이 만들어 보고 싶은 거는요 뭔가 여러분들이 쓰실 수 있을 것 같은 그러한 영상을 하나 만들어 볼까 해요. 그냥 머릿속에 떠오르는 영상 같은 거 하나 떠올려서 프롬프트로 만들어 보도록 하겠습니다. 그러면 이제부터 우리가 이 Creator Studio를 써서 새로운 프로젝트를 하나 만들어 볼 건데, 어떤 거를 해보면 좋을 것 같냐면, 한 남성과 여성의 만남을 시작해서 영화처럼 만나서 결혼까지 골인하게 되는, 프로포즈에 쓸 수 있을 것 같은 영상을 살짝 디즈니, 픽셀 분위기처럼 애니메이션으로 퀄리티 있게 한번 만들어 봤으면 좋겠어. 평범한 이야기지만 평범한 이야기도 조금 아름답고 예쁘게 나올 수 있도록 스토리 연출을 잘 해줬으면 좋겠어. 예를 들면 어느 날 카페에서 우연히 스쳐 갔다가 그다음에 어딘가에서 마주쳐서 인사를 나누고 연락처를 알게 됐다가 밥을 먹었다가 영화를 봤다가 그랬다가 고비가 있었다가 그랬다가 나중에 결혼을 하게 되는 그러한 예쁜 스토리를 한번 만들어 보고 싶은데 네가 한번 스토리 잘 구성해 봤으면 좋겠어. 그리고 프로젝트 하나 생성해 줘. 영상 만드는 게 되게 쉬워졌다는 것을 보여드리고 싶었습니다. 그게 Higgsfield랑 Claude를 쓰면 그냥 말만으로도 구현이 가능하다. 근데 사실 이게 구현은 가능하고 이 맥락을 쌓는 거는 사실 쉬운데 이거를 검수하기가 쉽지 않다 보니까 검수를 위해서 이런 프로젝트를 그냥 만들었는데? 만약에 여러분들이 똑같은 거를 원하신다 하시면 이 프로젝트 스크린샷 찍어서 "이런 비슷한 거 만들어줘" 아니면 "웹사이트로 내가 확인을 하고 싶은데 네가 로컬로 이 파일들 다 올려서 내가 검수할 수 있게 쉽게 만들어줘" 이렇게 하셔도 될 것 같습니다.

일단 어떤 게 나오는지 한번 같이 보시죠. 그래서 프로젝트 생성했다고 하는데 한번 볼까요? 일단 스토리, landscape View로 22 클립, 60초 정도, 디즈니 픽사풍, 4계절 구조를 연출했다. 좋은데요. 봄, 벚꽃 카페, 뒤를 돌던 지호가 서연에게 커피를 쏟는 사고, 사과 대신 웃음이 먼저 다시 만남, 비 오는 서점에서 같은 책 등 위에 겹친 손, 어쩌고저쩌고 다시 봄. 그러니까 한 바퀴를 돌아가지고 만나는 그런 게 있는데, 중간에 고비도 넣고 좋은 것 같은데요. 그래서 프로젝트를 만들었다고 하는데 일단 볼까요? 프로젝트를 만들어 주는 거거든요. 여러분들이 원하는 대로 만들어 달라고 하시면 돼요. 프로젝트를 만들었을 때 스토리 바이블을 만들었으면 좋겠다, 이러한 색상을 넣었으면 좋겠다, 시놉시스가 있었으면 좋겠다, 캐릭터가 있었으면 좋겠다, 여러 가지를 하실 수가 있는데 얘는 그것뿐만 아니라 씬부터 스토리보드부터 이러한 틀을 짜준 것을 볼 수가 있었죠. 이게 그냥 한 번에 나온 거예요.

그러면 그다음에 바로 캐스팅으로 들어가야 될 것 같은데 캐릭터 시트부터 뽑죠. 바로 나왔죠. 뽑으면 좋을 것 같아요. 그래서 캐릭터들이 나왔다고 하는데, 지호 그리고 서연 나왔다고 합니다. 이렇게 되게 깔끔하게 잘 디자인돼서 나온 이미지를 하나 확인할 수가 있고요. 지호 29살이래요. 그리고 그다음에는 서연 28살이라고 하고, 이렇게 또 깔끔하게 픽사풍의, 디즈니풍의 되게 고퀄리티의 캐릭터 이미지를 뽑아낸 것을 볼 수가 있었습니다. 그리고 보면 조금 더 자세하게 설명도 해줬는데 전신 컷부터 표정 스터디, 의상 디테일, 질감, 픽사 이런 거를 여러 가지를 해줘서 나중에 레퍼런스 이미지로 다른 씬들을 만들기 위해서 이렇게 여러 가지 모습을 연출한 것을 볼 수가 있겠죠. 이러한 식으로 여러 가지 모습의 여러 가지 표정들 혹은 다양한 의류, 패션 이런 거를 해줬을 때 더 일관성 있고 조금 더 유용한 이미지들이 스토리보드에 나오는 것 같아요.

그럼 이제 계속해서 스토리보드 시트를 만들어 봐야겠죠? 정말 그냥 말해주는 대로 이렇게만 하는데도 뭔가 차차 잘 진행이 네, 그래서 좀 기다렸더니 이렇게 스토리보드가 나왔다고 말해주고 있습니다. 씬을 하나부터 아홉 개까지 만들었다고 하고, 클립도 여러 가지로 구성을 했고, 봄, 카페, 빗속의 재회, 첫 식사, 영화관, 거기서 서로의 계절까지 딱 만들었다고 했는데 한번 볼까요? 그래서 이렇게 나왔는데, 제가 생각하기에 조금 더 보기 편하게 그다음에는 대본, 그다음에는 씬을 합쳐서 프리뷰를 보고 다 합치는 식으로 구성을 해봤는데 일단 이거 좀 볼게요. 여기 보면 첫 번째 씬 벚꽃 창가의 서연, 커피를 쏟는 지호, 사과 대신 터진 웃음 이런 것들이 나왔는데 우리가 만들었던 캐릭터를 써서 잘 만들어줬죠. 이 서연이라는 캐릭터, 지호라는 캐릭터를 써서 되게 consistent하게 이런 것들을 만들어줬어요. 그래서 여기 보면 클립명이 나오고 그 하나가 전체 씬이 되는 거고 봄의 얼굴 그해 봄 벚꽃보다 먼저 들어온 사람이 있었습니다. 첫 만남은 사실 사고였습니다. 이거는 내레이션으로 하는 거다 보니까 이런 식으로 첫 장면을 만들었고 그다음에는 빗속에서 다시 운명처럼 만나는 거, 우산은 하나여서 같이 쓰고 갔던 거, 그리고 핸드폰 열심히 보는 거 첫 식사, 영화관에서 손, 여름 한강, 가을비, 고비, 그리고 첫눈의 화해, 그리고 프로포즈, 서로의 계절 이런 식으로 되게 예쁘게 디즈니풍, 픽셀풍으로 잘 만들어주고 이 캐릭터 consistency가 엄청나게 잘 나왔죠. 거의 하나도 깨지지 않고 잘 나오게 된 것 같은데, 간단하게 프롬프트만 해줘도 모델이 생각보다 Fable 같은 거를 쓰면, 아니면 Opus, 이제는 5 같은 거를 쓰면 훨씬 더 잘 나오게 되지 않을까 해서 너무 잘 나온 것을 볼 수가 있었습니다.

그럼 이제 대본을 만들어야겠죠. 그래서 사실 이 대본 탭에는 이 모든 거를 스크립트로 대본으로 만들어서 할 수도 있고, 아니면 여기에 있는 대본을 합쳐서 만들어 달라고도 할 수 있을 것 같은데 일단은 이 대본 하나하나마다 보이스를 한번 만들어 보면 좋지 않을까 생각을 합니다. 그리고 여기는 시간이 이렇게 나왔는데 사실 시간은 조금 잘못됐다고 생각을 하고 시간은 대본에서 뽑은 걸 가지고 영상으로 붙여야 되니까 이거는 없애달라고 얘기도 해야겠네요. 일단은 대본을 만들어 볼 건데 그러면 대본을 만들 때 저는 보이스도 그냥 한 번에 만들어서 줄일 수 있으니까 그럼 보이스를 어떻게 만드냐 이제 ElevenLabs의 API를 쓸 건데요. 보이스 기능이 있습니다. Higgsfield에서 바로 이 오디오 기능을 쓸 수도 있거든요. 하지만 저는 조금 더 탐구하고 만들어내기 위해서 ElevenLabs API를 그냥 바로 쓰는 건데, 여기서 원하는 보이스를 찾아서 쓸 수도 있습니다. 만든 거를 또 보여주고 있죠. 이게 제가 전에 만들었던 영상들 보이스 같은 건데, 그래서 이거를 써서 또 만들 수도 있겠지만 저는 제가 원하는 보이스를 여기서 찾아서 덮어씌울 거라고 얘기를 해볼 거예요. 그중에는 이 Jason이라는. 다시 한번 들려드릴게요.

안녕하세요. 독백 인사합니다. 여러분들과 소통할 수 있게 되어 매우 반갑습니다. 제 목소리를 선택하셔서 콘텐츠의 퀄리티.

이 목소리가 좀 좋다고 생각을 해서 이거를 쓸 건데 그러려면 어떻게 하냐 보이스 ID를 따와서 만들어 달라고 하면 될 것 같습니다. 그럼 이제 스토리보드 완성이 됐으니까 다음에는 우리가 대본을 가지고 보이스를 만들 거야. 근데 이 대본들을 하나로 다 합쳐서 스크립트를 또 만들어주고 그리고 각 대본마다 보이스를 만들어서 음성을 생성해 줬으면 좋겠어. 음성 파일을. 그래야 그 음성 파일에 대한 시간을 가지고 우리가 영상을 뽑을 수 있으니까. 근데 이 음성을 만들 때 다음으로 내가 주는 ElevenLabs 보이스 ID를 써서 만들어줬으면 좋겠어. 잘 수행해서 끝나면 알려줘.

네, 그래서 대본이 나왔다고 하는데 한번 바로 가보도록 할까요? 이렇게 쭉 대본이 나왔고 그 해 봄, 이제부터 시작입니다 이렇게 했고, 하나씩 보이스가 생성된 것을 볼 수가 있었는데요. 어떻게 나왔는지 탭으로 돌아가서 보도록 하겠습니다. 그래서 내레이션 탭으로 왔더니 이런 식으로 됐죠. 이렇게 대본 스크립트가 일단 먼저 나왔고요. 그래서 씬 하나, 둘, 셋. 물론 우리에도 비가 왔습니다. 그리고 달려갔습니다. 그리고 여기는 이제 지호, "서연아 미안해" 이런 게 나왔는데 이거는 아무래도 대사인 것 같죠. 나머지는 독백이고. 그래서 어떻게 만들었는지 한번 보도록 할게요.

그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 첫 만남은 사고였습니다. 미안하다는 말 대신 웃음이 먼저 나왔죠. 운명이었을까요? 비 오는 서점에서 다시 만났습니다.

너무 잘 나왔는데요. 이 보이스 그대로 잘 쓴 것 같죠. 그래서 이런 식으로 진짜 그냥 "딸깍, 보이스 만들어 줘" 했더니 나온 것을 볼 수가 있었고요. 립싱크로 한다고 나온 것 같은데 나중에 또 어떻게 처리하는지.

그러면 그다음에는 이제 씬을 만들어야겠죠. 어떻게 할 거냐면, 이 보이스로 나온 3초짜리, 4초짜리 이런 것들을 가지고 정확하게는 이런 숫자가 나올 것 같은데, 넉넉하게 영상들을 480 픽셀로 만들어서 저희에게 보여주는 그러한 작업이 필요할 것 같은데, 바로 또 한 번 영상을 생성해 달라고 하고 여기 바로 나오네요. 이제 480 픽셀 프리뷰 영상 뽑아줘 치도록 하겠습니다.

그 해 봄, 벚꽃보다 먼저.

네, 그래서 기다렸더니 완료가 됐다고 하는데 480 픽셀 프리뷰로 렌더를 한 이유는요 FHD 아니면 4K 같은 거로 만들면 토큰도 많이 나가고, 돈도 많이 나가고, 그리고 엄청나게 오래 걸려요. 그래서 먼저 이렇게 프리뷰로 쭉 뽑은 다음에 고칠 거 있으면 고치고 하고자 하는 작업이거든요. 또 어떻게 나왔는지 한번 보도록 하겠습니다. Scene이랑 Clip이라는 탭이 생겼는데 하나는 영상을 크게 보게 하게 한 거고 하나는 그거에 대한 영상을 만들기 위해서 어떠한 컴포넌트가 들어갔는지 제가 조금 얘기를 해봤었어요.

그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 그 만남은 사고였습니다. 미안하다는 말 대신 웃음이 먼저 나왔죠. 그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 그 만남은 사고였습니다.

네, 그래서 한 10분 정도 기다렸더니 이 모든 영상들이 나왔다고 22개 클립이 전부 나왔다고 하고요. 세그먼트 1부터 7까지 봄 카페부터 엔딩까지 나왔다고 하고, 특히 어디가 잘 나왔다고 하는 것도 얘기해 주고 있는데 클립이 나온 것을 볼 수가 있었습니다. 클립 1부터 클립 22까지 나왔죠. 근데 딱 봤을 때는 되게 잘 나온 것 같아요. 아무래도 키프레임을 잘 골라서 썼다 보니까. 그래서 이거를 보면 하나씩 볼 수가 있는데 이거를 다 합쳐서 플레이해 주는 영상을 위에 만든 것 같으니까 한번 보도록 하겠습니다.

그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 첫 만남은 사실 사고였습니다. 미안하다는 말 대신 웃음이 먼저 나왔죠. 운명이었을까요? 비 오는 서점에서 다시 만났습니다. 우산은 하나였고 그걸로 충분했어요. 그날 밤, 옆자리 수찬을 100번쯤 들여다봤습니다. 처음 함께한 밥 한 끼는 자꾸만 길어졌고요. 영화는 하나도 기억나지 않아요. 당신 손만 보고 있었거든요. 그 여름, 우리는 매일이 소풍이었습니다. 노을 앞에서 알았죠. 아, 이 사람이다. 이거 조금 깨졌지만 물론 우리에게도 비가 왔죠.

좋은데요? 엄청 깔끔하게 잘 나온 것 같고 사실 고칠 게 거의 하나도 없는 것 같거든요. 중간중간에 살짝 조금 깨진 감이 없지 않아 있었던 것 같기는 한데 그래도 이 정도면 거의 완벽하게 나오지 않았나. 그래서 너무 마음에 드는 것 같고 바로 다음으로 진행해 볼 것 같은데, 바로 하나는 여기 지금 백그라운드 뮤직이 조금 삽입이 된 게 있는 것 같은데 실제로 Full HD로 했을 때는 백그라운드 뮤직 없이 만들 것 같습니다. 그래야 제가 백그라운드 뮤직을 직접 만들 수 있으니까. 여기 보시면 Scene 탭이라는 것도 만들었는데 조금 집어넣은 거예요. 그래야 이거를 똑같이 또 수정해서 만들 수가 있잖아요. 그래서 어떻게 보면 프롬프트 같은 거, 파라미터를 어떻게 썼고, Higgsfield를 어떻게 만들었는지, 어떤 영상을 가지고 만들었는지, 모션 라이팅 여러 가지를 이렇게 넣어준 것을 볼 수가 있었어요. 그래야 Regenerate 같은 거를 할 수 있겠죠. 아니면 "이거 고치고 싶어, 저거 하고 싶어." 했을 때 또 고칠 수가 있고. 아니면 이게 또 어떤 식으로 다 구성 했을지 모르겠는데 어떤 애들은 스타팅 키프레임이 있고, 어떤 애들은 여러 가지 키프레임이 있고, 여러 가지 기법이 다를 수 있을 것 같아서 여기 보면 하나는 키프레임이 하나가 들어가 있는 것 같고, 다른 거 같은 경우에는 이 Starting Clip 그리고 클립이 따로 이렇게 나온 게 아닌가 싶습니다. 그래서 여러 개가 나온 것 같기는 한데.

그러면 이제 그냥 이어서 바로 한번 다 만들어 보는 그게 될 것 같은데 다음으로는 여기 탭에 넣지는 않았지만 영상 음악을 한번 만들어 보면 더 좋지 않을까 생각을 합니다. 그래서 바로 영상 음악으로 한번 넘어가 볼게요. 배경 음악을 한번 만들어보고 싶은데, 내가 Suno로 배경 음악을 만들 것 같은데 이 영화와 가장 잘 어울리는 배경 음악을 만들 수 있는 프롬프트 한 두 개 정도 만들어 줘봐. 그리고 Suno는 조금 아쉽게도 CLI가 MCP가 따로 없어서 이게 안 되더라고요. 그래서 브라우저 컨트롤을 써서 할 수도 있는데 일단은 프롬프트 붙여넣기 해서 여기다가 만들어 보도록 하겠습니다. 그러면 한번 보도록 할게요.

그럼 바로 이 두 개가 생성이 될 거고요. 그래서 여기 보면 노래가 바로 나오거든요. 이거는 프리뷰가 한번 틀어보도록 하겠습니다.

너무 좋네요. 이거는 바로 틀어볼 수도 있겠죠.

그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 첫 만남은 사실 사고였습니다.

너무 좋은데요? 그냥 이걸로 하면 될 것 같아요. 벌써 한 번에 너무 좋은 게 나왔는데 이 Paper Crane Waltz 대박인데요? 이걸로 바로 쓰도록 하겠습니다. Suno가 진짜 좋더라고요. 이런 고퀄 음악이 이렇게 금방 나올 수 있다는 게 벌써 2분 30초짜리도 나온 거니까 하여튼 상당히 마음에 드는 것 같습니다.

그래서 음악을 다운로드하는 동안 이렇게 Music 탭도 만들어줬어요. 그럼 이걸 그냥 전체 복사해가지고 붙여넣기를 할 수 있으니까, 다음에 쓰기 쉽겠죠. 근데 일단 이게 나왔으니까 그러면 이거 나온 거를 가지고 복사, 붙여넣기 해서 음악 같이 합성해 달라고 해보도록 하겠습니다. "자, 음악이 잘 뽑혔어 마음에 드는 음악이 나왔으니까 패스 줄 테니까 이거 잘 가지고 와서 우리 영상이랑 같이 합쳐서 프리뷰 해보도록 하자. 오버뷰에다가 한번 보면 좋을 것 같아." 그리고 이제 이 다운로드 파일 경로를 주는 거죠.

그 해 봄, 운명이었을까요? 비 오는 서점에서 당신을 만났습니다. 우산은 하나였고 그걸로 충분했어요. 그날 밤, 11자리의 숫자를 100번쯤 들여다봤습니다.

네, 그래서 음악까지 믹싱을 해가지고, 영상을 쭉 만들었다고 하는데 한번 보도록 하겠습니다. 그러면 오버뷰 페이지에 이렇게 되는 거죠. 우리가 했던 거를 이제 다 짜 맞추기 시작하는 거예요. 커피 한 잔을 쏟으며 시작된 평범한 만남이 사계절을 지나 모든 것이 시작된 카페에서의 프러포즈와 결혼으로 완성되는 이야기이다. 그래서 여기 캐릭터 같은 거, 이거는 처음에 다른 모델로 만들었던 것도 보여주고 있고, 씬도 딱 나왔고 스토리보드도 쭉 이렇게 다 나왔고, 이제 영상이 나왔죠. 480 픽셀이라는 것도 감안해서 한번 보도록 할게요.

그 해 봄, 벚꽃보다 먼저 눈에 들어온 사람이 있었습니다. 첫 만남은 사실 사고였습니다. 미안하다는 말 대신 웃음이 먼저 나왔죠. 하나도 기억나지 않아요. 당신 손만 보고 있었거든요. 그 여름 시작된 그 자리에서 "서연아, 나랑 결혼해 줄래?" 웃음과 눈물이 동시에 "응 좋아. 웃음과 동시에 눈물이"에서 조금 깼네요. 근데 영상이랑 이 배경 음악이랑 너무 예쁘게 잘 매치가 됐죠. 그래서 이거를 가지고 피드백을 주고 이제 마지막으로 풀 영상을 만들어 달라고 할 거예요. 이제 이거는 480 픽셀로 만든 거였으니까, 마지막으로 피드백을 몇 개를 주자면 이런 거겠죠. 이 "응 좋아. 웃음과 눈물이 동시에"가 남자의 목소리로 나왔다는 것, 플러스 영상을 만들 때 배경 음악이 없게 나와야 이게 음악이 겹치지 않으니까 그렇게만 해서 풀 영상을 제작하고.

그럼 마지막 프롬프트, 넘기도록 하겠습니다. 이제 너무 좋은 것 같고 마지막으로 피드백을 하나 주자면 클립 19번에서 서연의 "응, 응 좋아. 여기 문제가 이거를 남자 캐릭터가 남자, 보이스로 말하고 있어. 그러니까 그거 고쳐야 되고, 그리고 "웃음과 눈물이 동시에" 이거는 대본에 넣으면 안 되겠지 이거는 감정 표현이니까. 근데 이거를 직접 말하고 있더라고. 그래서 그거를 고쳐주고. 그리고 두 번째 피드백은 이 모든 영상을 만들 때 배경 음악이 생성되면 안 돼. 그래야 우리가 따로 만든 배경 음악이랑 겹치지 않으니까. 그래서 그거를 염두에 두고, 이제 다 준비가 됐으니까 FHD로 모든 영상 만들어서 전부 다 리믹스해서 하나의 완성된 작품으로 만들어 줘. 라고 하고 저는 또 열심히, 기다려보도록 하겠습니다.

프로젝트를 만들었는데 이 앱 자체가 반응이 좋다면 한번 공유할 수 있는 방향으로 한번 고민을 해볼게요. 물론 이게 Higgsfield밖에 안 된다는 점 유의해 주시기 바라고요. 이러한 앱 만드는 거 어렵지 않다. 그냥 프롬프트 하는 거랑 똑같아요. 그냥 제가 이거를 했던 이유는 제가 이런 프로젝트를 또 만들고 싶을 거잖아요. 이거로 끝나는 게 아니라 그러면 이거를 다시 재사용할 수 있는 그런 틀을 만드는 거거든요. 그래서 플러그인 만드는 거, 스킬 만드는 거, 하네스 만드는 거 이런 거랑 비슷한 거예요. 그래서 이렇게 그냥 웹사이트를 아예 만들어서 내가 재사용 가능한 스킬로서 활용할 수 있다는 것들을 보여드리고 싶었습니다. 그래도 일단 이 영상이 잘 나온 것들을 보여드릴 수가 있었네요.

그래서 오늘 영상은 여기서 마무리를 하고 영상 마지막에 이 완료된 영상을 플레이하도록 하겠습니다. 네, 그래서 오늘은 저와 같이 이렇게 AI로 인생 영화, 인생 드라마, 인생 만화 만들어 보는 시간 가져봤는데 여러분들은 혹시 어떠셨나요? 저는 이거를 또 만들면서 너무 즐겁다는 생각이 또 들었고, 이거를 활용해서 더 많은 좋은 창작물을 만들고 싶다는 생각이 들었습니다. 근데 이게 제가 몇 번 해보니까 확실히 창작물을 만든다는 게 기술이 있다고 다 되는 건 아니더라고요. 그래서 제가 또 느낀 건 콘텐츠의 벽은 또 어느 정도 높기도 하다. 다만 내가 좋은 아이디어와 좋은 창의력이 있다면 이러한 고퀄리티의 애니메이션, 영화, 실사 드라마 이런 거 만드는 건 이제 진짜 일도 아니게 돼버렸다라는, 점에서 정말 많이 놀라고 있고. 그래서 요즘 이 콘텐츠 시장도 엄청 많이 바뀐 것을 볼 수가 있어요. AI로 영상 만드는 건 너무 흔한 일이고, AI를 활용을 해서 SFX라고 하는 그런 CG 같은 거 만드는 거라든지, 기존의 영화를 찍고 그거를 덧붙여서 인물을 바꾸는 거라든지, 백그라운드를 바꾸는 거라든지, 목소리를 바꾸는 거라든지, 립싱크를 한다든지 여러 가지 이런 기술력을 가지고 다양한 콘텐츠들을 만드는 것을 볼 수가 있었는데.

저는 그러면 다음번에는, 또 다른 테크닉을 가지고 또 이것처럼 여러분들이 사용하실 수 있는 그런 좋은 시연으로 가져오도록 하겠습니다. 그럼 오늘도 같이 이렇게 Higgsfield, Claude, Fable로 영상 만들기 같이 함께해 주셔서 감사드리고요. 혹시 궁금한 점이나 질문 있으시다면 언제든지 댓글로 남겨주시면 좋겠고, 저는 다음번에 또 여러분들에게 유용한 그런 정보와 기술과 시연으로 돌아오도록 하겠습니다. 그럼 여러분 이번 주도 커리어해킹 하세요. 안녕!

저는 한때, 죽고 싶을 만큼 불행했습니다. 제가 잘하는 건 게임, 딱 하나였거든요. 현실보다 게임 속이 더 아름다웠어요. '넌 못났어'라는 말을 그대로 믿었죠. 부모님은 마지막 남은 돈으로, 절 캐나다로 떠나보내셨습니다. 캐나다 산속, 아무것도 없는 학교. 게임이 사라지자, 남은 건 몸뚱이 하나뿐이었어요. 미친 사람처럼 연습했습니다. 태어나서 처음으로, 인정까지 받아봤어요. 그날부터, 증명이라는 것에 중독됐습니다. 멈추면 지는 거니까. 두 배, 세 배로 뛰었어요. 그렇게 실리콘밸리 개발자가 됐죠. 성공했는데… 왜 행복하지가 않을까. 고민했어요. 어느 날, 친구들이랑 보드게임을 했어요. 그러다 저도 모르게 반칙을 해버린 거예요.. 이기는 거에 몰입해서 알렉스는 두 번 체크해야 돼 ㅋㅋ 그날 밤, 후회하며 펑펑 울었습니다. 나를 받아들이자, 모든 게 달라졌어요. 이제 저는 증명 대신, 사람들 곁에 있기로 했습니다.