AI 에이전트로 상업용 광고 영상 5분만에 만드는 법 (ft. Higgsfield)

그럼 이번 강의에서는 이미지를 넘어서 영상을 만드는 방법들과 활용 방안들을 한번 탐구해 보는 시간 가져보도록 하겠습니다. 그래서 챕터 10번은요, 에이전트가 광고 한 편을 완성한다, AI로 영상 만들기. 이 Higgsfield라는 플랫폼을 쓸 거고요. 영상이 중요한 이유는 너무나도 잘 알고 있죠. 저희가 이제 웬만한 서비스는 사진뿐만 아니라 영상 등을 포함하고 있고, 그리고 콘텐츠도 아무래도 이 스틸 사진보다는 숏폼, 롱폼 다양한 영상들을 활용해야 되는 시대가 왔으니까요. 당연히 영상도 같이 한번 만들어 보는 게 좋을 것 같다고 생각이 들어서 한번 또 자세하게 알아보는 시간 가져보도록 하겠습니다.

그래서 이번에 영상을 하나 미리 만들어 봤어요. 이러한 영상인데, 우리가 모멘트 카페 대문 사진을 계속해서 만들어 봤었잖아요. 그 사진을 가지고, 그리고 우리가 만들었던 이 가상의 인물 김민재라는 배우를 캐스팅을 해서 실제로 커피를 내리는 그러한 모습을 한번 연출을 해봤습니다. 이거를 먼저 한번 만들어 보는 시간으로 바로 넘어가 볼까요?

그래서 실제로 만약에 이거를 한다고 했을 때, 이번에는 이 비디오 쪽으로 넘어오게 될 거예요. 비디오 쪽으로 넘어와서 여기 보시면 이제 비디오 모델이 엄청나게 많죠. 여기 간단하게 한번 시도를 해보고 들어간다면, 여기에 이제 인풋 여러 가지를 넣는다. 그래서 바리스타도 넣고, 배경 화면도 넣고. 이렇게 하는데 이 버튼을 누르면 이걸 나중에 당연히 에이전트로 해볼 건데, 실제로 활용을 해서 만들 수가 있거든요. 그래서 이렇게 이미지를 하나 넣고, 만약에 우리가 추가로 넣고 싶은 이미지가 있다 하면, 그래서 캐릭터 시트 가지고 이걸로 한번 만들어 보도록 할게요. 이렇게 하면 어떤 모델들은 이렇게 Eligibility, 그러니까 사용할 수 있는 이미지인지 아닌지 활용을 해야 되기 때문에 이렇게 체크를 하는데, 그거를 기다려준 다음에 생성을 하게 되면 이 두 이미지를 활용한 영상을 만들어 주거든요.

이 영상을 만드는 모델에는 여러 가지 요소가 들어갈 수가 있어요. 그래서 여기 보면 Element, Image Generation, Video Generation 여러 가지가 있는데, 일단 기본적으로 영상을 만들기 위해서는 당연히 그냥 프롬프트만 있어도 충분히 좋은 영상을 만들 수 있지만, 우리가 원하는 영상은 특별하게 만들어진 그러한 영상이잖아요. 그 브랜드와 톤에 맞춰서 아니면 우리가 원하는 가상의 공간에서 가상의 인물을 활용을 해서 이렇게 영상을 만들 때에는 이런 식으로 레퍼런스 이미지를 넣어줘야 되거든요. 그래서 이거를 Image-to-Video, Image + Text Video 이런 식으로 얘기를 하는데. 그래서 여기 봐도 여러 가지 모델 기능들이 이렇게 나와 있는데, 어떠한 모델들은 비디오 자체를 에디팅해 주는 그러한 모델도 있고, 어떠한 모델은 그냥 텍스트를 영상으로만 만들어 주는 그런 것들이 있고, 아니면 이렇게 눌렀을 때 Start Frame, End Frame이라는 게 있거든요. 이건 어떤 뜻이냐면, 우리가 첫 번째 사진을 시작으로 하고 싶고, 끝 사진을, 만약에 어떠한 영화의 스틸컷을 두 장을 찍어서 첫 번째는 여기서, 그리고 끝의 프레임은 여기로 넘어가는 그러한 장면을 연출하고 싶다.

그렇게 만들어야 하는 이유도 몇 가지가 있는데, 예를 들면 영상을 만들 때 기본적으로 영상을 만들어 줄 수 있는 길이가 정해져 있거든요. 이거는 15초까지 되는 그런 Seedream 모델인데, 만약에 우리가 3분짜리 영상을 만들고 싶다. 그런데 그 3분이 원테이크로 진행되는 캐릭터라든지, 숏폼 드라마라든지, 그런 거일 경우에는 연속성을 가져가야 되기 때문에 이 Start Frame, End Frame이라는 개념이 되게 중요하거든요. 근데 그게 아니라면 레퍼런스를 넣는다고 했을 때는 이거, 이것들을 참조해서 하나의 영화를 만들어줘. 캐릭터는 이거 3개, 배경은 이거 2개, 그거를 가지고 다이나믹한 영상을 만들어줘. 이런 게 될 수도 있고. 이렇게 Element 레퍼런스를 만들어 주는 게 되게 중요한데, 이거를 조금 더 제대로 만들고 싶다 했을 때는 이런 식으로 캐릭터를 또 만들 수가 있고, Location을 만들 수도 있고, Prop을 만들 수가 있어요.

그래서 하나 예를 들어보자면 이런 식으로도 될 것 같은데, 만약에 저라는 사람을 만들어서 여러 가지로 활용을 하고 싶다는 것을 한다면, 한번 만약에 나라는 사람의 그런 가상 인물을 만들어서 Element로서 계속해서 활용하고 싶다면 그것도 되는 거거든요. 커리어해커 알렉스 이런 식으로 해볼게요. Alex. Alex is a creator and a software engineer at Silicon Valley. 이런 식으로 만들게 되면 이 캐릭터를 계속해서 두고두고 쓸 수가 있는 거예요. 그래서 이렇게 눌렀을 때는 IP Face Checking을 한다는데, 이것의 이유는 여러 가지 저작권이라든지 초상권 이런 것들을 막기 위함이고. 근데 대부분의 가상의 인물이라든지 그런 가상의 배경은 활용을 할 수가 있기 때문에 활용을 해주면 될 것 같고.

그래서 기본적으로는 영상을 만들기 위해서 여러 가지 이런 재료라고 할까요? 영상의 소스들, 아니면 콘티, 이런 것들을 활용할 수가 있다는 것을 알려드리고요. 기본적으로 영상을 이렇게 Consistent하게, 일관성 있게 그 배경과 인물에 맞춰서 생성을 할 수가 있다는 것을 보여드리고 싶었습니다. 그래서 이렇게 영상을 만들면 이제 대문 사진이, 예를 들어서 우리가 The Moment 카페가 이렇게 생겼었잖아요. 이거를 영상으로 만들어서 조금 더 생동감 있게, 멋들어진 그러한 영상이나 그런 자료들을 만들 수가 있겠죠. 그래서 저번에 우리가 카페의 이런 사진들을 엄청나게 많이 만들었잖아요. 그래서 여기 인물이라든지, 이건 사실 흑임자인데 싱글 이미지로 나온 게 좀 아쉽죠. 이거는 메뉴라든지 이런 것들을 영상으로 만들어서 이렇게 활용을 할 수도 있고 하다 보니까 여러 가지로 이렇게 우리가 또 알아보는 시간이 될 것 같은데, 이런 것들이 기본적으로 된다고 말씀드리고 싶었고요.

그래서 한번 생성된 결과를 볼까요? 그래서 보면 이런 식으로 나왔는데, 이거는 프롬프트가 조금 아쉬웠던 것 같아요. 어떻게 보면 이거를 연출을 조금 또 해줘야 되는 부분이 있어요. 어떤 식으로 영상이 시작을 해서 어떤 식으로 영상이 끝날 건데, 그거를 잘 설명을 해주는 그런 프롬프트 기법들도 제가 좀 설명을 해볼 건데, 일단 기본적으로는 이 Moment라는 공간에서 사진을 가지고 이러한 영상을 잘 만들어준 것을 볼 수가 있었습니다. 그럼 당연히 이거를 또 우리가 프로젝트 내에서 이 Higgsfield MCP를 써서 영상을 만들어 보는 시간도 가져보도록 하겠습니다.

그래서 여기서 이제 얘기하는 거는 이 UI 안에서 Seedream, Veo 3.1 여러 가지 모델들을 활용을 해서 다양한 기법으로 광고와 드라마를 다 만들 수 있다, 이런 식으로 얘기를 할 수가 있을 것 같고요. 여러 가지 기능이 한 번에 다 들어있다. 그래서 저는 Higgsfield를 기본적으로 추천을 드리거든요. 그래서 여기 보면 이미지 만드는 것도 있고, 비디오 만드는 것도 있고, 심지어 오디오 만드는 것도 있어요. 그래서 여기에 보이스오버라든지 보이스 변경이라든지, 아니면 ElevenLabs V3 같은 거를 써서 AI 보이스를 만든다든지, 아니면 MiniMax라는 거, 텍스트 스피치 같은 것도 되게 잘하는 걸로 알고 있거든요. 그거 말고도 여러 기능들이 있는데 기본적으로 콘텐츠 제작에 필요한 거의 웬만한 모든 기능은 여기 안에 다 들어있기 때문에 이것만 구독을 하셔도 다양하게 쓰실 수 있다고 말씀드릴 수 있을 것 같습니다.

그래서 제가 말씀드린 거, 이미지, 영상, 텍스트, 영상으로 만드는 거, Elements를 가지고 캐릭터, 소품 고정, 일관성 유지해서 영상을 만드는 거, 그리고 시작과 끝 프레임을 고정을 해서 컷 사이를 설계하는 거, 이런 것들, 다양한 기법들을 쓸 수가 있다는 것을 말씀드리고요. 그리고 이제 기본적으로 요즘 영상 모델을 얘기를 할 때 가장 많이 나오는 모델이 네 가지가 있는 것 같아요. 첫 번째가 이 Seedream 2.0라는 거, 두 번째는 이 Veo, Google에서 만든 거고요. Kling도 중국 회사인 것 같은데 이거는 Alibaba에서 만든 거고, Seedream은 ByteDance에서 만든 거, 틱톡에서 만든. 그래서 여러 가지 다양한 좋은 점이 각자의 장점이 있다고 하는데, 제가 찾아본 결과로는 사실적인 제품을 하고 싶다면 VEO, 8컷을 빠르게 내고 싶다면 Seedance, Kling은 인물 일관성 드라마, Happy Horse는 음성과 립싱크와 여러 가지, 이런 식으로 나온다고 하는데 이거는 또 다양하게 써보면서 다양한 피드백들이 워낙 많지만 기본적으로 제가 생각을 했을 때는 Seedance, Kling, Happy Horse는 웬만한 거 다 된다. 그중에서도 제 생각엔 Seedance가 가장 좋은 것 같다라고 미리 말씀을 드립니다. 근데 이게 아마 가장 비싸기도 할 거예요. 그래서 이런 것들은 또 토큰 값을 이렇게 보면서, 45원이라고 나와 있는 것 같은데 이건 또 60이네요. 그러니까 거의 다 비슷하기는 한데 한데 각자 취향과 상황에 맞춰서 또 사용을 해볼 수 있지 않을까. 그리고 정 만약에 내가 어떤 걸 해야 될지 모르겠다 하면 당연히 Claude를 써서 질문을 통해서 좋은 모델로 너가 알아서 판단해서 잘 써줘, 이런 식으로 얘기를 또 할 수가 있겠죠.

그래서 이제 광고 같은 것을 만들 수 있다가 핵심이거든요. 그래서 이미지는 광고로 쓸 수 있지만 아무래도 영상 광고가 요즘 많이 돌아가잖아요. Instagram, YouTube를 봐도 그렇고. 그래서 광고를 만들기 위함은 또 서비스를 팔기 위해서는 만드는 것보다 파는 게 더 중요할 때가 있거든요. 그래서 그런 것들을 또 어떻게 만들어 나갈 수 있는지 또 같이 한번 알아보는 시간이 될 것 같아요. 그래서 흔들리는 영상을 프레임으로 묶는다, 이런 식으로 얘기를 했는데 그냥 텍스트를 영상으로 바꾸는 게 아니라 이렇게 요소들을 다 쥐어주고, 그리고 여러 장면의 연출을 한 편의 숏폼 드라마 혹은 광고로 일관성 있게 만들어가는 게 중요하다는 것을 말씀을 드리고요. 그런 것들을 시연해보는 시간이 될 것 같습니다.

이거는 다른 이야기인데 영상의 품질은 첫 프레임이 정합니다. 이거는 되게 중요한 이야기 중에 하나예요. 사실 텍스트를 가지고 영상을 설명한다는 건 무척이나 어려운 일이에요. 왜냐하면 어떻게 보면 우리가 일종의 감독이 되어서, 연출가가 되어서 어떤 분위기와 어떤 메시지를 전달하는 영상을 만든다는 게 말로써 풀어내기가 사실 되게 어려운 거거든요. 물론 말도 너무 중요하지만. 그래서 기본적으로 이 프롬프트라고 하는 게 굳이 말로만 해야 되는 것은 아니거든요. 이미지도 어떻게 보면 프롬프트예요. 이미지 자체가 영상을 만들기 위한 프롬프트가 될 수 있어요. 그런데 영상의 퀄리티를 좌지우지하는 가장 중요한 요소 중에 하나는 엄청나게 좋은 퀄리티의 이미지다. 그래서 여기는 첫 프레임이 정한다고 하긴 했지만 레퍼런스 이미지도 너무 중요하고, 그래서 그런 것들을 어떻게 만들어 나갈 수 있는지도 한번 알아보게 될 건데 예를 들면 어떠한 연출을 위해서 조금 더 광고같이 조금 더 따뜻한 감정선을 표현하기 위해서 필름 그레인에 브랜드 톤을 맞춰서 이렇게 키프레임을 만드는 것도 되게 중요한 이유가 될 수가 있겠죠.

그래서 가장 먼저 이 필름 스틸컷을 하나 만들어 볼 건데, 그다음에 이 영상을, 이 이미지를 통해서 만들어보는 시간을 가져보도록 하겠습니다. 그럼 이제 이런 것들을 만들 건데 일단 기본적으로 다시 Claude Code를 사용을 해서 만들어 볼 거예요. 그래서 이런 식으로 얘기를 해볼 수 있겠죠. "우리가 그동안 Higgsfield MCP를 활용을 해서 여러 가지 이미지를 만들어 봤었는데 다음 프롬프트를 활용을 해서 새로운 이미지들을 한 3, 4장 정도를 만들어줘."라고 해볼게요. Alexa, Mini, LF, Codex, 여러 가지가 있는데, 저번에 우리가 이미지 프롬프트, 좋은 프롬프트 어떻게 돼, 이런 걸 여러 번 물어봤지만 이것도 사실 Claude한테 물어보면 알아서 프롬프트를 잘 만들어 준다고 생각을 하거든요. 만약에 더 전문적으로 하고 싶다는 분은 노트북 LLM 같은 거를 활용을 해서, 우리가 또 그걸 배웠으니까 좋은 이미지 생성은 어떻게 하면 좋아? 아니면 영화에 쓰일 그런 이미지 스틸컷을 만들고 싶은데 그거를 위한 프롬프트는 어떻게 하면 돼? 이런 것들을 또 스킬로 만들어서 우리가 Claude에 넣어서 확인을 할 수가 있겠죠. 근데 일단 기본적으로 씬, 라이팅, 조명, 렌즈, 그리고 이런 것들은 하지 마라, 이러한 프롬프트가 들어가면 되게 좋은 이미지가 나온다라고 해서 그런 식으로 한번 저도 가져와 봤는데 활용을 해보시면 좋을 것 같습니다.

그래서 지금 여기 보면 나노 바나나 툴을 가지고 이 모먼트 스토어의 인테리어 엘리먼트를 임베드해서 여러 가지를 생성해 본다라고 하는데 이미지 생성하는 곳에 아마 지금 생성되는 이미지가 4개가 나올 수 있다는 것을 보실 수 있을 것 같습니다. 모먼트 사진이 들어간 것 같은데 그 대문 사진을 활용을 해서 이런 이미지를 만든 거죠. 아니면 이런 이미지, 이런 이미지, 조금 더 필름처럼 이렇게 만든 것을 볼 수가 있어요. 라이팅 같은 것도 Warm window light, 렌즈, 그래서 조금 더 카메라로 만든 것 같은, 조금 더 전문적인 사진 같은 그런 것들이 나왔어요. 그러니까 핵심은 이거인 것 같아요. 두 가지인데 하나는 이 레퍼런스 이미지를 잘 활용을 해야 된다. 그리고 두 번째는 프롬프트를 그냥 에이전트를 써서 만드는 게 훨씬 더 효율적이다. 그리고 세 번째는 이거를 그냥 내가 프롬프트를 아무렇게나 막 쓰는 것보다 에이전트를 시켜서 그 감성과 분위기에 맞춰서 만드는 게 되게 중요하다라고 해 볼 건데 이런 식으로 할 수도 있을 것 같아요. 예를 들어 피드백을 또 줄 수가 있겠죠. "다 좋은데 조금 더 따뜻한 분위기 그리고 조금 더 그레인이 들어간 필름 느낌의 뭔가 라이카 사진기로 찍은 것 같은 듯한 필카 느낌의 사진으로 다시 한번 4개 만들어 줘 봐." 이런 식으로 에이전트를 활용을 해서 프롬프트를 짜고 아티팩트를 만드는 게 훨씬 더 유용하다는 말씀을 드리고 싶어요.

이게 가장 큰 차이점이 워크플로우인 것 같은데 만약에 이거를 보고 마음에 안 들었다 하면 이런 게 되겠죠. 이거를 복사해서 다시 여기에 넣어서 필카 느낌으로 다시 해줘. "이 느낌 좋은데 필카 느낌으로, 라이카 느낌 따뜻한 느낌 필름 느낌으로 재구성해서 보정해 줘." 이런 식으로 할 수가 있겠지만 모든 프롬프트를 만듦에 있어서 에이전트를 활용하는 게 훨씬 더 유용하고, 편리하고 결과적으로 봤을 때 더 좋을 수 있다고 생각을 하거든요. 그래서 이런 것들을 같이 한번 알아보는 시간이 될 것 같은데. 그래서 이건 아마 에이전트들이 맞는 것 같은데 조금 더 따뜻한 느낌이 잘 나온 것 같고 필카 느낌은 생각보다 잘 안 나온 것 같은데 이것도 아마 보정을 해가지고 할 수 있지 않을까. 필름 카메라 같기는 하네요. 이것도 개인적으로 좋은 것 같고 기본적으로 그래도 되게 잘 나오지 않았나 생각을 합니다. 근데 확실히 이런 사진들이 조금 더 전문적이고 연출이 잘 되는 것을 볼 수가 있겠죠. 하여튼 기본적으로 에이전트를 활용을 하는 게 중요하다는 그런 워크플로우를 알려드리고 싶었습니다.

하면서 저는 한 번 더 해볼 것 같아요. 좋은데 조금 더 전문적인 영화의 한 장면 같은 느낌이었으면 좋겠어. 살짝 광고의 한 장면 같은 느낌으로도. 그리고 GPT Image 2도 한번 활용을 해보자. 이런 식으로 해볼 것 같습니다. 얘는 GPT Image 2여서 보정해 달라고 하는 거 있잖아요. 기본적으로 GPT 2가 조금 더 실사적인 그리고 좋은 퀄리티의 사진을 주는 것 같아서 이런 것들을 한번 비교를 해보는 것도 좋겠지만 이것도 상당히 느낌 있는 것 같네요. 이것도 진짜 예쁘게 광고의 한 장면처럼 이렇게 주름 나오는 것도 나노 바나나로 이렇게 만든 게 훨씬 더 잘 됐다 보니까 이것도 너무 좋았지만 연출을 함에 있어서 되게 느낌이 좋지 않았나 생각을 해봅니다. 그래서 기본적으로 이렇게 만들 수가 있는 것 같고요.

그리고 하나만 더 해보자면 그냥 텍스트만 했을 때는 그 느낌이 안 나겠죠? 그런 것도 한번 보면 좋을 것 같아요. 아무래도 이런 모멘트의 바이브와 그런 배경이나 그러한 연출이 나오지 않겠죠. 그러다 보니까 이미지를 레퍼런스로 활용을 하는 게 되게 중요하다는 것을 보여드리고 싶습니다. 사진을 가지고 영상으로 만들게 되는 건데요. 이런 식으로 또 활용을 할 수가 있겠죠. 그래서 여기 프롬프트 보면 스타트 프레임을 가지고 우리가 방금 만든 이미지를 가지고 영상을 만들 거다라고 하는 건데 한번 해보도록 하겠습니다. 그럼 저는 이게 일단 기본적으로 마음에 드는 것 같으니까 한번 이 느낌을 살려서 해볼까요? 이렇게 하고 프롬프트를 넣을 것 같습니다.

이렇게 하면 이제 어떻게 되는 것이냐? 이거는 GPT Image 2로 그냥 텍스트로 만든 건데 역시 예상했던 것처럼 전혀 다른 분위기의 카페. 그리고 이거는 심지어 미국인 것 같은데 서울이라고 했음에도 불구하고 이렇게 미국이 나온 것을 볼 수가 있죠. 그래서 그만큼 이미지가 프롬프트 자체로 들어가는 게 되게 중요하다는 말씀을 드리고 싶었어요. 일단 그래서 우리가 이런 식으로 바로 영상을 만들어 보는 시간이 될 것 같은데요. 이거를 또 물론 여기서 바로 하는 방법도 있습니다. 여기서 어떤 식으로 하냐면 이거를 다운로드를 해서 아까 우리가 비디오 만들었던 그 공간 있잖아요. 거기를 들어가서 똑같이 UI로도 할 수가 있겠죠. 그래서 여기 보면 우리가 방금 다운로드한 거 가지고 이렇게 영상으로 집어넣어 준 다음에 그 프롬프트 집어넣어서 이거를 스타트 프레임으로 넣을 건데 지금 이거는 모델을. 그래서 여기는 스타트 프레임으로 넣어주면 여기서 영상이 시작되는 거거든요. 이런 식으로 생성을 해서 또 어떤 식으로 나오는지 보도록 하겠습니다.

기본적인 영상을 만드는 과정인 것 같아요. 스틸 컷의 이미지를 만들어서 그거를 가지고 영상을 만들게 되면 그 상황에서의 그런 연출이 나오기 때문에 훨씬 더 우리가 원하는 영상을 뽑아낼 수가 있겠죠. 그래서 이렇게 스틸 이미지를 활용을 하는 게 중요하다. 그래서 방금 2개를 거의 비슷한 식으로 만들었을 것 같은데 한번 결과를 보면서 나중에 또 확인을 해보도록 하겠습니다.

네, 그럼 영상 하나가 나온 것 같은데 같이 한번 확인을 해볼까요? 그래서 여기 보면 스틸컷으로 시작된 영상이 슬로우 모션으로 나오는 것을 볼 수가 있는데, 여기 잘 들어보시면 물 떨어지는 소리도 맞는 것 같네요. 근데 생각보다는 조금 정적인 것 같고. 그래도 이렇게 연기가 나오는 거, 그리고 줌인이 되는 게 조금 뭔가 느낌은 있는 것 같아요. 그래도 조금 더 자연스러웠으면 좋았을 것 같은데 그런 것들은 조금 아쉽게 되기는 했네요. 그래서 그다음 영상도 나중에 끝나게 되면 확인을 해보겠지만 일단 기본적으로 파트 1에서는 이렇게 한 컷 한 장면의 연출을 만드는 것을 활용을 해봤어요. 그럼 그다음 파트에서는 조금 더 고도화된 영상들은 어떻게 뽑아내는지 한번 알아보도록 할게요.

네, 그럼 이렇게 영상이 완성이 됐다고 하니까 한번 같이 확인을 해볼까요? 폴더를 딱 만들어줬어요. 아까 시티팝 만든 거, 내레이션 만든 거 폴더 하나로 만들어서 이렇게 딱 줬는데 오픈 광고 보도록 하겠습니다. 분주한 하루에도 잠시 멈출 곳이 필요합니다. 백그라운드 뮤직. 모든 게 완벽하게 하나로 들어온 것 같아서 너무 신기해요. 이런 식으로 원큐에. 물론 여기저기 이렇게 조금 더 바꿔주면 조금 더 좋을 것 같기는 한데, 그래도 되게 그럴싸한 느낌의 영상이 나왔죠. 이제 이거를 그대로 가져다 쓰겠다는 게 아니라 이런 게 단 한 번에 된다는 것을 보여드리고 싶었어요.