팀원 소개

• 하니: 게임회사에서 MlOps 인프라 엔지니어로 근무하고 있어요.

• 미지 : 미국 캘리포니아에서 미디어와 데이터 사이언스를 전공하고, 현재는 실리콘밸리의 스타트업 ‘Chartmetric’에서 데이터 분석을 하고 있어요. 기술과 크리에이티브의 결합에 충격을 받으며 (!) GenAI에 대해 조금씩 공부해나가고 있어요. 미디어 분야에서 GenAI를 접목해 프로젝트 전략을 기획하고 성과를 파악해 확장시키는 경험을 하고 싶답니다.

• 데이빗 : 최근 ‘F&F‘라는 패션회사에 이직해서 AI 컨텐츠 크리에이터로 일하고 있어요. 이전 미디어 컨텐츠 회사에서부터 디지털 컨텐츠 제작 과정에 도움이 되는 생성형 AI 기술에 관심이 많았어요. 현업에서 겁 없이 이것저것 잘 적용해왔고, 앞으로도 해낼 겁니다. AI를 통해 내가 알던 세상과 컨텐츠를 분해하고 재조립해서, 새로움을 만드는 일은 아주 재밌어요. 영상 이미지 음악등 다양한 영역의 컨텐츠들을 AI 기술과 함께 이야기하는걸 좋아하니, 서로 많은 이야기를 나눴으면 좋겠네요!

• 건 : 소셜 카지노 백엔드 엔지니어 입니다. ai에 관심이 많았고 개인적으로 사용할 프로덕트를 만들어서 사용중에 있습니다. ai는 기술이고 그것을 가지고 뭘 하고 싶냐 에 따라 앞으로 길이 갈릴 것 같습니다. 제가 좋아하고 잘 하고, 계속 하고 싶은 분야에 이 기술을 사용해보고 싶습니다.

• 쏘니 : 현재 카카오의 오픈채팅 팀에서 UX 디자이너로 일하고 있습니다. 카카오에 오기전에는 미국의 스타트업에서 일하였으며, 앞으로 무궁무진하게 AI / Gen AI product 들이 나올텐데 미래가 궁금하고, 그런 미래에 저도 같이 프로덕트를 만드는 사람으로 배우면서 일하고 싶습니다 :)

Background

디지털 시대의 도래와 함께, 소셜 미디어 플랫폼은 매일 수많은 콘텐츠가 업로드되며 빠르게 변화하고 있습니다. 그리고 그 중심에는 '인플루언서'라는 새로운 직업군이 있죠. 소셜미디어가 일상의 중심에 자리 잡음과 동시에, 인플루언서의 등장으로 인해 시장은 점점 공급자 주도형에서 소비자 주도형으로 변해가고 있습니다. 최근, 이 전통적인 인플루언서의 개념이 한층 더 진화하고 있는데요, 바로 '버추얼 인플루언서'의 등장입니다.

▲ 버츄얼 인플루언서 릴 미켈라(좌) & 로지(우) 의 인스타그램 계정 화면

버추얼 인플루언서는 인공지능과 컴퓨터 그래픽 기술을 활용해 만들어진 가상의 캐릭터입니다. 정교한 컴퓨터 그래픽 기술로 구현되어 실존 인물 같은 외모를 지녔을 뿐만 아니라, 실존 인물처럼 SNS 계정을 운영하며 팔로워들과 소통합니다.

세계 최초 디지털 슈퍼 모델로 불리는 ‘슈두(Shudu)’ 입니다. 그녀가 처음 인스타그램에 등장했을 때 대중은 모두 그녀를 실제 사람이라고 생각하며, 그녀의 독보적인 비쥬얼에 열광했죠. 그녀가 사실 가상 인간이라는 사실이 밝혀지고도 여전히 펜티 뷰티(Fenty Beauty)의 전속모델로 활동하는 등, 패션모델로서 활약하고 있습니다.

버추얼 인플루언서 중 인스타그램 최다 팔로워 보유자는 LA에 사는 19살 소녀, ’릴 미켈라 (Lil Miquela)’ 입니다. 약 303만 명의 팔로워를 보유한 그녀는 여러 명품 브랜드와 현업은 물론, 디지털 앨범으로 영국 스포티파이에서 8위를 기록하고, 포스팅 하나에 약 8500달러(한화 939만원)의 가치를 자랑합니다.

또한, ‘로지(Rozy)’는 한국에서 큰 인기를 끌고 있는 버추얼 인플루언서로, 패션과 환경 보호에 관심이 많은 22세의 여성 캐릭터입니다. 로지는 식품, 뷰티, 호텔 등 여러 산업의 광고 모델로 러브콜을 받고 있습니다.

이들의 장점은 명확합니다. 버추얼 인플루언서는 개인의 사생활 문제나 도덕적 이슈의 위험이 없으며, 특정 매니지먼트나 브랜드의 의도대로 완벽하게 통제될 수 있습니다. 추가로, 가상 인플루언서의 마케팅 비용이 실존 인플루언서보다 경제적이라는 점도 큰 장점으로 작용하고 있습니다.

BetaAI팀은 이러한 버추얼 인플루언서의 트렌드와 장점에 주목하여, 생성형 AI 기술을 활용한 독자적인 가상 인플루언서를 선보이려 합니다.

BetaAI팀의 버츄얼 인플루언서, 연두와 벨라를 소개합니다!

연두와 벨라는 이런 사람이에요

• 다연두(Da Yeon Doo) @dayeondoo

  

  • 연두는 퍼스널 트레이너로 일하며 인스타그램 헬스 인플루언서로 활동하고 있어요. 늘 긍정적인 에너지로 사람들을 독려하는 성격으로, 운동을 사랑하며 몸과 마음이 건강한 라이프스타일을 추구해요. 서울에 살고있고, 28살이에요. 최근 인스타그램에서 2주간 다이어트 챌린지를 시작했어요.

  • 👉 연두 인스타그램 바로가기

• 벨라 (Bella) @__bellala__

  

  • 벨라의 직업은 그래픽 디자이너에요. 파슨스 디자인스쿨을 졸업했고, 현재는 서울 성수동에서 살고있어요. 직업이 디자이너인 만큼 다양한 미술작품을 보러 갤러리에 가는 것을 즐기고, 위스키를 좋아해서 혼자 위스키바에 다니는 것이 취미에요.

  • 👉 벨라 인스타그램 바로가기

연두와 벨라는 이런 과정으로 만들어졌어요.

1. BetaAI의 버츄얼 인플루언서가 자신의 이미지와 메세지를 전달할 매체를 조사하고, 가장 적합한 플랫폼을 선정합니다.

2. 이미지 생성 기술의 가능성 및 한계점을 파악하여 우리가 도전할 인플루언서의 컨셉을 결정했습니다.

3. 총 2개의 컨셉을 선정, 각 컨셉에 맞는 콘텐츠 이미지를 생성하여 소셜미디어 플랫폼에 업로드 합니다.

개발 과정

1. 인플루언서 생태계에 대한 이해도 높이기

• 버츄얼 인플루언서를 제작하기에 앞서, ‘인플루언서란 무엇이고, 어떤 사람이 인플루언서가 되는가?’ 에 대한 질문을 던졌어요.

• 기존 시장의 인플루언서들의 특징을 파악하기 위해, 실제 인플루언서로 활동하는 사람들의 인스타그램을 분석해보았습니다.

• 기존 시장 인플루언서들에게서 얻은 인사이트는 크게 아래 세가지 였습니다.

  • 기존 각각의 인플루언서는 페르소나가 세밀하게 짜여져있음

  • 주로 패션, 뷰티, 라이프 등의 트렌드 및 음악, 미술 등의 예술과 관련되어 있음

  • 잘 가공되어 있는 ‘인생샷’ 콘텐츠보다 자연스럽고 편한 분위기의 무보정 ‘일상샷’이 많음

  💡 좀 더 자세한 리서치 내용이 궁금하신 분들은 이 페이지를 참고해주세요! → [1주차] 버추얼 인플루언서 벤치마킹

  
  

2. 인플루언서 콘텐츠 기획 및 생성하기

• 인플루언서 identity 및 내적인 요소(MBTI, 성향, 취미 등) 등에 대해 아이디어를 내는 과정을 가졌습니다.

• 인플루언서의 페르소나 상상하기

• 페르소나를 생성하는 과정에서 ChatGPT를 사용하여 AI 인플루언서를 기획해보기도 했습니다.

연두

💡 이름: 다연두 (Da Yeon Doo)

• 나이: 24세

• 직업: 대학생 및 인스타그램 헬스 인플루언서

• 거주지: 서울

• 특징: 항상 긍정적인 에너지로 사람들을 독려하는 성격. 운동을 사랑하고, 건강한 라이프 스타일을 추구.

• 프로필 사진: 미소를 지으며 운동복 차림의 사진. 밝고 긍정적인 에너지를 전달.

• 자기소개: 🌱 ʏᴇᴏɴᴅᴏᴏ 𝘃𝗶𝗿𝘁𝘂𝗮𝗹 𝗱𝗶𝗲𝘁𝗲𝗿 🤖 💪 ᴛᴡᴏ-ᴡᴇᴇᴋ ᴅɪᴇᴛ ᴄʜᴀʟʟᴇɴɢᴇ 🍎 ʜᴇᴀʟᴛʜʏ ᴇᴀᴛɪɴɢ, ʜᴀᴘᴘʏ ꜰᴇᴇʟɪɴɢ

벨라

💡 INTJ의 시크 + 섹시 st

• 20대 후반에 바를 좋아하고 롱아일랜드를 즐겨먹음, 콜라는 제로콜라만 먹는다.

  • 제로콜라를 넣지 않는 바에 대해 불평하는 피드를 넣는다.

  • 자신만의 세계가 확고하다.

  • 불호를 서슴없이 드러내는 편이다.

• 시크하면서도 어떻게 보면 Dark한 이미지들을 많이 피드에 올린다.

3. 인플루언서 이미지 생성을 위해 다양한 툴 사용해보기

• 이미지 생성에 사용되는 생성형 AI툴의 종류가 매우 다양하다는 걸 알고 계시나요? BetaAI 팀에서는 이미지 생성을 위해 ‘미드저니’와 ‘스테이블 디퓨전’을 주로 사용하였습니다.

• BetaAI 팀이 분석한 미드저니 & 스테이블 디퓨전 & Dalle-2 의 특징과 한계점은 아래와 같아요.

• 각 툴의 특징에 맞추어 인플루언서 이미지를 생성하는 프로세스를 아래와 같이 구성했습니다.

▲ 스테이블디퓨전으로 생성한 헬스하는 남자

▲ dalle-2에 대한 하니의 의견

A) ‘연두’ 이미지 제작 과정

1. 미드저니에서 레퍼런스로 사용하고싶은 이미지를 /describe 하여 프롬프트 예시를 생성합니다.

2. /describe 에서 등장한 모든 프롬프트를 전부 /imagine 하여 결과를 살펴봅니다.

3. 레퍼런스 이미지와 구도 및 자세가 가장 비슷한 프롬프트를 선정합니다.

4. 해당 프롬프트로 생성되는 이미지와 가장 비슷한 구도를 가진 ‘얼굴’이미지를 참조 링크로 /Blend 합니다.

5. 가장 마음에 드는 버전의 이미지를 /Upscale 합니다.

B) ‘벨라’ 이미지 제작 과정

1. 미드저니에서 레퍼런스로 사용하고싶은 이미지를 /describe 하여 프롬프트 예시를 생성합니다.

2. 구축하고자 하는 인플루언서의 이미지를 가진 연예인 두명의 (한소희 & 고윤정) 사진을 /blend 하여 새로운 이미지의 얼굴을 생성합니다.

3. 스테이블 디퓨전을 사용하여 콘텐츠의 기본 토대가 될 여성의 이미지를 생성합니다.

4. 스테이블 디퓨전의 Face swap extension을 사용하여, 해당 여성의 얼굴을 2번에서 생성해둔 얼굴의 이미지로 교체합니다.

1️⃣ korean model digital image, in the style of xiaofei yue, light black and crimson, cute and dreamy, close-up, light amber and black, photo-realistic techniques, 8k resolution 2️⃣ korean beauty korean korean girls, in the style of light black and crimson, nostalgic mood, realistic yet ethereal, aurorapunk, close up, uhd image, ferrania p30 3️⃣ a young woman with black hair and a black collar posing for a photo, in the style of the stars art group (xing xing), minimalist beauty, light crimson and light amber, exaggerated facial features, uhd image, dansaekhwa, close up 4️⃣ joh kim young girl face art, in the style of light red and dark black, 32k uhd, cute and dreamy, straight photography, light black and light amber, classical style, smooth and shiny

▲ faceswap을 사용하여 얼굴이미지를 바꾼 사진

4. 차별점있는 콘텐츠 업로드하기!

• GenAI로 이미지를 잘 생성하는 것만이 중요한 것은 아니죠. 결국 콘텐츠의 본질은 해당 콘텐츠가 담고 있는 차별적인 스토리에 있다는 것을 인지하는 것이 중요합니다.

• 따라서 버츄얼 인플루언서 ‘연두’와 ‘벨라’의 각 페르소나에 맞는 차별점있는 콘텐츠 스토리에 집중했어요.

• 인물의 얼굴이 찍힌 사진도 중요하지만, 해당 인물의 성격이나 매력이 잘 드러나는 공간, 행동이 찍힌 사진도 인물의 분위기를 형성할때 매우 중요하다는 사실을 발견했어요.

• 따라서 각 인물이 갈만한 장소와 공간을 상상하고, 해당 장소 혹은 행동하는 사진도 함께 생성하여 함께 업로드 하는 것에 집중하였습니다.

💡 연두는요,

• 급찐살을 빼기위해 2주간 다이어트에 돌입합니다. 평소 좋아하는 등산을 다이어트 운동으로 선택했어요

• 호주여행 계획을 세웠습니다. 그치만 아직 가진 못했어요..

💡 벨라는요,

• 작업 후 혼자 단골바에서 위스키 마시는 걸 좋아해요. 뒷모습으로 사진찍는걸 좋아해요.

• 작업에 대한 영감을 얻기 위해서 전시회도 자주 갑니다.

프로젝트를 통해 배운점

• 멤버들 모두 여러 이미지 생성 AI툴을 직접 활용해보고 기술을 익힐 수 있었습니다. 경험을 토대로 이후 더 빠른 산출물을 만들어낼 수 있을 것, 멤버들 모두 개인 스킬을 향상 시킬 수 있었던 것이 만족스러웠습니다.

• 미드저니에 대해 알고는 있었지만 쓸 줄은 몰랐는데, 미드저니에 대해 알 수 있게 되어서 좋았음. 어떻게 하면 퀄리티가 좋은 이미지를 뽑을 수 있는지 경험할 수 있었던게 좋았음.

• 이미지 생성 기술은 탑재 되었으나 인플루언서 감각이 부족했다. tech 팀과 디렉터 팀을 분리했었어야 했다.

• 기술적인 한계가 명확히 있는 것을 알고 있음에도 불구하고 고정된 인물이 나오는 인플루언서로 기획했던것이 후반에 힘이 부족해지는 느낌이었음. 고정된 인물이 아닌 콘텐츠 채널이었으면 어땠을까. 콘텐츠적 고민이 조금 아쉬웠다. 기술적으로는 여러가지 테스트를 해봤지만, 연두라는 인물 자체를 사람들에게 어떻게 더 매력적으로 보이게 할지에 대한 스터디가 부족했던 것 같다.

팀원들의 후기

• Hanny (PM)

  • 전반적으로 생성형 이미지 AI 툴이 굉장히 많고, 산업이 커지고 있다는 것을 몸소 실감한 것. 발을 한발짝이라도 가깝게 다가갈 수 있었던 것이 좋았습니다. 덕분에 많이 배울 수 있어서 좋았습니다. 감사합니다!

• 미지

  • 한 달간 자율적으로 진행한 사이드 프로젝트인 만큼 큰 부담없이 진행하면서 많이 배울 수 있어 정말 좋았어요! 처음으로 이미지 생성형 AI를 다루어보며, 미드저니나 SD 등을 활용하는 법, 프롬프트를 명쾌하게 작성하는 법 등 많이 배웠습니다.

• David

  • 각자 다른 프로젝트들을 진행하고 매주 공유하는 자리가 좋았습니다. 콘텐츠 기획때 애정이 있어야 꾸준히 진행한다는 점을 배웠습니다. 개인적으로 이직등으로 바쁜 일정 속에서도 최선을 다했던거 같아서 만족스럽습니다.

• 건

  • AI 인플루언서가 존재함을 알았고, 어떻게 진행되고 있는지 동향을 파악했습니다. 새로운 시도를 해볼 수 있어서 만족스러웠습니다.

• 쏘니

  • 미드저니와 스테이블 디퓨전을 접하면서 써볼 수 있는 계기가 가장 만족스러웠습니다. 툴에 대한 이해력이 높아지고 재밌었던거 같아요.