팀원 소개

• 쏘니(PM): 현재 카카오의 오픈채팅 팀에서 UX 디자이너로 일하고 있어요. 카카오에 오기 전에는 미국의 스타트업에서 일했으며, 앞으로 무궁무진하게 AI / Gen AI 프로덕트들이 나올 텐데, 그런 미래가 궁금하고 저도 그 미래에 프로덕트를 만드는 사람으로 배우면서 일하고 싶어요. :)

  
  

• 케이: 저는 일본 라인에서 프로덕트 디자이너로 일하고 있어요. 석사 이전까지는 예술/디자인 중심의 공부를 했고, 석사 때는 인공지능과 공학 중심의 공부를 했는데, 그 과정에서 이 둘의 협업 시너지를 느껴서 관심이 많아졌어요. 특히 혼자만의 프로젝트가 아니라 인공지능에 관심 있는 분들의 관점과 생각도 함께 나누고 싶어 꼭 참여하고 싶었어요!

  
  

• 맨디: 삼성전자 모바일 사업부에서 갤럭시 UXUI의 모션과 애니메이션 작업을 맡고 있어요. 현재 회사에서 제가 맡은 업무 중에는 AI 기능과 관련된 일이 많고, 부서 내에서 Runway나 Sora와 같은 영상 생성 AI를 효과적으로 활용해 모션 관련 업무를 개선할 수 있는 방법을 찾고 있어요.

  
  

• 데이비드: 패션 라이선스 기업 F&F에서 생성형 AI 크리에이터 직무로 일하고 있어요. 특히 이미지, 영상 등 비주얼 생성형 AI 툴들에 대해 관심과 전문성을 보유하고 있어요. 시즌 3에 재미있게 참여했어서 추가로 참여하고 싶어요. 철학과 전공으로 정신분석학과 예술적 사유에 대해 관심이 깊어 이번 주제도 저에게 잘 맞는 것 같아요.

  
  

• 윤: 변리사로 일하고 있어요. 생성형 AI에 대한 관심이 많고, 새로운 사람과 시각을 접하며 커리어 전환에 대한 고민을 하고 있어요.

  
  

• 이응: 영상 제작 회사에서 일을 하다가 현재는 1인 영상 제작자이자 촬영 감독으로 일하고 있어요. AI의 발전은 막을 수 없고, 그 속도는 더욱 가속화될 거예요. 이런 판단 하에 제가 가장 중요하게 생각했던 것은 AI의 발전을 두려워하기보다는 이를 어떻게 더 빠르게 받아들여 영상 제작 환경에 효율적으로 적용할 것인가에 대한 고민이었어요. 이런 고민 속에서 이 프로젝트를 발견하게 되었고, 이를 통해 AI와 영상 제작의 접점을 더욱 탐색하고 싶어 참여하게 되었어요.

Background - AI 로 자신의 본연의 모습 탐구

동서양에서의 꿈에 대한 인식

.동양에서의 호접지몽은 “장자가 나비가 되어 날아다녔다”라고 시작하고 있었습니다. 장자는 우리가 객관적인 사실이라고 믿는 오감, 또한 오감에 대한 의존하는 인식에 대한 회의를 지적합니다. 오감을 통한 감각이 허상일 수 있고, 보이는 대로, 들리는 대로만으로 존재의 본질을 알 수 없다는 이야기를 합니다. 우리의 인식이 본질을 이르지 못하고 피상적인 형태로 의존하게 되어, 이러한 피상적 존재에 대한 회의를 어떻게 해결할 수 있을까라고 질문을 던져보았습니다.

서양에서는 프로이드의 꿈의 해석에서 정신분석학의 기초가 되는 논리를 품고 있습니다. 꿈은 하나의 도구에 불과하며, 무의식에 접근하기 위한 매체로서의 도구인 꿈을 통해 무의식의 심층을 탐구한다고 말합니다. 즉, 프로이드는 자신의 본연의 생각과 내적 동기를 ‘무의식’으로 보았습니다. 장자는 이와 연결된 맥락으로 오감을 통한 감각이 허상이며 존재의 본질을 알 수 없다고 했습니다.

장자의 꿈 호접지몽(胡蝶之夢): 인식론적 관점

먼저 장자는 분명 “장주가 나비가 되었다”라고 시작하고 있다. 즉 화자는 꿈을 꾼 주체가 장자라는 것을 알고 있고, 꿈에서 막 깨어났을 때 장주가 나비인지 장자인지 알지 못하는 상황이다. 따라서 장주는 확고하게 자신이 자아를 인식함을 알 수 있음을 우리는 볼 수 있다. 하지만 왜 장주는 꿈속에서 자신을 나비라고 인식했을까? 인간은 피상적인 것을 보고 듣고 느끼는 오감에 의존하는 동물이며, 이를 통해 외부 세계를 의식합니다. 장자는 꿈에서 자신의 날개가 펄럭이며 세상을 바라보았기 때문에 자신을 나비라고 인식한 것입니다.

위에 그림과 같이 체커 그림자 착시는 착시 현상 중에 하나로 MIT Vision Science 교수인 Edward H. Adelson에 의해 소개된 개념입니다. A와 B는 실제로는 동일한 색상이지만 우리의 시각 체계에서는 A가 B보다 어둡다고 느끼는 것처럼 우리의 오감으로 인식하는 세상은 허상일 수 있고, 보이는 대로, 들리는 대로만의 존재의 본질을 알 수 없습니다. 즉, 장자는 나비의 꿈을 통해 우리에게 감각적, 피상적인 존재의 인식에 대한 회의라는 문제를 우리에게 말하고 있던 게 아닐까 설명합니다.

프로이드의 꿈의 해석: 심리학적 관점

프로이드의 꿈의 해석에서는 인간의 무의식의 어두운 영역에 놓여 있는 인간의 마음을 보여주는 책입니다. 책에서의 대표적인 챕터인 3장 6장에서는 이러한 이야기가 나옵니다.

“가장 단순한 꿈은 아마도 심령 활동이 성인보다 확실히 덜 복잡한 어린이의 경우에 기대할 수 있다고 생각합니다.” “The most simple dreams of all, I suppose, are to be expected in the case of children, whose psychic activities are certainly less complicated than those of adults.”

이 인용문에서는 꿈의 복잡성을 꿈꾸는 사람들의 정신의 복잡성을 반영하고, 그는 꿈은 거울에 비유하면서 꿈은 우리의 내면을 반영한 것이라고 말합니다. 프로이드가 말하기를 꿈은 무작위적인 사건을 가진 랜덤성이 아니라 우리의 마음속 깊은 마음에 있는 욕망과 두려움을 표현하고 바라볼 수 있는 통로라고 설명합니다.

생성형 AI: 내면으로 들어가는 통로

생성형 AI는 우리가 기존에 없었던 상상을 현실로 만들어 낼 수 있는 툴로 존재하지 않는 무의식적인 생각들과 우리의 무의식을 표출하는 창구라고 생각하였습니다. Midjourney CEO인 David Holz의 포브스 인터뷰에서 이야기합니다.

“Midjourney의 미션은 상상력의 파워를 확장시키는 것입니다. 우리의 목표는 인간을 상상력이 풍부한 기계를 만드는 것이 아니라 인간이 더욱 상상력이 있게 만드는 것입니다. 이것이 중요한 차이첨이라고 생각합니다.” “We like to say we’re trying to expand the imaginative powers of the human species. The goal is to make humans more imaginative, not make imaginative machines, which I think is an important distinction.”

생성형 AI는 비전공자에게 있어도 상상력을 촉진시켜주는 증폭제와 같은 역할이고, 이전에는 존재하지 않았던 것을 생성하게 해줄 수 있는 툴로서 인간의 하나의 파워를 확장시켜주는 것이라고 생각합니다. 우리는 이 툴들을 다룸으로써 자신의 글과 생각 영상 즉 프로이드가 말한 무의식을 그리고 장자가 말한 감각적 피상적인 존재에 대한 인식이 아닌 존재의 본질을 들여다볼 수 있는 통로라고 생각하였습니다.

👉 David Holz Forbes interview

Midjourney Founder David Holz On The Impact Of AI On Art, Imagination And The Creative Economy

Runway GEN:48 2ND EDITION winning films 🔗

🎥 당신은 어떤 사람인가요?

The Butterfly Dream은 스스로에게 당신은 어떤 사람인가요?라고 물었을 때, 자신의 피상적인 이야기가 아닌 본연의 모습을 이야기할 수 있도록 하기를 바랐습니다. 그냥 살아가는 것이 아닌 자신을 더 이해하고 알아가는 과정, 그리고 스스로를 정의할 용기를 얻었으면 했습니다.

1) 본연의 소리를 듣는 과정

1. 자신의 감정을 담긴 글과 자고 일어나서 꿈을 적어 내려갑니다.

2. 개인적인 꿈과 생각이 담긴 글을 통해 AI 심리학자에게 분석을 받습니다.

3. 분석을 받은 것을 바탕으로 자신의 본연의 모습을 스토리텔링 하기 위해 AI 스크립트 작성의 도움을 받습니다.

4. 스크립트를 바탕으로 스토리보드를 생성합니다.

5. 생성된 스토리보드로 이미지를 만들고, 이미지들을 취합하여 AI 영상 툴로 영상을 생성합니다.

6. 마무리 작업으로 영상들을 이어붙입니다.

2) 스크립트 & 스토리보드 작성 프로세스

1. 분석받은 자신의 내면의 감정/꿈을 스토리보드로 생성합니다.

3) 스토리보드에 맞는 이미지 추출

스토리에 걸맞는 실사 이미지 생성

케이

맨디

데이비드

윤

🎥 완성된 영상

🚰 케이

• ‘모든 일은 해석하기 나름이다’

  ‘꿈보다 해몽(解夢, dream interpretation)이다.’학생 때는 꿈에서 걷던 거리가 갑자기 침수되고, 차들이 잠기는 꿈들을 자주 꾸었어요. 그리고 깨서 ‘침수 되는 꿈’을 검색하면 좋은 일이 일어날거란 해석이 보였어요. 그러다 어느날 인생도 그냥 그런 자세를 가지고 있으면, 괜찮겠다라는 생각을 하게 됐어요. ‘물에 잠기는 집’은 좋은 꿈이라고 합니다. 사실 저는 상상만 해도 공포스러워요. 하지만 결국 꿈에서 깨고 해몽을 보면 기분이 나아지겠죠? 두려움과 안도감이라는 가벼운 감정들을 극단적으로 표현하기 위해, 화려한 색감의 초현실적인 영상을 제작했습니다. 내용을 보면서 관객들이 두려움을 느끼다가 언제 그랬냐는듯 안도하는 감정을 느낄 수 있기를 바랍니다.큰 빌딩들이 즐비한 뉴욕 거리에 마젠타 주택 하나가 덩그러니 있다. 주택 안에서는 이유를 알 수 없는 물이 부어지기 시작했고, 빠른 속도로 집은 물에 잠기고 있다. 노란 불빛의 조명이 뿌얘질만큼 잠긴 집. 바닥에 붙어있던 집이 큰 물방울 안에 갇히고 있다. 천천히 물방울이 하늘로 뜨며 집이 떠오르는 장면이 펼쳐진다. 이 모든 것을 바라보고 있던 소녀는 조금씩 떨어지는 비를 느끼고 우산을 핀다. 어느덧 어둡고 추운 새벽이 지나고 아침이 된다.

🐇맨디

• 꿈은 제 자아를 반영한 공간과 같아서, 영상은 거울 속의 미지의 세계에서 펼쳐집니다.

  제가 평소에 느끼는 불안과 걱정은 꿈 속에서 과장되는 것 같습니다. 꿈을 꾸는 동안은 감정이 선명하지만, 깨면 1-2분 내로 기억이 흩어지고 감정도 사그라집니다. 그래서 결국 꿈에서 느낀 제 부정적인 감정과 기억은 단편적인 장면으로 남게 되는데, 이 장면을 영상으로 나타내고자 합니다. 꿈은 제 자아를 반영한 공간과 같아서, 영상은 거울 속의 미지의 세계에서 펼쳐집니다. 거울 속의 토끼는 나약한 제 자신을 상징하며, 항상 도망칠 준비가 되어 있습니다. 그러나 토끼는 악마의 덫인 달콤하고 화려한 디저트에 빠져들어 결국 악마에게 사로잡히게 됩니다. 제가 꿈에서 느낀 부정적인 감정은 양초의 불꽃으로 표현하였는데, 악마가 양초를 점화시키며 결국 제 자신이 감정에 휩싸이는 악몽 이야기입니다.

  거울 = 꿈의 공간 / 토끼 = 나 자신 / 양초&불꽃 = 불안하고 초조한 부정적인 감정 / 악마 = 부정적인 감정을 극대화하는 악몽같은 존재

❄️ 데이비드

• 소년과 그의 고양이의 이별과 재회에 대한 이야기입니다.

  겨울이 길더라도 언젠가 봄이 오듯이 생명과 죽음은 순환의 고리이며 그속에서 우리는 항상 다음 재회를 기악할 따름입니다. 사실 그냥 사카모토 류이치 선생님의 음악을 듣고 만들고 싶은 비쥬얼을 만들어봤습니다. 어릴적 키우던 강아지를 알 수 없는 이유로 떠나보냈던 기억이 있는데 그게 모티브가 된거 같습니다.

⏰ 윤

• 꿈의 스토리를 가지고 메시지를 전달하기보다는 꿈 그 자체에 집중했습니다.

  가장 개인적인 경험인 저의 꿈을 최대한 영상으로 구현해보고자 했습니다. **꿈의 최대한 다양한 장면을 영상화하려 했으나, 선택과 집중으로 두 개만 선택하였습니다.**추락하는 장면, 그리고 문을 여는 장면입니다.추락은 대부분의 사람들이 경험하는 보편적인 꿈이라고 생각됩니다. 그리고 대부분 추락 후에는 깨거나 다음 꿈으로 넘어가게 됩니다.문을 여는 장면은 어릴 때 잠시 자각몽(루시드 드림)에 대해 잠시 관심을 갖고 찾아본 것을 토대로 하였습니다. (설명)

🎨 이응

• 쏜애플의 로마네스크에 맞춘 사진과 영상

  본질적 외로움, 자기혐오를 표현하는데 유화의 느낌이 좋아서 유화를 택했다.꿈을 꾸지 않는 내 대신에 내가 공감할 수 있는 다른 사람이 그린 것을 내가 상상한 모습으로 옮겼다. 많이 듣는 음악에 나의 무의식이 투영되어 있다고 생각.

  "누군가가 나에게 다가와 위로를 해주어도 난 자기혐오에서 빠져나오기가 힘들다." 라는 것을 표현한 전반부를 가져왔다.

  로마네스크_쏜애플

  누가 나의 귀를 만지며

  괜찮다고 등을 쓸어도

  나는 날 좋아할 수가 없네

  누구 하나 잡을 수 없어

  목을 놓다 잠든 밤에도

  나는 날 안아줄 수 없었네

  -스스로 바라보는 나, 남이 바라보는 나.

  -다른 사람으로는 벗어날 수 없는 자기혐오

  -얼굴(모습)을 바꿔가며 발버둥치는 나.

  -그것이 나를 온전하게 하는가?

  미드저니, ChatGPT, Runway, DALL-E**, Firefly**

Project Wrap-up

Challenges 🤯

• 쏘니

  • 프로젝트 리딩을 하기위해서는 제가 테크니컬한 지식이 있어야 사람들에게 방향성을 정해줄 수 있을거라고 생각했습니다. 그래서 AI에 대한 심층적으로 공부하는 계기가 되었고, 하지만 실제로 AI가 알아서 해주겠거니하면서 제가 스스로 프롬프트를 열심히 안쓴거 같은 기억이있어요. 처음에는 잘해보려고 많이 썼지만 미드져니에서 뽑힌 이미지가 영상화되면서 좌절을 겪었고, 아 이렇게 해도 안되고 내가 원하는 영상이 안나오면 갈고 엎어버리는 작업을 여러번 한거 같아요. 또, 제 스스로 반성하는 부분은 영상은 철저한 기획과 계획이 중요하다는것을 처절하게 느끼고 깨닳은 경험인거 같습니다. AI 가 대체할 수 없는게 인간이 가진 크리에이티브한 능력이고 영상하나를 만들기위해 어떠한 노력과 마음으로 일하는지 영상업계 사람들이 멋있다는 생각도 들어요.

• 케이

  • 프롬프트를 적었는데, 이게 안먹히네. 왜 난 이렇게 하라고 했는데 이렇게 나오지? 라는 이해가 어려운 과정들이 있었습니다. ‘내가 생각하는 대로 나오지 않는다’라는 생각이 들었을 때는 무력함을 느끼다가, 반대로 저는 무난한 이미지를 상상했는데 의외로 디테일하게, 흥미롭게 나오면 신기하다!를 반복했던 것 같습니다. AI로만 스토리보드를 짜고, 음원까지 넣는 상상을 했으나 내 생각과 다른 결과물들이 나오는 과정을 반복하다 보면, ‘아 내가 생각하는게 더 낫겠다. 내가 짜는게 낫겠다. 내가 편집하는게 낫겠다.’라는 생각이 들 때도 있었습니다. 그럴 땐 아날로그(?)로 직접 할 때도 있었는데, 이 과정이 힘들다기보다는 상상을 마음껏 해보는게 재밌게 느껴지기도 했습니다! 그래서 당분간은 내 생각을 표현하는 방식으로 AI를 활용하면서 재밌는 작업들을 많이 해보고 싶습니다.

• 맨디

  • 단순한 '꿈을 사고판다'라는 한국의 특유 문화를 재해석하여 구매자 -> BetaAI -> 판매자로 가는 유저 경험을 자연스럽게 흘러가게 하는 과정을 설계하는데 큰 고민을 가졌습니다. 아무리 '돈'이라는 보상체계를 구상을 해도 유저의 반응을 얻는다는 게 얼마나 힘든지도 깨닫는 경험이었습니다. 추가로 "꿈"이라는 유저도, 심지어 아티스트도 그 누구도 정해진 'ground truth' 가 없는데 단순한 복잡한 글을 해석하는 게 다시 한번 참 힘들다는 것을 깨달았습니다.

• 데이비드

  • 최종 export후에 싱크가 미묘하게 달라지는 부분이 있는데 왜인지…? 이미지를 먼저 배열하고 기획에 따라 배치하는건 시간이 너무 길다 → 초기 기획만하고 음악에 맞게 이미지를 끼워 넣는게 훨씬빠름… 그러나 스토리에 대한 뒷심 부족으로 미완으로 끝낸게 괴롭다

• 윤

  • 모든 구성원이 느낀 바이겠지만, 장면과 장면 간 연속성을 유지하기가 힘듦. 따라서 스토리를 갖는 영상보다는 CF와 같이 장면과 장면의 나열인 영상을 만드는 데에 더 적합할 듯그 외 생성형 AI가 기본적으로 내재한 문제들. 세부적으로는, 프롬프트에 ‘무엇을 제거할 것’을 지시할 수가 없는 것 등

• 이응

  • 아직은 원하는 움직임을 주는 것이 자연스럽지 않아서 처음에 생각한 것을 진행하지 못했고 방향을 바꾸게 되었다. 프롬프트를 입력할 때 가끔 오류가 발생했는데 해결하지 못했고원하는 모습을 절대 구현해주지 않을 때가 있어서 그 점이 어려웠다. 결국은 돌고 돌아 노가다를 하게 되었다. 영어로 입력해도 못 알아듣는 부분이 있었는데 나중에는 형태를 파괴하는 방향으로 바꿔서 마음에 드는 느낌으로 일그러진 것을 골라서 사용했다.

프로젝트를 통해 배운 점

• 쏘니

  • 제가 중간중간에 미드져니나 런웨이의 전문가가 아니지만 저희 세미나/워크샵도 빠짐없이 참여해주신 여러분에게 감사하다고 말씀드리고 싶어요. 저도 어떻게보면 지금 배워가는 단계이고, 전문가라고 볼 수 없거든요. 믿고 따라와주신거에 너무 감사하고, 참여율이 이렇게 높고 퀄리티가 높은 산출물을 보고 뿌듯함은 말로 헤아릴 수 없을거 같아요. 이러한 프로젝트에 PM으로 참여하게 되어서 제가 감사하고 영광이라고 생각해요 감사합니다. :)

• 케이

  • 영상의 다양한 트랜지션에 대한 탐구를 해보고 싶습니다. 구체적으로는, GenAI의 ‘예상치 못한’ 결과물을 만든다는 특징을 더 활용하고 탐색하고 싶습니다. 이번에는 기술의 한계(?), 제 지식의 한계로 영상화 시킬 때 물리법칙을 따르는 결과들만 주로 적용시켰는데(흐르는 물. 줌인 줌아웃 등), 독특하고 자극적인 트랜지션들을 시도해보고 싶다는 생각이 들었습니다. 참여율 높은 열정 많은 분들과 사이드프로젝트 할 수 있다는 자체가 미루지 않는 동기부여가 되어서 좋았습니다. 혼자 했다면 시도하는 것이 무겁게 느껴져서 어려웠을 것 같은데, betaAI 덕에 결과물까지 만들 수 있게 되어서 뿌듯합니다. 이렇게 공부하면 되는구나- 이렇게 시도해야되는구나- 라는 학습 틀을 갖추게 된 것 같아 예상했던 것보다 더 만족스럽습니다. 참여하시는 분들과 고민들 나누고, 해결 팁들 공유받고 서로 생각들을 공유하는 과정도 즐거웠습니다! 잘 이끌어준 쏘니와 함께 열심히 진행해온 맨디, 윤, 이응, 데이비드 모두 수고많으셨습니다!

• 맨디

  • 이번 기회를 통해 단순하게 미드 저니가 아닌 코드 베이스로, 또는 오픈소스 기반의 툴 기반으로 작업을 해보려고 했습니다. 미드저니나 그 스테이블 디퓨젼이 아닌 순수 코드를 통해서 만든다면 어떤 스타일까지도 만들 수 있는가?라는 질문에 대한 대답을 많이 받았습니다. 단순한 흔해빠진 'AI 아트' 가 아닌 많은 스타일로도 표현이 된다는 걸 배웠으며, AI도 아트 산업에 큰 분야가 될 수 있다는 걸 배웠습니다.

• 데이비드

  • 생성형 영상 → 너무 큰 노가다라고 느꼈습니다. 눈이 내리거나 꽃잎이 휘날리는 표현들 보다 사람이나 사물이 장면에서 움직이는 역동적인 컨텐츠를 만들어 보고 싶습니다. 추억과 현실의 그림체를 다르게하는 실험은 나름 만족했습니다만 인물의 동일성을 유지하기에는 cref기능이 아직 한계가 좀 있다고 느꼈습니다. 업데이트 되면 좋겠네요.회사에서는 패션 이미지 위주로 비주얼을 만들다보니 해소되지 않는 창작 욕구들이 있었는데 betaai로 해소해서 만족도가 높았습니다. 하반기에 sora가 나오면 좀 더 딸깍딸깍 쉽게 이미지에 모션을 주거나 텍스트 기반으로 퀄리티 높은 영상을 만들 수 있기를 기대해봅니다.

• 윤

  • 생성형 AI의 단점이자 동시에 장점은 예상과는 전혀 다른 결과가 나온다는 점이라고 생각합니다. 그런 의미에서 아무런 맥락 없이 흘러가는 꿈을 표현하기에는 가장 적합한 도구가 아닌가 싶습니다.어떻게 하면 AI로부터 원하는 결과물을 도출해낼 수 있을지 고민해보는 것이 이번 프로젝트의 처음이자 끝이라고 할 수 있을 것입니다. 프롬프트는 결국 인간의 언어를 AI가 알아들을 수 있는 언어로 변환하는 과정일텐데, 스토리가 있는 영상에 대하여 이것이 얼마나 용이할지는 아직 의문입니다. 스토리라는 것 잧가 철저히 인간적인 개념이기 때문입니다.고퀄리티의 강의와 꿀팁, 결과물들을 공유해주신 모든 저희 프로젝트 구성원 여러분들께 무한한 감사의 말씀 드립니다.

• 이응

  • 다음에 한다면 어떤거를 하고 싶은지, 아쉬웠던 점 좋았던 점을 서술해주세요.일정이 전혀 없었는데 생각지않게 많이 생겨서 좀 더 최선을 다하지 못한 것이 아쉽다. 후반부 노래에 대한 것도 만들고 싶다.