AI 동영상 제작의 특이점? Animate anyone 알아보기

알리바바에서 발표한 신기술

 Animate anyone은 정지된 이미지로부터 캐릭터에게 모션을 적용하여 비디오를 생성하는 프레임워크입니다. 한 장에 이미지에서 복잡한 외형 일관성을 유지하고, Openpose를 통해 캐릭터의 움직임을 효과적으로 제어하고, 비디오 프레임 전환히 굉장히 부드럽습니다. 알리바바는 깃허브에 업로드할 예정이라고 밝혔으나 구체적인 출시 일정은 아직 알려지지 않았습니다.

<좌>참조 이미지, <우> 모션을 적용하여 생성한 비디오

 

기술적 설명

 제가 전공자가 아니라 ChatGPT의 설명을 인용하겠습니다. Pose Guider를 통해 포즈 시퀀스가 인코딩되고, 이를 멀티프레임 노이즈와 결합한 후, Denoising UNet이라는 노이즈 제거 과정을 거쳐 최종 비디오를 생성한다고 합니다. Civit.ai에 올라오던 멀티컨트롤넷을 이용한 비디오 생성과 어떤 차이가 있길래 높은 일관성을 유지하면서 노이즈가 없는 Demo를 보여줄 수 있는건지 이해는 못하겠네요.

Method 설명 이미지

 

적용 예시

 데모에서는 사람 뿐 아니라 만화나 영화 속 캐릭터에도 기술이 적용된 모습을 확인할 수 있었습니다. 그리고 패션 비디오와 댄스 비디오에서 추출한 모션을 적용한 시나리오를 선보였죠. 아마, 이 기술이 오픈소스로 풀리게 된다면 유튜브나 틱톡 쇼츠에 AI 캐릭터들의 댄스영상이 엄청나게 업로드될 것으로 전망됩니다. 그래도 AI를 활용한 컨텐츠 생성의 가능성이 엄청 확대될 것 같아서 기대가 되네요.

 

Animate Anyone