Genie 4: 소리까지 만드는 구글 딥마인드 실시간 월드 모델

2026년 10월 28일

Genie 4구글 딥마인드 Genie 4Genie 4 월드 모델Project GenieGenie 3 Genie 4 비교+1 more

구글 딥마인드가 2026년 10월 27일 Genie 4를 공개했습니다. Genie 4는 월드 모델입니다. 장소를 글로 묘사하면 그 장면을 실시간으로 만들어 내고 사용자는 키보드로 그 안을 돌아다니거나 문장을 입력해 장면을 바꿀 수 있습니다. 이번에 달라진 점은 소리입니다. 딥마인드는 Genie 4를 "오디오를 네이티브로 생성하는 첫 실시간 월드 모델"이라고 소개합니다. 주변 소음, 음악, 등장인물의 대사가 화면과 같은 모델에서 나온다는 뜻입니다(Google DeepMind).

지금은 신뢰할 수 있는 테스터(trusted tester)만 쓰는 연구 프리뷰 단계입니다. 딥마인드는 Project Genie를 통해 Google AI Ultra 구독자에게, 그리고 Gemini API와 Google AI Studio의 얼리 액세스 파트너에게 "곧" 제공한다고 밝혔습니다. 해상도, 프레임레이트, 세션 길이, 가격은 공개하지 않았습니다.

핵심 요약

Genie 4는 상호작용 가능한 세계를 실시간으로 그리면서 주변 소리, 음악, 상황에 따라 바뀌는 대사까지 함께 생성합니다.
일부 작업은 Gemini 모델이 맡습니다. Gemini Omni는 장면이 실제 세계의 모습과 움직임에서 벗어나지 않게 잡아 주고 Gemini 3.8 Flash는 생성 중에 단계를 계획하고 확인하는 가이드 에이전트로 동작합니다.
실행 중인 세계를 일상 언어로 조종할 수 있습니다. 날씨를 바꾸고 카메라를 옮기고 사람이나 사물을 추가하는 식입니다.
현재는 테스터만 쓸 수 있습니다. 다음 순서는 Project Genie(Google AI Ultra)와 Gemini API이며 날짜는 나오지 않았습니다.
생성된 영상과 오디오에는 모두 SynthID 워터마크가 들어갑니다.
딥마인드는 긴 세션에서 생기는 장면 흔들림, 글자 렌더링, 공간 정확도, 오디오 정확도를 아직 풀지 못한 과제로 꼽았습니다.

Genie 4는 어떤 모델인가

월드 모델은 환경이 시간에 따라, 그리고 사용자의 행동에 따라 어떻게 변하는지 예측하는 AI 시스템입니다. 정해진 영상 클립을 보여 주는 대신 사용자가 움직일 때마다 다음 프레임을 그 자리에서 만들어 냅니다. 게임 엔진처럼 입력에 반응하지만 미리 만들어 둔 맵이나 에셋은 없습니다.

Genie 4는 딥마인드 Genie 시리즈의 네 번째 모델입니다. 2025년 8월 5일 발표된 Genie 3는 720p, 초당 24프레임으로 돌아갔고 세계를 "몇 분" 동안 일관되게 유지했으며 약 1분 전까지 보여 준 장면을 기억했습니다(Google DeepMind, Genie 3). 발표문에 따르면 Genie 4는 이 실시간·키보드 조작 방식을 그대로 두고 세 가지를 끌어올렸습니다. 사실감, 사람과 사물의 자연스러운 움직임, 그리고 네이티브 오디오입니다.

같은 백스테이지 프롬프트로 만든 Genie 3(왼쪽)와 Genie 4(오른쪽) 화면 비교, 키보드 조작 표시 포함 — 딥마인드가 공개한 같은 백스테이지 장면 비교. 왼쪽이 Genie 3, 오른쪽이 Genie 4입니다.Google DeepMind

Genie 4에서 달라진 점

소리와 대사를 같은 모델이 만든다

이전 Genie 모델은 소리가 없었습니다. Genie 4는 음악과 주변 소음, 그리고 "그때그때 맞춰 바뀌는 상호작용형 대사"를 만듭니다. 딥마인드 데모 중 하나에서는 일본 시골 역 승강장의 역무원이 카메라 쪽으로 걸어오며 다음 열차 출발을 안내하고 다른 데모에서는 섬에서 피아노 이중주가 흘러나옵니다. 소리를 나중에 덧입히는 것이 아니라 프레임과 함께 생성하기 때문에 발소리, 바람 소리, 말소리가 사용자의 행동을 따라갈 수 있습니다.

일본 기차역 승강장의 역무원과 He announces the next departure라고 적힌 대사 입력창이 보이는 Genie 4 데모 화면 — 입력한 이벤트에 따라 등장인물이 말을 하는 Genie 4 데모. 대사는 영상과 함께 오디오로 생성됩니다.Google DeepMind

실행 중인 세계를 말로 바꾼다

세션 도중에 일상 언어로 세계를 바꿀 수 있습니다. 날씨를 바꾸거나 카메라를 옮기거나 새 인물과 사물을 넣는 식입니다. 딥마인드는 Gemini가 현재 장면에 맞게 프롬프트를 다듬어 준다고 설명합니다. 이동은 일반적인 키보드 조작을 씁니다. 데모에는 참고 이미지를 첫 프레임으로 쓰는 예도 있는데, 이렇게 하면 평면 사진 한 장이 걸어 들어갈 수 있는 공간이 됩니다.

Gemini가 생성 과정에 들어간다

딥마인드가 설명한 Gemini 모델의 역할은 세 가지입니다.

Gemini Omni는 시뮬레이션이 실제 세계의 모습과 움직임을 따르도록 붙잡고 다른 Gemini 모델이 일관성과 연속성을 위한 추론을 맡습니다.
Gemini 3.8 Flash는 생성 중에 가이드 에이전트로 동작할 수 있습니다. 장면을 지켜보며 목표를 단계로 쪼개고 각 단계가 제대로 됐는지 확인하고 세계가 바뀌거나 사용자가 개입하면 계획을 고칩니다.
실험 단계에서는 Gemini 4 Argon이 작업 단계를 텍스트 캡션으로 Genie 4에 넣어 주는 방식도 시험했습니다. 예시는 Apptronik Apollo 휴머노이드 로봇이 체커를 두는 장면입니다. Argon의 강점과 약점은 Gemini 4 Argon 벤치마크 글에서 다뤘습니다.

로봇 팔이 피펫 팁을 마이크로플레이트에 넣는 Genie 4 로보틱스 데모와 계획을 설명하는 추론 단계 패널 — 로보틱스 데모. Genie 4가 실험실 로봇 팔을 시뮬레이션하는 동안 Gemini 에이전트가 추론 단계를 쓰고 점검합니다.Google DeepMind

물리와 사람의 움직임

딥마인드는 Genie 4가 공기역학과 충돌을 시뮬레이션하며, 등장인물이 "자연스럽게 움직이고 환경에 유기적으로 반응하며 실시간으로 조종할 수 있다"고 말합니다. 데모 프롬프트에는 떨어지는 단풍나무 씨앗, 실크 스카프, 열기구가 등장합니다.

Genie 3, Project Genie, Genie 4 비교

	Genie 3	Project Genie(현재)	Genie 4
발표	2025년 8월 5일	2026년 1월 29일	2026년 10월 27일
성격	연구용 월드 모델	Genie 3 기반 Google Labs 웹앱	연구용 월드 모델
오디오	없음	없음	네이티브 생성(주변음, 음악, 대사)
공개된 사양	720p, 24fps, 몇 분간 일관성 유지	세션당 60초	해상도·fps·세션 길이 미공개
Gemini 역할	별도 설명 없음	Gemini와 Nano Banana Pro가 세계 생성 보조	Gemini Omni 그라운딩, Gemini 3.8 Flash 가이드 에이전트
이용 대상	제한적 연구 프리뷰	Google AI Ultra 구독자(만 18세 이상)	테스터 한정, Ultra·API는 "곧"

출처: Genie 3 발표, Project Genie 도움말, TechCrunch, Genie 4 발표.

Genie 4 이용 방법

아직 일반 사용자가 Genie 4를 쓸 방법은 없습니다. 딥마인드가 밝힌 경로는 세 가지입니다.

신뢰할 수 있는 테스터. 지금 진행 중인 프리뷰입니다. 딥마인드는 영화 제작자, 게임 개발자, 기업 파트너 등이 테스트하고 있다고 밝혔습니다.
Google AI Ultra 구독자용 Project Genie. Project Genie는 구글의 실험적인 세계 생성 앱으로, 2026년 1월 29일 미국 AI Ultra 구독자를 대상으로 Genie 3, Nano Banana Pro, Gemini를 묶어 출시됐습니다(TechCrunch). 현재 구글 도움말에는 Google AI Ultra가 제공되는 곳에서 만 18세 이상이면 쓸 수 있고 세계마다 60초 동안 탐험할 수 있다고 나와 있습니다. Genie 4는 이곳에 추가될 예정이며 대기자 명단을 받고 있습니다.
Gemini API와 Google AI Studio. 얼리 액세스 파트너가 먼저 씁니다. 가격과 사용량 한도는 공개되지 않았습니다.

이미 Project Genie를 쓰고 있다면, 구글이 전환을 발표하기 전까지는 60초 제한과 Genie 3 기반 동작이 그대로라고 보면 됩니다.

테스터들은 어디에 쓰고 있나

딥마인드가 소개한 초기 활용 사례는 네 가지입니다.

크리에이티브 디렉션: 촬영 전에 장면을 미리 짜 보는 프리비주얼라이제이션용 "초안 모드".
역사·아카이브 작업: 평면 사진을 직접 돌아다닐 수 있는 공간으로 바꾸기.
게임 콘셉트 디자인: 텍스트 프롬프트로 레벨이나 분위기를 빠르게 시제품으로 만들기.
시뮬레이션: 로보틱스를 포함한 "제로 투 원" 시나리오 생성. 현실에서 연출하기 드물거나 비싼 상황을 월드 모델로 만들어 훈련에 쓸 수 있습니다.

발표문에서 가장 많은 분량을 차지하는 것도 로보틱스입니다. 물리 법칙과 사물을 안정적으로 유지하는 월드 모델이 있으면, 로봇이 실제로 움직이기 전에 AI 에이전트가 시뮬레이션 속에서 먼저 연습해 볼 수 있습니다. Argon과 Apollo 실험은 이 아이디어를 처음 시험해 본 사례입니다.

한계와 안전장치

딥마인드는 아직 부족한 점을 숨기지 않습니다. 세션이 길어지거나 프롬프트를 여러 번 고치거나 이리저리 이동하면 시각적 디테일과 사물의 영속성이 "시간이 지나며 바뀌거나 흐트러질 수 있다"고 적었습니다. 복잡한 물리 상호작용, 실시간 오디오 정확도, 읽을 수 있는 글자 렌더링, 공간 정확도, 장기 일관성은 여전히 연구 중인 과제입니다. 글자 렌더링과 세션 길이는 2025년 Genie 3 때부터 한계 목록에 있던 항목입니다.

Project Genie 초기 사용기를 보면 데모와 실제 사용 사이의 거리가 어느 정도인지 짐작할 수 있습니다. TechCrunch 리뷰어는 사실적인 스타일의 프롬프트가 게임 화면처럼 보이는 경우가 많았고 캐릭터가 벽을 통과하거나 키보드 입력이 엉뚱한 방향으로 먹히는 일도 있었다고 전했습니다(TechCrunch). 이는 Genie 3 시절 이야기입니다. Genie 4가 이 문제를 고쳤는지는 테스터 밖의 사람들이 써 봐야 알 수 있습니다.

안전 측면에서 딥마인드는 Genie 4에 다른 모델과 같은 수준의 가드레일을 적용했고 프리뷰 전에 내부 평가를 거쳤으며 테스터에게 먼저 배포했다고 밝혔습니다. 생성된 모든 영상과 오디오에는 구글의 비가시 AI 워터마크인 SynthID가 들어갑니다.

왜 주목할 만한가

영상 생성 모델은 보는 클립을 만들고 월드 모델은 그 안에서 행동할 수 있는 공간을 만듭니다. 네이티브 사운드가 붙으면서 Genie 4의 장면은 소리 없는 렌더링보다 훨씬 '현장'에 가까워졌고 Gemini 에이전트가 생성 과정에 들어오면서 AI 시스템이 계획하고 행동하고 결과를 확인하는 샌드박스가 됐습니다. 월드 모델이 물리와 사물을 더 오래 일관되게 유지할 수 있다면, 실제 세계에서 무언가를 하기 전에 에이전트와 로봇을 싸게 시험하는 수단이 됩니다.

다만 딥마인드는 Genie 4의 해상도와 프레임레이트, 세션을 얼마나 오래 이어 갈 수 있는지, 비용이 얼마인지 아직 밝히지 않았습니다. 그 전까지 Genie 4는 인상적인 데모와 대기자 명단 단계에 있다고 보는 게 맞습니다.

Genie 4: 소리까지 만드는 구글 딥마인드 실시간 월드 모델

핵심 요약

Genie 4는 어떤 모델인가

Genie 4에서 달라진 점

소리와 대사를 같은 모델이 만든다

실행 중인 세계를 말로 바꾼다

Gemini가 생성 과정에 들어간다

물리와 사람의 움직임

Genie 3, Project Genie, Genie 4 비교

Genie 4 이용 방법

테스터들은 어디에 쓰고 있나

한계와 안전장치

왜 주목할 만한가

자주 묻는 질문

Genie 4는 무엇인가요?

지금 Genie 4를 쓸 수 있나요?

Genie 3와 무엇이 다른가요?

Genie 4는 무료인가요?

Genie 4로 만든 결과물은 어떻게 구별하나요?

출처

Share this post