Pre-rendered
영상 장면
나방 · 거미 · 기억 회상 · 엔딩
Cinema 4D · Octane · After Effects 로 미리 만들고, 필요에 따라 Houdini · Blender 로 만든 오브젝트와 효과를 더합니다. 관객의 움직임에 반응하지 않고, 정해진 흐름으로 이어집니다.
- Cinema 4D
- Octane
- After Effects
- Houdini · Blender
Technology · LIMEN
How the room sees you, and answers.
관객의 움직임이 네 면의 빛이 되기까지 —
감지하고, 합치고, 반응하고, 투사하는 흐름.
Kinect v2 × 2움직임을 읽는 두 개의 눈
Unity · Spout · MadMapper실시간 처리와 4면 출력
Projector × 4정면 · 좌 · 우 · 바닥
01 / In the room
움직이면,
네 면이 먼저 알아챕니다.
관객이 걷고 멈추는 자리를 센서가 읽고, 그 자리를 중심으로 정면 · 좌 · 우 벽과 바닥의 흐름이 달라집니다. 반응하는 장면은 개미 · 반딧불이 · 사람·군중 세 장면입니다.
02 / Signal path
두 대의 PC,
하나의 방.
Kinect v2 는 PC 한 대에 한 대만 연결됩니다. 그래서 두 대의 센서를 두 대의 PC 가 나눠 읽고, 메인 PC 가 하나의 방으로 합칩니다. 장치를 누르면 하는 일을 볼 수 있습니다.
03 / Sensing
두 개의 시야가
겹치는 자리.
두 센서는 관객 뒤쪽 좌 · 우에서 무대 안쪽으로 비스듬히 교차해 봅니다. 한 사람을 두 센서가 함께 보면 하나로 합치고, 한쪽만 보면 그 시야로 이어 갑니다.
커서를 방 위에 올려 보세요 · 관객의 자리가 됩니다 (웹 시연 · 실제 수치 기반 단순화)
- 센서 A · 메인 PC
- —
- 센서 B · 송출 노트북
- —
- 메인 PC 의 판단
- —
- 시야가로 70.6° · 사람 인식 0.5 – 4.5 m
- 같은 사람두 센서의 골반 위치가 0.5 m 안이면 한 사람으로 묶고, 잘 보이는 쪽에 더 무게를 둡니다
- 뒷모습센서가 관객의 등을 보면 좌우가 뒤바뀌어 읽히므로, 걷는 방향으로 바라보는 쪽을 추정해 바로잡습니다
- 세이프존방 가장자리 0.5 m 안쪽에서 잠시 놓친 사람은 지우지 않고 마지막 자리에 둡니다
04 / Output
네 면이
같은 순간을 비춥니다.
프로젝터 네 대가 한 면씩 맡고, MadMapper 에서 면마다 워핑 · 블렌딩해 정면 · 좌 · 우 벽과 바닥을 한 공간으로 잇습니다. 네 면의 영상은 늘 같은 시간을 보여 줍니다.
면에 커서를 올리면 담당 프로젝터와 제작 규격이 보입니다 · 규격은 제작 인수인계 기준이며 현장에서 다시 확인합니다
05 / Two ways of making
미리 만든 장면과,
지금 반응하는 장면.
Real-time
실시간 장면
개미 · 반딧불이 · 사람·군중
Unity 가 두 센서를 합친 관객의 자리를 받아 그 순간의 장면을 그립니다.
- 개미관객이 선 자리를 돌아서 피해 가고, 머물면 그 둘레를 감싸며 맴돕니다
- 반딧불이움직이면 주변 반딧불이가 더 밝게 빛나고 반응합니다
- 사람·군중움직이는 방향으로 화면 속 사람들도 함께 움직입니다
관객은 공간에 영향을 주지만 모든 것을 조종하지는 않습니다. 장면의 큰 흐름은 정해져 있고, 반응은 관객 둘레에서 일어납니다.
06 / Stack & open source
Hardware
- Kinect v2 × 2
- 관객 뒤쪽 좌 · 우 스탠드에서 무대 안쪽으로 교차
- PC × 2
- 메인 PC(키넥트 A · 합치기 · Unity · 출력) / 송출 노트북(키넥트 B)
- LAN
- 두 PC 를 랜선으로 직접 연결
- Projector × 4
- 정면 · 바닥 · 좌벽 · 우벽을 한 대씩
- Sound
- 공간을 감싸는 스피커
Software
- Unity
- 실시간 장면 · 두 센서 합치기
- Kinect for Windows SDK 2.0
- 관절 · 뎁스 읽기
- Spout open source
- Unity 화면을 매핑 프로그램으로 넘김
- MadMapper
- 네 면 워핑 · 블렌딩
- C4D · Octane · AE
- 영상 장면 제작
Open source we learned from
- LiveScan3D ↗
- 여러 키넥트를 표식으로 한 좌표에 맞추는 방식
- RoomAlive Toolkit ↗
- 여러 센서 · 프로젝터로 방 전체를 다루는 구조
- Spout2 ↗
- 프로그램 사이 실시간 화면 공유
- three.js ↗ · Lenis ↗
- 이 웹사이트의 3D 와 스크롤
Behind the room
기술은 보이지 않을 때
가장 잘 작동합니다.
전시장에서는 장치 대신 흐름만 남습니다. 그 흐름을 만든 날들의 기록은 ARCHIVE 에 있습니다.