41개의 작품, 마지막 칸은 비어 있었다
읽고, 드러내고, 되돌리려 했던 하루
ToyThon 갤러리에는 41개의 작품이 올라와 있었다.
거북목을 감지하는 웨어러블이 있었고, 숏폼을 넘기는 손의 리듬을 읽는 그립톡이 있었다. 고양이 밥그릇의 진동을 감지하는 센서, 몸짓으로 음악을 만드는 장치, 투자 결과에 따라 자라는 펫, AI 에이전트의 위험을 몸으로 드러내는 카NU리아도 있었다.
작품마다 기능은 여러 개였지만, 처음 보여주려 한 장면은 하나씩 잡을 수 있었다.[^1]
28개는 바깥을 읽었다
가장 큰 무리는 사람이나 주변의 변화를 입력으로 삼은 작품이었다.
산업현장 안전 장치들은 작업자의 상태와 위험을 읽으려 했다. 자세 교정 웨어러블은 머리와 상체의 각도를 비교했고, 보행 분석 장치들은 걸음과 발바닥 압력을 살폈다. 고양이 밥그릇 센서는 진동을 읽었고, 분실 방지 장치는 사용자가 물건을 두고 떠나는 순간을 잡으려 했다.
사람의 몸을 입력장치로 바꾼 작품도 많았다.
속삭임과 손짓으로 AI를 제어하는 한 손 컨트롤러가 있었다. 맞춤형 제스처 컨트롤러, 몸동작을 게임 조작으로 바꾸는 장치, 손동작을 익혀 비트와 음악 구성을 바꾸는 장치도 있었다.
쓰임새는 달랐지만 관객이 처음 보게 되는 인과관계는 닮아 있었다.
고개를 앞으로 내밀자 두 센서의 값이 벌어졌다.
손을 흔들자 음악이 바뀌었다.
밥그릇을 건드리자 진동값이 올라갔다.
내가 움직였고 시스템이 반응했다.
원인과 결과가 한 장면 안에 붙어 있었다.
이 작품들의 전체 구현이 단순했다는 뜻은 아니다.
숏폼을 넘기는 리듬과 평범한 손동작을 구분하는 일도 어렵다. 사람마다 다른 몸짓을 익히고, 지연과 오작동을 줄이고, 소리와 박자를 맞추는 일도 필요하다.
제품 전체는 복잡할 수 있다.
다만 관객이 무엇을 만들려 했는지 알아보는 순간은 비교적 일찍 나타났다.
제품 전체의 난도와 첫 장면까지의 거리는 같은 말이 아니었다.
4개는 안쪽을 드러냈다
반대쪽에서 출발한 작품은 4개였다.
한 작품은 스마트폰이 충전되는 시간을 명상 캐릭터의 상태로 표현했다.
다른 작품은 사람이 곁에 없는 동안 반려 가젯의 확신이 한 칸씩 줄어들게 했다.
또 다른 작품은 투자와 소비의 결과를 펫의 성장으로 보여줬다.
우리 팀의 카NU리아는 AI 에이전트가 하려는 행동의 위험을 눈과 몸짓으로 드러내려 했다.
네 작품은 EASY와 MAKER에 두 개씩 나뉘어 있었다. 어느 한 트랙에만 나타난 방향은 아니었다.
이 작품들은 센서 앞에서 이미 벌어지는 움직임을 읽는 것만으로 시작할 수 없었다.
펫이 살찌려면 먼저 손익이 계산돼 있어야 했다. 반려 가젯의 확신이 줄어들려면 사람이 곁에 없었던 시간이 하나의 상태로 바뀌어야 했다. 카NU리아가 놀라려면 에이전트가 어떤 행동을 하려는지 알아야 했고, 그 행동이 얼마나 위험한지도 판단해야 했다.
그다음에야 안쪽의 상태를 성장, 눈 모양, 표정과 몸짓으로 바꿀 수 있었다.
서보모터를 움직이는 것 자체는 어렵지 않았다.
문제는 왜 움직여야 하는가였다.
몸을 만들기 전에 몸이 말할 내용을 만들어야 했다.
1개는 되돌리려 했다
네 작품은 안쪽의 상태를 밖으로 드러낸다는 점에서 닮아 있었다.
표현이 나타난 뒤 어디까지 이어져야 했는지는 달랐다.
투자 결과를 표현하는 펫은 손익에 따라 살찌거나 마르면 의도한 변화가 나타난다. 반려 가젯은 사람이 곁에 없는 동안 확신이 줄어드는 모습으로 관계의 변화를 보여준다. 명상 캐릭터는 충전 시간을 스마트폰을 내려놓는 계기로 바꾼다.
카NU리아에는 그다음이 붙어 있었다.
위험한 표정을 본 사람이 얼굴 앞에서 손을 흔들면, 대기 중인 에이전트 행동이 실제로 취소돼야 했다.
손짓으로 시스템을 조작하는 작품은 여럿 있었다. 차이는 손짓보다 앞에 있었다.
시스템이 먼저 자신이 하려는 행동을 드러낸다. 사람은 그 모습을 본 뒤 판단한다. 그 판단이 다시 같은 시스템으로 들어가 아직 실행되지 않은 행동을 바꾼다.
공개 소개문과 제출 자료를 기준으로 보면, 이 왕복을 성공 조건으로 삼은 작품은 카NU리아 하나였다.
완성된 왕복은 0개였다
우리는 에이전트의 위험 상태가 OLED의 표정과 서보모터의 움직임으로 나타나는 데까지 만들었다.
카NU리아는 놀랄 수 있었다.
하지만 사람이 얼굴 앞에서 손을 흔들어도 대기 중인 에이전트 행동은 취소되지 않았다. 실제 파일을 그대로 남기는 마지막 결과까지는 이어지지 않았다.
희소성과 우월성은 다른 말이다.
카NU리아가 더 좋은 문제를 골랐다는 뜻은 아니다. 우리가 정한 도착점이 더 뒤에 있었고, 그 길을 끝내 잇지 못했다.
1은 설계였고, 0은 결과였다.
손짓 뒤에는 더 긴 길이 있었다
전면 근접 센서가 손짓을 알아보는 데까지는 비교적 짧았다.
값이 달라지고, 프로그램이 그 변화를 중단 신호로 해석하면 된다.
그 손짓으로 실제 실행을 멈추려면 더 많은 것이 연결돼야 했다.
시스템은 어느 요청이 아직 대기 중인지 알아야 했다. 해당 요청이 실행되기 전에 막을 수 있어야 했다. 이미 일부가 실행됐다면 되돌릴 방법도 필요했다. 마지막에는 파일이 실제로 바뀌지 않았는지 확인해야 했다.
에이전트와 위험 판단기, 물리 장치와 실행 환경이 모두 같은 요청을 보고 있어야 했다.
앞은 감지의 문제였다.
뒤는 권한과 실행 순서, 취소와 복구를 한꺼번에 묶는 문제였다.
센서가 손짓을 알아보는 것과 그 손짓이 실제 결과를 바꾸게 하는 것은 다른 일이었다.
이어야 할 것이 늘어날수록 실패할 곳도 늘어났다.
가장 중요한 기능이 끝까지 남는 것은 아니다
41개의 분포를 이 한 가지 이유만으로 설명할 수는 없다.
팀마다 인원과 경험이 달랐다. 사전에 준비한 정도도 달랐고, EASY와 MAKER의 조건도 같지 않았다. 어떤 팀은 익숙한 문제를 가져왔고, 어떤 팀은 행사장에서 방향을 바꿨다.
그래도 작품마다 무엇이 먼저 눈에 보였는지는 달랐다.
자세를 읽는 작품은 고개를 내밀자 숫자가 바뀌었다.
몸짓으로 음악을 만드는 작품은 손을 움직이자 비트가 붙었다.
안쪽 상태를 표현하는 작품은 몸이 말할 내용을 먼저 만들어야 했다.
카NU리아는 그 모습을 본 사람의 판단이 실제 행동까지 바꿔야 했다.
시간이 부족할 때 끝까지 남는 것은 가장 중요한 기능이 아니라, 가장 먼저 작동한 기능일 수 있다.
표정과 움직임은 먼저 작동했다. 그 표정을 본 사람의 판단이 실제 권한과 결과를 바꾸는 데까지는 끝내 닿지 못했다.
마지막 칸은 비어 있었다.
우리도 그 안에 있었다.
문제는 그 빈칸이 화면 위에서는 빈칸처럼 보이지 않는다는 데 있었다.
[허용] [취소][^1]: 숫자는 갤러리 소개문과 공개 제출 자료에서 각 작품이 처음 보여주려 한 장면을 기준으로 셌다.