Convertí un agente de programación en marioneta y lo muevo con los dedos
Vi un clip corto de alguien que sostenía un robot colgado de hilos con la mano, frente a una webcam, con una terminal falsa llenándose de texto al lado. El pie del video era un chiste sobre programar con agentes. Me reí, y después quise uno.
Así que lo armé en una noche. Cinco hilos van de las puntas de mis dedos a un androide 3D. Levanto un dedo y un brazo lo sigue. Todo corre en el navegador, y el video nunca sale de mi laptop.

Así funciona, pieza por pieza. Ninguna es exótica; lo divertido está en cómo encajan.
La mano
El seguimiento de manos es la parte que todos suponen difícil. Es la más fácil. Hand Landmarker, de MediaPipe de Google, recibe un fotograma de video y devuelve 21 puntos por cada mano: la muñeca y cuatro puntos a lo largo de cada dedo. Corre como WebAssembly dentro de la página, en la GPU cuando puede.
const files = await FilesetResolver.forVisionTasks('vendor/wasm');
const tracker = await HandLandmarker.createFromOptions(files, {
baseOptions: { modelAssetPath: 'models/hand_landmarker.task', delegate: 'GPU' },
runningMode: 'VIDEO',
numHands: 1,
});
const result = tracker.detectForVideo(video, performance.now());
El modelo y los archivos de WebAssembly los alojo yo, así que la página no habla con nadie más. Eso además me permite mantener una Content Security Policy estricta.
Los puntos llegan relativos al encuadre de la cámara. El video en pantalla está en espejo y recortado para llenar la ventana, así que cada punto tiene que pasar por el mismo giro y el mismo recorte antes de coincidir con la punta real de tu dedo. Si fallas por unos pocos píxeles, la ilusión se muere.
De un dedo a un hilo
No quería gestos. Un gesto es un interruptor, y una marioneta no es un interruptor. Quería que cada dedo fuera un valor continuo.
Para cada dedo mido qué tan lejos está la punta de su nudillo, en la dirección hacia donde apunta la mano, y lo divido por el tamaño de la palma. Un dedo doblado da más o menos cero. Uno estirado da más o menos uno. Como se mide en el marco de la propia mano, no importa si la mano está cerca, lejos o inclinada.
Ese número no mueve la marioneta directamente. Primero pasa por un resorte un poco subamortiguado, así que la extremidad se pasa un poco y luego se asienta. Ese pequeño rebote hace que se sienta como un peso colgando de un hilo y no como un slider.
El mapeo es el clásico de las marionetas. El pulgar sostiene la cabeza. El índice y el medio, los brazos. El anular y el meñique, las rodillas.
El androide
El personaje ya existía como un retrato que hice para otro proyecto. Una marioneta necesita un cuerpo con articulaciones, así que le hice uno en dos pasos.
Primero le pedí a un modelo de imágenes el mismo personaje, de cuerpo entero, de frente, de pie en pose A sobre un fondo gris liso. La pose A importa. Con los brazos separados del cuerpo, el siguiente paso puede encontrar los hombros.
Después pasé esa imagen por un modelo de imagen a 3D con el auto rigging activado. Unos minutos más tarde tenía una malla con texturas y un esqueleto de 24 huesos: cadera, columna, cuello, cabeza y tres huesos para cada brazo y cada pierna. Bajé las texturas a 1024 píxeles y el archivo pasó de 16 MB a menos de 5.
Mover huesos de un rig que no hiciste
Un esqueleto con rig automático tiene una trampa. No sabes hacia dónde apuntan los ejes de cada hueso, así que no puedes simplemente decir gira el codo 40 grados sobre X.
La solución es no pensar nunca en los ejes del hueso. Trabaja en espacio de mundo. Toma el hueso, toma la articulación que cuelga de él y toma el lugar donde quieres que quede esa articulación. Busca la rotación que convierte una dirección en la otra y luego pásala de vuelta al espacio local del hueso.
function aim(bone, child, target) {
const from = child.getWorldPosition(a).sub(bone.getWorldPosition(b)).normalize();
const to = target.clone().sub(b).normalize();
const turn = new THREE.Quaternion().setFromUnitVectors(from, to);
const world = bone.getWorldQuaternion(new THREE.Quaternion());
const parent = bone.parent.getWorldQuaternion(new THREE.Quaternion()).invert();
bone.quaternion.copy(parent.multiply(turn.multiply(world)));
}
Esa sola función posa toda la marioneta. Un brazo son dos llamadas: calculas dónde tiene que estar el codo a partir de los largos de los dos huesos, apuntas la parte alta del brazo hacia él y después apuntas el antebrazo al objetivo de la mano. Una pierna es la misma idea, con la rodilla como lo que cuelga del hilo y la espinilla colgando libre.
Cada fotograma empieza devolviendo todos los huesos a su pose de reposo. Encima se aplican los tirones. Ningún estado pasa de un fotograma al siguiente, así que nada se va desviando.

Los hilos
Los hilos no están en la escena 3D. Se dibujan en un canvas 2D normal encima, desde cada punta de dedo hasta el punto donde está la extremidad en pantalla.
Cada uno es una cadena de 14 puntos con gravedad, sujeta por los dos extremos. Es integración de Verlet, el truco más viejo de la física de videojuegos: mueves cada punto lo mismo que se movió en el fotograma anterior, sumas la gravedad y luego corriges varias veces a los vecinos para devolverlos a la distancia correcta.
Un hilo tenso recibe casi exactamente el largo que necesita, así que queda recto. Uno flojo recibe de más, así que se comba y se balancea. La forma del hilo sale solo de ese largo.
Un panel que dice la verdad
El clip que empezó todo tenía una terminal llena de actividad inventada: épocas de entrenamiento, migraciones de memoria, tamaños de archivo. Se ve genial y nada de eso está pasando.
Me quedé con el panel y lo hice honesto. El estado se calcula a partir de la mano. Idle significa que los dedos están quietos. Running, que se están moviendo. Heavy lifting, que todos los hilos están tirando a la vez. Las líneas del log son eventos reales con números reales, como qué hilo se tensó y cuánto.
Resulta que la versión verdadera es más divertida de mirar, porque te responde. Mueves un dedo y aparece una línea.

Probar una página de webcam sin webcam
Este tipo de página no se puede comprobar leyendo el código, y saludar a la laptop en cada cambio cansa rápido. Dos cosas hicieron que se pudiera probar.
La primera es una mano simulada. Una función pequeña genera los mismos 21 puntos a partir de un guion: relajada, moviendo los dedos, abierta, puño. La página no nota la diferencia, así que cada captura sale igual cada vez.
La segunda es la cámara falsa de Chrome. Dos flags hacen que el navegador reproduzca un archivo de video como si fuera la webcam y acepte por su cuenta el aviso de permiso:
--use-fake-device-for-media-stream
--use-file-for-fake-video-capture=hand.mjpeg
Así se recorre el camino real de principio a fin: cámara, tracker, marioneta. Le pasé fotos de una mano señalando, un signo de victoria y un pulgar arriba, y comprobé que cada una tirara de los hilos correctos y de ninguno más.
Lo que puedes robarte de esto
Si quieres construir algo parecido, estas son las partes que vale la pena conservar:
- Mide los dedos en el marco de la propia mano, escalado por la palma. La distancia y la inclinación dejan de importar.
- Pon un resorte entre la entrada y lo que mueve. El tracking crudo se ve robótico. Un poco de rebote se ve vivo.
- Posa un rig desconocido en espacio de mundo con una sola función que apunta.
- Dibuja los hilos en 2D. Solo tienen que verse bien desde una cámara.
- Muestra el estado real. Un log falso es decoración. Uno verdadero te responde.
- Crea una entrada simulada desde el primer día, para poder probar la página igual cada vez.
Todo es una página HTML, un script y tres archivos que carga: el tracker, su modelo y el androide. La gente llama juguete a este tipo de cosas, y tiene razón. También es la forma más rápida que conozco de entender seguimiento de manos, esqueletos y un poco de física de una sentada.