Un sistema vestible captura la actividad humana para entrenar robots humanoides
Tres laboratorios de Shanghái y Zhejiang grabaron 100 horas de trabajo humano con sensores en cabeza, manos y tobillos.
7 de noviembre de 2026 · 2 min de lectura
Un equipo del Shanghai AI Laboratory, la Universidad de Zhejiang y la Universidad Jiao Tong de Shanghái armó un sistema que se lleva puesto para registrar cómo trabajan las personas. Con eso busca enseñarles tareas manuales a robots humanoides.
El equipo, con Yunsong Zhou y Xuekun Jiang entre los autores, usa una cámara GoPro HERO13 en la cabeza y cinco sensores VIVE Ultimate Trackers: uno en la cabeza, uno en el dorso de cada mano y uno en cada tobillo. Guantes MANUS Metagloves o Wuji registran los dedos, y los Wuji también el tacto. Soportes y correas impresos en 3D sujetan todo.
Con el sistema grabaron 100 horas de personas haciendo actividades, con énfasis en las profesionales. El conjunto de datos se llama EgoExplorer. Alinea el video en primera persona con el movimiento de todo el cuerpo, el movimiento fino de los dedos, el tacto y una descripción de cada paso.
Para reconstruir el cuerpo con pocos sensores, desarrollaron un procedimiento llamado Calibrate-Complete-Constrain. Calibra el cuerpo de cada participante, estima las articulaciones sin sensor a partir de patrones de movimiento aprendidos y verifica que el resultado sea suave y respete la anatomía.
Según los autores, el método reduce un 71,9 % el error de posición del cuerpo frente al mejor método de comparación, medido contra referencias ajustadas con los sensores. También mejora la estabilidad de las manos y la estimación del contacto.
En simulación, un controlador para un robot Unitree G1 siguió movimientos adaptados de dos grabaciones sin caerse. Eso no demostró manipulación precisa de objetos ni buen desempeño en tareas nuevas, y el trabajo, publicado como preprint en arXiv, no probó robots físicos.
Un respiro · Remolcá un par de robots varados en la Antártida