En Realidad Virtual la interacción lo es todo, es curioso como Oculus provee de un SDK para empezar a desarrollar y que sin embargo traiga sólo ejemplos de agarrar y lanzar objetos y nada sobre elementos que desplazan , giran, mueven etc.
Así que hay que buscarse la vida, en este caso por ejemplo, con un trigger compruebo si la mano entra en la zona del cajón, después paso su velocidad al cajón, el cual tiene un rigybody con y,z frezeadas así como todas las rotaciones, finalmente con un Mathf.Clamp controlo las posiciones maximas y mínimas. El resultado es funcional, aunq me quedaría controlar si está en modo agarrar, es decir con el puño cerrado.