Einen ganzen Raum mit einem virtuellen, dreidimensionalen Interieur zu bestücken, das auf die Nutzer reagiert - soweit ist man bei Microsoft allerdings noch nicht. Der Holodesk beschränkt sich auf einen kleinen Bereich, in dem virtuelle Gegenstände mit den Händen bewegt werden können. Um die 3D-Objekte überhaupt sehen zu können, muss der Nutzer durch ein durchsichtiges Display schauen. Dabei reagieren die virtuellen Kugeln und Quader bis zu einem gewissen Grad auch nach den Gesetzen der Physik. Ein Demovideo veranschaulicht die Funktionsweise des Systems gut.