"adding them to the vboxusers groups" Creo que te tienes que añadir al grupo vboxusers. Lo puedes hacer gráficamente desde el menu administración / usuarios y ahí en la pestaña de grupos.