Segui todos os passos mencionados nesse tutorial http://xubuntu.wordpress.com/2006/08/09/howto-fix-xfce-fonts/ Com o driver nv funciona, porém se eu alterar no xorg.conf pro nvidia o problema volta