So, es scheint gelöst!
1) Zuerst musste die NVIDIA Grafikkarte ausbauen und die Intel Onboard-Grafik von der CPU nutzen (Xeon E3-1200 v2/3rd Gen Core processor Graphics Controller). Es scheint als wenn das für meine Zwecke ausreichend wäre.
2) Dann in VMWare in der .vmx-Datei den Zusatz mks.gl.allowBlacklistedDrivers = "TRUE" einfügen. Ohne das erkennt VMWare die 3D Fähigkeiten nicht. Crazy...
3) Jetzt noch die 3D Beschleunigung in den VM-Settings (Display) aktivieren
So geht es! Danke nochmal für alle Tipps!