Ist schon eine weile her, aber als ich mit ODE rumgespielt hatte war da im Quellcode eine optional zu nutzende Kollisionsbibliothek, die war ganz ok wenn ich mir richtig erinnere. Bin da aber nicht auf einem aktuellen Stand, da ich schon vor einer ganzen weile auf Java umgestiegen bin.
Am besten wäre es wohl, wenn du dich auf sourceforge umschaust, such da mal mit dem suchstring "(+3d +collision)" also ohne Anführungszeichen aber mit den Klammern. Ich würde dir auch empfehlen solche Fragen lieber im GameDev Forum oder einem C/C++ Forum zu stellen, weil dort sicher mehr Leute sind die dir bei diesem Problem weiterhelfen können.
Schnell war die Bibliothek schon, aber generell musst du daran denken, dass polygongenaue Kollisionsabfragen schon ein wenig Rechenzeit kosten und ein naives Abfrage muster (immer jedes Objekt mit jedem) mit der Zahl der Objekte quadratisch wächst (was immer schlecht ist), also wird je nach dem was für eine art Spiel du planst das ganze vermutlich schon komplizierter.
Wenn du nur ein Spiel machen willst und dich eigentlich nicht auf diesem Level mit der Materie beschäftigen willst, würde ich dir doch eher zur Verwendung eine fertigen Engine raten. Das erhöht die Wahrscheinlichkeit ein Projekt zu ende zu bringen beträchtlich.
!