Bref, pour répondre à vos questions , libvlc est dépendante de libvlccore , il faut donc ouvrir libvlccore avant de loader libvlc.
et miracle , cela marche. pas d'histoire de dll mystique au format exotique, une dll est une dll.
...
LoadLibrary("C:\Program Files (x86)\VideoLAN\VLC\libvlccore.dll")
LoadLibrary("C:\Program Files (x86)\VideoLAN\VLC\libvlc.dll")
...