3次元モデルを用いた仮想試着のために

[ファッションP]

こちらの方
http://www.nicovideo.jp/watch/sm23221686
の製作しているような仮想試着のプログラムを作ってみたく思い、c++からc#などで試行錯誤しているのですが、どうしてもKinectで取得したRGB画像上に、3Dモデルを描画することができません。
現在の環境はWindows7,VisualStudioCommunity2015でc++を用いています。
pmdデータを用いた3Dモデルの描画自体はDXライブラリで成功させることができました。
プログラミング初心者のため、どのような手段を用いれば仮想試着を実現できるかあまり見当がつきません。
よろしければ、参考になるものや、サンプルなどの、指針となるものを与えていただければとても助かります。
どうかよろしくお願いします。