現在DirectXで3Dゲームを作っています。

プレイヤーをビルボードで表現したいのですが、平行移動とスケールはうまくいくのに回転がうまくいきません。

カメラの角度を変えずにz回転すると問題ないのですが、カメラの移動をしてからプレイヤーを回転させるとz軸が補正(？)されていないせいか斜めに回転してしまいます。

ネットで検索して調べたのですがうまくいかなかったので、計算の仕方を教えてください。