以前日記で行っていた物体の自動3次元復元に手をつけ始めました。
ただ、昨日このサイトを見つけました。

写真測量ソフトSurveyFromPhotoと写真３DソフトSolidFromPhoto
ttp://www3.plala.or.jp/SolidFromPhoto/

自分のやろうとしたことそのまんまのアプリケーションを見つけましたｗ
SolidFromPhotoでは各画像間の特徴点を手動で決め、そこからバンドル調節を用いての3次元復元を行っています。
これを自動化できたら楽ですよね。
具体的には、SolidFromPhotoで行っている特徴点関連を外部入力にし、
各特徴点と特徴点の対応より、特徴点の3次元復元を行ってもらいたいのです。
お返事がなければ・・・自分で1から実装になります。
一応理論は分かっているので実装を行えばよいのですが・・・
3Dビュー周りがものすごく面倒なので・・・。
一応作成者様にメールを送り、SolidFromPhotoの拡張のお願いを申し出ましたが、どうなるんでしょうかね。

ってことで、まず特徴点の追跡を自動で行うklt trackerを実装しました。
といっても、もうすでにライブラリが用意されてるので、
一応目を通し、特徴点の実装を行いました。

実行結果が次の動画です。
klt tracker 1
[youtube][/youtube]

klt tracker 2
[youtube][/youtube]

どうでしょう。
全然追跡できてませんね。
一つ目の動画ではまぁまぁですが、二つ目の動画はひどいです。
特徴点がカメラから見えなくなる時、次のフレームではその特徴点は物体と背景の境界ラインに沿います。
それが次フレームにも続き、結果的に、すべての特徴点が回転方向の物体の境界ラインに沿い続けます。

さて、問題だらけの特徴点追跡ですが、一応改善策はいくつか用意してます。
実装し、実験したら再度日記に書いていこうと思います。
「物体の回転速度」、「予測、学習」、「背景点の追跡削除」
あたりがテーマですかね。