プログラマ専用SNS ミクプラ

数カ月ぶりの投稿になります。

今現在、OpenCVの勉強をしている所です。
そこでAeroBeatのような指定した色の部分を追跡するプログラムを作ってみたのですが、ゆっくり動かすと追跡してくれるのですが、あまり早く動かすと追跡範囲（赤い楕円）から外れてしまって再びそこに持ってくるまで追跡範囲の追跡が行われなくなってしまいます。
原因は明らかに追跡部分が間違っているのだろうとは思うのですが、どうすれば早く動かしてもしっかり追跡してくれるようになるのかがわかりません。
物体追跡の方法はCamShift法を使っています。

よろしくお願いします。

一体、AeroBeatはどうやって追跡しているのかなぁ・・・。