回転させた後の長方形の四隅の点の座標を求めて、多角形と円の当たり判定をすることでできると思います。
ある点Aを別の点(x, y)を中心に回転させた点は
1. 点Aを(-x, -y)平行移動する。これを点A'とする。
2. 1で求めた点A'を、原点を中心に回転させる。これを点A''とする。
3. 2で求めた点A''を(x, y)平行移動する。
ことで求めることができます。
多角形と円の当たり判定は、例えばこのサイト
2D衝突編その5 円と線分から多角形と円へ
に載っているように、
・円が多角形を構成するいずれかの辺(線分)に当たっている
・多角形の辺が時計回りのベクトルで表されているとき、円の中心が全ての辺ベクトルの右側にある
のいずれかが成り立てば円が多角形に当たっている、といえます。