基本的には「検索避けにする」の設定で充分機能しているはずです。

自分でサイト名、URLを検索エンジンで調べてみるのが一番手っ取り早いかなと思います。もしなにかしらのページがヒットしたとしても反映が遅れているだけの可能性が高いです。

検索避けは元々おまじない程度の機能しかしてくれません。「検索避け ロボット なぜ」等で調べるとよく出てくる言葉ですので私も使わせていただきます。

ロボット、鬱陶しいし不安ですよね。でもある程度は我慢するしかないと思います。当方二年ほどサイトを運営してますが未だに毎日引っかかります。
ですが観測していると普通にサイトを閲覧してくれているだけの人のIPアドレスをロボットが使っている場合もあるので、IPアドレスのブロックは様子を見た方がいいですね。その道のプロとかではないので詳しいことは分かりませんが…リファラが変なところからきていない限りそこまで過敏になる必要もないのかなという所感です。


この手の話に詳しい方いらっしゃいましたら訂正か補足お願いします〜