3クリック サイトマップメーカー

Googleアカウントから、サイトマップのステータス、ロボットがいつサイトに来たかなど確認できます。登録してから3日ほどでロボットが来たようです。

サイトマップにもエラーがなく、無事登録完了です。

検索にも引っかかるようになりました。


ものつくりにはDBのデータを編集するための、管理画面を保存しているディレクトリもあります。このディレクトリ以下のファイル・ディレクトリはロボットにクロールされたくありません。

robots.txtを作ってサイトに上げておくとクロールされなくなるようです。
robots.txtについて

管理画面のhtmlにもロボットを拒否するmetaタグを埋め込んでおきます。
<meta name="Robots" content="NOINDEX, NOFOLLOW">

robots.txtはGoogleアカウントの「robots.txt解析」から登録できます。ステータスも確認できます。