行儀の悪いbotからのアクセスを制限する

インスタグラムのAPIを叩いているサイトがここのとこAPIの制限エラーで死んでました
アクセス数は減ってるのになぜ???と思ってログを見たら・・・

BaiduspiderとGooglebotでうめつくされてました(´Д`)

APIは1時間に5000回しか叩けませんので自重していただきましょう

Googleの場合

ウェブマスターツールの設定で、クロールの頻度を調整できます
https://www.google.com/webmasters/tools/settings?hl=ja&siteUrl=[サイトのURL]

robot.txtでは効かないらしいのでウェブマスターツールを使いましょう
1,2日で設定が反映されるようです

Baiduさんの場合

とりあえず効かないらしいですけどrobot.txtを使って拒否ってみましょう

これで効果がなければ本格的に拒否ります

.htaccessを使う場合

Apacheの場合

Nginxの場合

いずれの場合をログを確認して、403が返っているかアクセスログに書き込まれなくなれば成功です



スポンサーリンク

シェアする

フォローする

コメントを残す

トップへ戻る