robots.txt тебе в этом не лёгком деле поможет ))
ZeldoR, ггг, хотел про него сказать, так у себя не нашел, подумал - глюк.))
Но а вообще, если нагрузка от бота становится непосильной, значит хостинг слабоват.
Вот вам хорошая штуковинка Просто посмотрите каких ресурсов вам не хватает и добавьте