1 Тема от pevgeniy

  • pevgeniy
  • Участник
  • Неактивен

    Тема: robots.txt

    Вот  увидел пример robots.txt для mt.

    User-agent: *
    Disallow: /401.html
    Disallow: /403.html
    Disallow: /404.html
    Disallow: /500.html
    Disallow: /assets_c
    Disallow: /cgi-bin
    Disallow: /tag
    Disallow: /ya-search.html

    User-agent: Googlebot-Image
    Allow: /

    User-agent: Yandex
    Disallow: /401.html
    Disallow: /403.html
    Disallow: /404.html
    Disallow: /500.html
    Disallow: /assets_c
    Disallow: /cgi-bin
    Disallow: /tag
    Host: www.....

    Нормальный роботс?

    2 Ответ от saahov

    • saahov
    • saahov
    • Administrator
    • Неактивен

      Re: robots.txt

      Нормальный, но основное, что следует закрыть — cgi-bin, остальное не обязательно.

      3 Ответ от marlik

      • marlik
      • marlik
      • Участник
      • Неактивен

        Re: robots.txt

        Лишнего много, можно создать свои страницы с ошибками: 401, 403, 404, 500. А почему вы разрешили боту Googlebot-Image лазить везде? У него что привилегии какие-то? ))) Боту Яндекса вы запретили тоже самое что и написано выше для всех, ну так и стереть только для яндекса написанное, пусть этот бот попадает под правила для всех.