• Главная
  • Поиск
    •  
  • Здравствуйте, Гость

Автор Тема: Поделитесь пожалуйста Robots.txt  (Прочитано 3901 раз)
  • *
  • Сообщений: 12
« : 09 Февраль 2017, 17:36:31 »
Ребята, только приступила к созданию доски объявлений на Osclass, кто может поделиться готовым примером своего файла Robots.txt для доски объявлений?? Нигде не могу найти примеры именно для этого движка(((
Буду очень благодарна за помощь ;)
« Последнее редактирование: 25 Июнь 2019, 00:38:32 от Dis »

Оффлайн Dis
  • Admin
  • *****
  • Сообщений: 1745
    • Шаблоны и плагины Osclass
« Ответ #1 : 11 Февраль 2017, 04:00:07 »
Нет каких-то особых требований:
User-agent: *
Disallow: /oc-admin/
Карту сайта можно указать.
Доработки любой сложности.
Задание присылайте в личку.

  • *
  • Сообщений: 3
« Ответ #2 : 24 Июнь 2019, 23:59:39 »
Как минимум должен быть таким
Host: https://www.ваш сайт/
Sitemap: https://www.ваш сайт/sitemap.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /search/
Disallow: /user/
Disallow: /item/
Disallow: /contact/
Allow: /
« Последнее редактирование: 25 Июнь 2019, 00:08:30 от PRIZRAK »

  • *
  • Сообщений: 3
« Ответ #3 : 25 Июнь 2019, 00:14:01 »
Или по максимум можно так!

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Clean-param: tracking
Host: https://ваша ссылка на сайт/

Оффлайн Dis
  • Admin
  • *****
  • Сообщений: 1745
    • Шаблоны и плагины Osclass
« Ответ #4 : 25 Июнь 2019, 00:37:57 »
Или по максимум можно так!

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Clean-param: tracking
Host: https://ваша ссылка на сайт/
Это полный бред.
Это тупо взято с какого-то другого движка, в Osclass нет таких url!
Не вздумайте это использовать.
Доработки любой сложности.
Задание присылайте в личку.

Оффлайн Dis
  • Admin
  • *****
  • Сообщений: 1745
    • Шаблоны и плагины Osclass
« Ответ #5 : 25 Июнь 2019, 00:42:27 »
Как минимум должен быть таким
Host: https://www.ваш сайт/
Sitemap: https://www.ваш сайт/sitemap.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /search/
Disallow: /user/
Disallow: /item/
Disallow: /contact/
Allow: /
Sitemap: https://www.ваш сайт/sitemap.xml - вообще не факт, что будет такой файл карты сайта!
Может быть индексная карта sitemap-index.xml, при использовании SEO плагинов.
Доработки любой сложности.
Задание присылайте в личку.

  • **
  • Сообщений: 53
  • Всякое бывало
    • Доска объявлений Delovoy
« Ответ #6 : 04 Июль 2019, 19:49:42 »
Нужен ли здесь слэш в конце?
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover

« Последнее редактирование: 04 Июль 2019, 19:54:27 от Glonik »
Доска объявлений Delovoy

Оффлайн Dis
  • Admin
  • *****
  • Сообщений: 1745
    • Шаблоны и плагины Osclass
« Ответ #7 : 04 Июль 2019, 19:51:44 »
Нужен ли слэш в конце?
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover
Нет. В таком варианте Вы говорите роботам не индексировать url в которых есть /user/login и т.д. Такая страница всего одна, на других страницах это никак не отразится...так что вполне можно использовать.
« Последнее редактирование: 04 Июль 2019, 19:55:10 от Dis »
Доработки любой сложности.
Задание присылайте в личку.

  • *
  • Сообщений: 16
  • Заговори чтоб я тебя увидел
    • Ну как бы ваш, а точнее мой магазин )
« Ответ #8 : 05 Июль 2019, 14:29:43 »
А можно как то пагинацию запретить:
услуги/2
услуги/3 и  т.д.
Много дублей заголовков, описаний и ключей, использовал аудит megaindex

  • **
  • Сообщений: 53
  • Всякое бывало
    • Доска объявлений Delovoy
« Ответ #9 : 05 Июль 2019, 14:31:19 »
Еще вопрос, вот мой robots.txt

Host: https://www.moysait.net/
Sitemap: https://www.moysait.net/sitemap-index.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover

но домен без www а просто https://moysait.net/, как нужно писать в Host: https://www.moysait.net/ и Sitemap: https://www.moysait.net/sitemap-index.xml с www или без www ?
Доска объявлений Delovoy

  • *
  • Сообщений: 16
  • Заговори чтоб я тебя увидел
    • Ну как бы ваш, а точнее мой магазин )
« Ответ #10 : 05 Июль 2019, 14:54:26 »
Для поисковых систем домен с www и домен без www - это два разных ресурса и для того, чтобы они правильно его воспринимали, индексировали и ранжировали как единое и уникальное целое нужен 301 редирект ("перенесен навсегда") с одного домена на другой.
Самый простой вариант редиректа - при помощи файла .htaccess, который находится в корне сайта, для его осуществления необходим включенный модуль mod_rewrite.
Ну если продвигаете без www, везде надо указывать без.

P.S. В сети очень много инфы по этой теме.

Оффлайн Dis
  • Admin
  • *****
  • Сообщений: 1745
    • Шаблоны и плагины Osclass
« Ответ #11 : 05 Июль 2019, 15:08:10 »
А можно как то пагинацию запретить:
услуги/2
услуги/3 и  т.д.
Много дублей заголовков, описаний и ключей, использовал аудит megaindex
https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html
Доработки любой сложности.
Задание присылайте в личку.

  • *
  • Сообщений: 16
  • Заговори чтоб я тебя увидел
    • Ну как бы ваш, а точнее мой магазин )
« Ответ #12 : 05 Июль 2019, 21:58:52 »
Disallow: */услуги/
Индексирует только первую страницу категории, проверил.
Disallow: /search
Встроенный поиск на сайте, пошел дальше читать.

  • **
  • Сообщений: 53
  • Всякое бывало
    • Доска объявлений Delovoy
« Ответ #13 : 30 Август 2019, 08:58:31 »
До фени все эти варианты, половину нормальных страниц не индексирует, дефолтный + карта сайта + Host:  самый лучший вариант

User-agent: *
Disallow: /oc-admin
https://сайт.ком/user/login
https://сайт.ком/user/register
https://сайт.ком/user/recover
Host: https://сайт.ком/
Sitemap: https://сайт.ком/sitemap-index.xml

Правда не уверен нужен ли Host:
Доска объявлений Delovoy

  • *
  • Сообщений: 3
« Ответ #14 : 25 Июль 2021, 00:17:09 »
Host — директива, которую понимал только бот Яндекса. Поэтому,
при создании файла robots.txt одновременно для Яндекса, Гугла и других поисковых систем,
следовало разделить директивы.

Файл robots.txt: создание, установка, применение Безвременная кончина этой директивы произошла в марте 2018.
Так что больше её использовать не нужно.

 


test