Поделитесь пожалуйста Robots.txt

Ребята, только приступила к созданию доски объявлений на Osclass, кто может поделиться готовым примером своего файла Robots.txt для доски объявлений?? Нигде не могу найти примеры именно для этого движка(((
Буду очень благодарна за помощь

Нет каких-то особых требований:

Код: [Выделить]

User-agent: *
Disallow: /oc-admin/
Карту сайта можно указать.

Как минимум должен быть таким

Код: [Выделить]

Host: https://www.ваш сайт/
Sitemap: https://www.ваш сайт/sitemap.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /search/
Disallow: /user/
Disallow: /item/
Disallow: /contact/
Allow: /


Или по максимум можно так!

Код: [Выделить]

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Clean-param: tracking
Host: https://ваша ссылка на сайт/


Или по максимум можно так!

Код: [Выделить]

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=


Clean-param: tracking
Host: https://ваша ссылка на сайт/


Это полный бред.
Это тупо взято с какого-то другого движка, в Osclass нет таких url!
Не вздумайте это использовать.

Как минимум должен быть таким

Код: [Выделить]

Host: https://www.ваш сайт/
Sitemap: https://www.ваш сайт/sitemap.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /search/
Disallow: /user/
Disallow: /item/
Disallow: /contact/
Allow: /


Sitemap: https://www.ваш сайт/sitemap.xml - вообще не факт, что будет такой файл карты сайта!
Может быть индексная карта sitemap-index.xml, при использовании SEO плагинов.

Нужен ли здесь слэш в конце?
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover

Нужен ли слэш в конце?
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover

Нет. В таком варианте Вы говорите роботам не индексировать url в которых есть /user/login и т.д. Такая страница всего одна, на других страницах это никак не отразится...так что вполне можно использовать.

А можно как то пагинацию запретить:
услуги/2
услуги/3 и  т.д.
Много дублей заголовков, описаний и ключей, использовал аудит megaindex

Еще вопрос, вот мой robots.txt

Код: [Выделить]

Host: https://www.moysait.net/
Sitemap: https://www.moysait.net/sitemap-index.xml
User-agent: *
Disallow: /oc-admin/
Disallow: /user/login
Disallow: /user/register
Disallow: /user/recover
но домен без www а просто https://moysait.net/, как нужно писать в Host: https://www.moysait.net/ и Sitemap: https://www.moysait.net/sitemap-index.xml с www или без www ?

Для поисковых систем домен с www и домен без www - это два разных ресурса и для того, чтобы они правильно его воспринимали, индексировали и ранжировали как единое и уникальное целое нужен 301 редирект ("перенесен навсегда") с одного домена на другой.
Самый простой вариант редиректа - при помощи файла .htaccess, который находится в корне сайта, для его осуществления необходим включенный модуль mod_rewrite.
Ну если продвигаете без www, везде надо указывать без.

P.S. В сети очень много инфы по этой теме.

А можно как то пагинацию запретить:
услуги/2
услуги/3 и  т.д.
Много дублей заголовков, описаний и ключей, использовал аудит megaindex

https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

Disallow: */услуги/
Индексирует только первую страницу категории, проверил.
Disallow: /search
Встроенный поиск на сайте, пошел дальше читать.

До фени все эти варианты, половину нормальных страниц не индексирует, дефолтный + карта сайта + Host:  самый лучший вариант

Код: [Выделить]

User-agent: *
Disallow: /oc-admin
https://сайт.ком/user/login
https://сайт.ком/user/register
https://сайт.ком/user/recover
Host: https://сайт.ком/
Sitemap: https://сайт.ком/sitemap-index.xml
Правда не уверен нужен ли Host:

Host — директива, которую понимал только бот Яндекса. Поэтому,
при создании файла robots.txt одновременно для Яндекса, Гугла и других поисковых систем,
следовало разделить директивы.

Файл robots.txt: создание, установка, применение Безвременная кончина этой директивы произошла в марте 2018.
Так что больше её использовать не нужно.