Подскажите пожалуйста, как избавится от дублей страниц
Исходный URL Дубльhttps://site.ru https://site.ru/index.phphttps://site.ru/user/login https://site.ru/user/login/https://site.ru/user/recover https://site.ru/user/recover/Что сделал я. Определили все страницы сайта через
<!-- canonical -->
<link rel="canonical" href="
https://site.ru/"/>
<!-- /canonical -->
Добавил в robot.txt
Disallow: /index.php
Disallow: /user/login/
Disallow: /user/recover/
Но от дублей избавится не удалось. Подскажите, может что-то упускаю и есть другие варианты решения проблемы?
Вот еще мой конфиг.
####Custom Rewrite Rules Start###
RewriteEngine on
RewriteBase /
RewriteCond $1 ^(index\.php)?$ [OR]
RewriteCond $1 \.(gif|jpg|css|js|png|ico)$ [NC,OR]
RewriteCond %{REQUEST_FILENAME} -f [OR]
RewriteCond %{REQUEST_FILENAME} -d
RewriteRule ^(.*)$ - [S=1]
RewriteRule . /index.php [L]
####Custom Rewrite Rules End####
<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access plus 7 days"
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType text/css "access plus 1 month"
ExpiresByType application/javascript "access plus 1 year"
ExpiresByType text/x-javascript "access plus 1 year"
ExpiresByType image/x-icon "access plus 1 year"
ExpiresByType application/x-shockwave-flash "access plus 1 year"
</IfModule>