User-agent: Yandex
Disallow: /cgi-bin
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: /search?*
Disallow: */page*

# Наиболее часто встречаемые расширения документов
Disallow: /*.pdf
Disallow: /*.xls
Disallow: /*.doc
Disallow: /*.ppt
Disallow: /*.txt

# Требуется для правильно обработки ПС
Allow: /assets/css/*.css
Allow: /assets/js/*.js

# Картинки
Allow: /core/cache/phpthumb/*.jpeg
Allow: /core/cache/phpthumb/*.png
Allow: /core/cache/phpthumb/*.svg
#Allow: /*/<папка содержащая медиа файлы>/*.jpg
#Allow: /*/<папка содержащая медиа файлы>/*.jpeg
#Allow: /*/<папка содержащая медиа файлы>/*.png
#Allow: /*/<папка содержащая медиа файлы>/*.gif

# Наиболее часто встречаемые метки для отслеживания рекламы
Clean-param: utm_source&utm_medium&utm_term&utm_content&utm_campaign&yclid&gclid&_openstat&from /
# При наличии фильтров и параметров добавляем и их в Clean-param

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: /search?*
Disallow: */page*
Disallow: /*.pdf
Disallow: /*.xls
Disallow: /*.doc
Disallow: /*.ppt
Disallow: /*.txt
Allow: /assets/css/*.css
Allow: /assets/js/*.js
Allow: /core/cache/phpthumb/*.jpeg
Allow: /core/cache/phpthumb/*.png
Allow: /core/cache/phpthumb/*.svg
#Allow: /*/<папка содержащая медиа файлы>/*.jpg
#Allow: /*/<папка содержащая медиа файлы>/*.jpeg
#Allow: /*/<папка содержащая медиа файлы>/*.png
#Allow: /*/<папка содержащая медиа файлы>/*.gif
# У google метки, фильтры и параметры закрываются в GSC-Сканирование-Параметры URL

User-agent: *
Disallow: /cgi-bin
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: /search?*
Disallow: */page*
# Метки, фильтры и параметры для других ПС закрываем по классическому стандарту
Disallow: /*utm
Disallow: /*clid=
Disallow: /*openstat
Disallow: /*from
Disallow: /*.pdf
Disallow: /*.xls
Disallow: /*.doc
Disallow: /*.ppt
Disallow: /*.txt
Allow: /assets/css/*.css
Allow: /assets/js/*.js
Allow: /core/cache/phpthumb/*.jpeg
Allow: /core/cache/phpthumb/*.png
Allow: /core/cache/phpthumb/*.svg
#Allow: /*/<папка содержащая медиа файлы>/*.jpg
#Allow: /*/<папка содержащая медиа файлы>/*.jpeg
#Allow: /*/<папка содержащая медиа файлы>/*.png
#Allow: /*/<папка содержащая медиа файлы>/*.gif

Host: https://chelyabinsk.voremont.com
Sitemap: https://chelyabinsk.voremont.com/sitemap.xml

#User-agent: AhrefsBot
#Disallow: /