User-agent: *               # общие правила для роботов, кроме Яндекса и Google, 
                            # т.к. для них правила ниже
Disallow: /cgi-bin          # папка на хостинге
Disallow: /wp-              # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /?wp-
Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет, правило можно удалить)


# все параметры запроса на главной
Disallow: /?                
Disallow: *?
Disallow: /*?
Disallow: *?*							
							
# поиск
Disallow: /?s
Disallow: /?s=
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /search/    

#различные варианты дублей контента (исключаем дубли контента)
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat

Disallow: *replytocom       #replytocom – это дубли страниц, которые появляются при включении древовидных комментариев (надо их запрещать иначе пойдут дубли)
Disallow: /author/          # архив автора
Disallow: /users/           # архив авторов
Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой ссылки на статью
Disallow: */trackback/

Disallow: */feed            # все фиды
Disallow: */feed/ 
Disallow: /?feed=

Disallow: */rss             # rss фид
Disallow: */embed           # все встраивания
Disallow: */page/*  		# страницы пагинации
Disallow: */attachment/*    # все вложения (файлы к комментариям и т.п.)
Disallow: *?attachment_id=


# различные системные файлы
Disallow: /wp-login.php 
Disallow: /wp-register.php 
Disallow: /template.html 
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете, правило можно удалить) 
Disallow: /xmlrpc.php       # файл WordPress API

# технические страницы они шаблонные и чтобы небыло пересечений их лучше не вгонять в индекс поисковиков
Disallow: /o-sayte 									# о сайте
Disallow: /kontakty 								# контакты
Disallow: /pravoobladatelyam						# правообладателям
Disallow: /deklaratsiya-o-pravah					# декларация о правах пользователей
Disallow: /politika-obrabotki-personalnyih-dannyih	# политика обработки персональных данных
Disallow: */avtor									# страница с описанием автора
Disallow: /pomoshh-v-razvitii ‎						# страница с донатом
Disallow: /bookmarks ‎								# страница закладок


#запрет на индексацию всех изображений
Disallow: *.jpg
Disallow: *.gif
Disallow: *.tiff
Disallow: *.bmp
Disallow: *.jpeg
Disallow: *.JPG
Disallow: *.JPEG

# ИСКЛЮЧЕНИЯ
# --------------------------------------------------------------------------------------------------
#исключения для индексации изображений (в основном логотип и другие мелкие изображения для сервисов)
Allow: *.png
Allow: *.PNG
Allow: *.ico

#исключения для индексации файлов дизайна и скриптов
Allow: *.css
Allow: *.js
Allow: /*/*.js
Allow: /*/*.css

# +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++


# правила для Mail.Ru
#(при необходимости открываем для Mail.Ru feed, чтобы можно было подключить ленту сайта в аналог дзена от Mail.Ru)
# --------------------------------------------------------------------------------------------------
#User-agent: Mail.Ru
#Allow: */feed/



# правила для Twitter 
#(открываем для Twitter закрытые изображения, чтобы он мог их добавлять к записям при репосте)
# --------------------------------------------------------------------------------------------------
User-agent: Twitterbot
Allow: /wp-content/cache/images/
Allow: /wp-content/uploads/
Allow: *.jpg
Allow: *.png
Allow: *.gif
Allow: *.tiff
Allow: *.bmp
Allow: *.jpeg
Allow: *.JPG
Allow: *.PNG
Allow: *.JPEG



# правила для MJ12bot 
#(бот который слишком напрягает работу сайта) | закрываем от него сайт
# --------------------------------------------------------------------------------------------------
User-agent: MJ12bot
Disallow: /



# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent 
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://sholk.info/sitemap.xml


# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS 
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал 
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Host: https://sholk.info