User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Allow: /wp-admin/admin-ajax.php

# Не индексировать страницы с параметрами
Disallow: /*?*

# Разрешаем стили, JS и изображения
Allow: /wp-content/uploads/
Allow: /*.js$
Allow: /*.css$

# Карта сайта
Sitemap: https://lacitymedia.com/sitemap.xml
Sitemap: https://lacitymedia.com/news-sitemap.xml

# Указания для основных поисковых систем
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Yandex
Disallow: /

# Crawl-delay для некоторых агрессивных ботов
User-agent: AhrefsBot
Crawl-delay: 10

User-agent: SemrushBot
Crawl-delay: 10

# Запрет для плохих ботов
User-agent: MJ12bot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /