User-agent: *
Disallow: /my/
Allow: /my/s3/js/site.min.js
Allow: *.css
Allow: *.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.svg
Allow: /*.webp
Crawl-delay: 10
Sitemap: https://arhstroi.by/sitemap.xml

# Запрет конкретным агрессивным ботам
User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SBarkrowler
Disallow: /