SetEnvIfNoCase User-Agent PetalBot nobot
SetEnvIfNoCase User-Agent BLEXBot/1.0 nobot
SetEnvIfNoCase User-Agent .*rogerbot.* nobot
SetEnvIfNoCase User-Agent .*mj12bot.* nobot
SetEnvIfNoCase User-Agent .*ahrefsbot.* nobot
SetEnvIfNoCase User-Agent .*SemrushBot.* nobot
SetEnvIfNoCase User-Agent .*SemrushBot-SA.* nobot
SetEnvIfNoCase User-Agent .*dotbot.* nobot
SetEnvIfNoCase User-Agent .*gigabot.* nobot
SetEnvIfNoCase User-Agent .*sitebot.* nobot
SetEnvIfNoCase User-Agent .*spbot.* nobot
SetEnvIfNoCase User-Agent .*Majestic-12.* nobot
SetEnvIfNoCase User-Agent .*Majestic-SEO.* nobot
SetEnvIfNoCase User-Agent .*DSearch.* nobot
SetEnvIfNoCase User-Agent AhrefsBot/7.0 nobot
Order Allow,Deny
Allow from all
Deny from env=nobot
User-agent: SemrushBot
Disallow: /