User-agent: *
Allow: /

# 网站地图位置
Sitemap: https://www.rshinyserver.com/images_for_index_page_usage_only/sitemap.xml

# 爬取延迟（毫秒）
Crawl-delay: 1

# 优先允许重要页面
Allow: /index.html
Allow: /demo-apps/
Allow: /images_for_index_page_usage_only/

# 禁止访问的目录（如果有的话）
# Disallow: /admin/
# Disallow: /private/

# 特殊指令给百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 特殊指令给Google爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 360搜索爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 1

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Crawl-delay: 1