# -------------------------------
# 🌐 SEO Dostu Robots.txt Dosyası
# -------------------------------

# ✅ Önemli arama motorlarına izin ver
User-agent: Googlebot
Disallow:

User-agent: Bingbot
Disallow:

User-agent: SeznamBot
Disallow:

# ✅ Diğer genel arama motorlarına izin
User-agent: YandexBot
Disallow:

User-agent: DuckDuckBot
Disallow:

# -------------------------------
# 🚫 Gereksiz veya ağır botları engelle
# -------------------------------

# SEO analiz botları (gereksiz bant genişliği tüketir)
User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

# TikTok / Bytedance botu
User-agent: Bytespider
Disallow: /

# Diğer istenmeyen botlar (isteğe bağlı)
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Baiduspider
Disallow: /

# -------------------------------
# 🧩 Özel ayarlar (örnek)
# -------------------------------

# Yöneticilere ait klasörleri taratmak istemiyorsan:
Disallow: /admin/
Disallow: /panel/
Disallow: /login/
Disallow: /tmp/
Disallow: /uploads/private/

# -------------------------------
# 🗺️ Site Haritası (SEO için çok önemli)
# -------------------------------
Sitemap: https://www.apsidat.com/sitemap.xml
Sitemap: https://www.apsidat.com/sitemaphttps.xml