Ücretsiz araç
AI Crawler Simülatörü
AI cevaplarına girmenin ilk şartı: botların siteni çekebilmesi. Bir URL gir, hangi AI botunun erişebildiğini gör.
Crawler simülatörü nasıl çalışır?
- Girdiğin URL için iki ayrı test yapılır. Önce sitenin robots.txt dosyası çekilir ve tam o yol için bot bazında değerlendirilir: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, CCBot, Bytespider ve diğerleri. En uzun eşleşen kural kazanır — gerçek botların uyguladığı mantığın aynısı.
- İkinci adım gerçek erişim provası: sayfaya GPTBot, ClaudeBot ve PerplexityBot'un kullanıcı ajanlarıyla canlı GET isteği atılır ve dönen HTTP kodu gösterilir. Böylece robots.txt'de izinli görünen ama sunucu ya da güvenlik katmanının bot UA'sına 403 döndüğü sayfaları yakalarsın.
İki sınır var: robots.txt bir beyandır, kimi botlar — özellikle eğitim amaçlılar — buna her zaman uymaz. Prova da bizim sunucumuzdan çıkar; botları IP adresinden tanıyan bir CDN, gerçek bota bize davrandığından farklı davranabilir.
Crawler simülasyonunu nasıl okumalı?
İdeal tablo şu: cevap amaçlı botlar (OAI-SearchBot, PerplexityBot, ChatGPT-User) izinli ve provada 200 dönüyor. Bir cevap botu engelliyse o sayfa AI aramasında var olamaz — ilk düzeltme orası. Eğitim botlarını (GPTBot, CCBot) engellemek ise bilinçli bir tercih olabilir; fark etmeden engellemişsen kararı gözden geçir. robots izinli ama prova 403/503 dönüyorsa sorun robots.txt'de değil, sunucu ya da WAF katmanında demektir. Hangi bota izin verip hangisini engellemen gerektiğini satır satır şurada yazdık: AI botları için robots.txt rehberi
AI cevapları her gün değişiyor. Haberin olsun.
Bugün görünmüyorsan müşteri rakibine gidiyor; görünüyorsan bu konumu korumak gerekiyor. İki durumda da ilk adım aynı: ölçmeye başla.
Kredi kartı gerekmez · kurulum 3 dakika · istediğin an iptal