AI Chatbotlar Sitene Ne Kadar Trafik Gönderiyor? Bu Adam Test Etti
Geçenlerde Hacker News'te gördüm - baya ilginç bir deney. Surfaced By ismindeki blogun yazarı kendine şu soruyu sormuş: "AI chatbotlar benim sitemi kaynak olarak gösteriyorlar mı? Gerçekten trafik mi geliyor, yoksa sadece datalarını mı eğitiyorlar?"
Yani aslında hepimizin kafasında olan soru bu. AI devrimi diye diye başladık, ama bu botlar gerçekten içerik üreticilere değer katıyor mu? Yoksa sadece sömdürüyorlar mı?
Deney Düzeneği: Basit Ama Etkili
Adam ne yapmış? ChatGPT'ye, Claude'a, Perplexity'ye ve Gemini'ye aynı promptları göndermiş. Hangi promptlar olduğunu bilmiyoruz tam olarak (makalede detay yok), ama muhtemelen kendi blog içeriğiyle ilgili sorular.
Asıl hile şurada - parantez içinde söyleyeyim, çok zekice bir yöntem - sonra oturup Nginx loglarını incelemiş. Yani kimin sitesini ziyaret ettiğini, hangi IP'lerden geldiğini, ne zaman geldiğini tek tek kayıt altına almış.
Karşılaştırma yapmış bir de: AI trafik vs. klasik referral trafik. Mesela birisi Twitter'da linkini paylaşsa gelecek trafik gibi.
Peki Sonuçlar Ne Oldu?
Burada biraz hayal kırıklığına uğradım açıkçası. Hacker News'teki entry'de sadece başlık var, makalenin tam içeriği paylaşılmamış. Ama yine de 125 puan almış, 22 yorum gelmiş - demek ki insanlar bu konuya kilitlenmiş.
Bence asıl mesele şu: Bu tür deneyler yapılması lazım. Çünkü AI şirketleri sürekli "biz kaynakları gösteriyoruz, trafiği yönlendiriyoruz" diyor ama kimse doğrulamıyor. Gerçek bir web site sahibi oturup logları inceleyince ortaya ne çıkıyor?
AI Botların Trafik Davranışı
Sektörde yıllardır gözlemliyorum - AI botların davranışı çok farklı klasik crawlerlardan. Google bot gelir, siteyi tarar, index'ler. Ama bunlar... Kim bilir ne yapıyorlar?
Bazı AI'lar gerçek zamanlı web'e bakıyor (Perplexity mesela). Bazıları sadece önceden eğitilmiş veriyle çalışıyor. Hangisi ne zaman sitene istek atıyor? Bunu bilmek cidden önemli.
Nginx logları bu açıdan altın değerinde. User-agent bilgisi, timestamp, referer header - hepsi orada. Gerçek bir dedektif işi gibi.
İçerik Üreticiler İçin Ne Anlama Geliyor?
Şimdi burası kritik. Blogunuz var diyelim (benim gibi). SEO için çalışıyorsunuz, içerik üretiyorsunuz. Google trafiği azalıyor, herkes AI'a soruyor artık.
Soru şu: AI seni kaynak olarak gösteriyor mu? Kullanıcılar sitene geliyor mu? Yoksa AI cevabı kopyalayıp yapıştırıyor, sen boşa mı çalışıyorsun?
İşte bu deney tam da bunu test ediyor. Dört büyük modeli karşılaştırmak da akıllıca - her birinin farklı politikası var çünkü.
Teknik Detaylar: Nginx Logları Nasıl Okunur?
Eğer siz de denemek isterseniz (ki tavsiye ederim), Nginx access.log dosyanıza bakın. Şuna benzer satırlar göreceksiniz:
- IP adresi
- Timestamp
- HTTP method (GET, POST vs.)
- Request URL
- Status code
- User-agent string
- Referer
AI botları genelde user-agent'larında kendilerini belli ediyorlar. "GPTBot", "Claude-Web" gibi isimler görebilirsiniz. Ama bazıları daha sinsi - normal browser gibi davranıyorlar.
Referer kısmı da çok önemli. Eğer AI gerçekten trafiği yönlendiriyorsa, referer'da chat.openai.com gibi bir şey görmeniz lazım.
Hacker News Tepkileri
22 yorum gelmiş - henüz okumadım hepsini ama tahmin edebiliyorum. Muhtemelen:
- "AI'lar çalıyor" kampı
- "Bu Teknolojik evrim" kampı
- "robots.txt dosyanızı düzenleyin" pratik tavsiyeler
- Birkaç teknik detay paylaşan sistem yöneticisi
Hacker News kitlesi bu konularda biraz kutuplaşmış. Kimisi AI'a açık, kimisi korumacı. Bence ikisinin de haklı olduğu noktalar var.
Gelecekte Ne Beklemeli?
Bana sorarsan - yanılıyor da olabilirim tabii - AI modellerinin web trafiği konusunda daha şeffaf olması gerekecek. Belki bir standart oluşur, "AI Traffic Protocol" gibi.
Yoksa içerik üreticiler tamamen kapanacak kaynaklara. Kim bedava çalışsın ki? Google en azından AdSense'le bir şeyler veriyordu. AI'dan ne alıyorsun? Bir "teşekkür" citation mı?
Demir tavında dövülür derler ya - şimdi tam o dönemdeyiz. AI şirketleri henüz yeni, regülasyon yok. Ama bu tür deneyler yapılırsa, veri ortaya çıkarsa, belki bir şeyler değişir.
Sonuç: Veriye Dayalı Karar
Surfaced By yazarını tebrik etmek lazım. Teorik tartışmalar yerine oturmuş, kendi sitesinde test etmiş. Gerçek veri toplamış.
Sizce de yapmalı değil mi herkes bunu? Özellikle şirketler. "AI bize ne kadar trafik gönderiyor?" sorusunun cevabı loglarınızda saklı.
Ben de yapacağım bu deneyi - belki bir sonraki makalede sonuçları paylaşırım. ChatGPT'ye AIEksen.com hakkında soru sorup bakalım ne olacak.
Kesin olan bir şey var: AI çağında web analytics eskisinden çok daha önemli. Sadece Google Analytics'e bakmak yetmiyor artık. Sunucu loglarını bilmek, bot trafiğini ayırt edebilmek, referer'ları analiz etmek... Bunlar yeni nesil dijital okuryazarlık.
Kaynak: Hacker News
