Teknik hazırlık: robots.txt, llms.txt ve şema

Bu modüldeki her şeyin ön koşulu tek bir cümlede özetlenebilir: botun okuyamadığı içerik cevabın içine giremez. Teknik hazırlık göz alıcı değildir ama eksikse geri kalan çalışmanın tamamı boşa gider.

1. Yapay zeka tarayıcılarına erişim (robots.txt)

Yapay zeka botları klasik arama botlarından ayrı kullanıcı-ajan adları kullanır. Birçok sitede bunlar farkında olmadan engellenmiş durumdadır — çoğu zaman "botları engelle" niyetiyle eklenmiş genel bir kural yüzünden.

• GPTBot — OpenAI'nin tarayıcısı (eğitim ve arama).
• OAI-SearchBot — ChatGPT arama sonuçları için.
• PerplexityBot — Perplexity'nin tarayıcısı.
• ClaudeBot — Anthropic'in tarayıcısı.
• Google-Extended — Gemini'nin içerik kullanımını yöneten sinyal.

Burada verilecek karar teknik değil stratejiktir: içeriğinizin yapay zeka cevaplarında kullanılmasını istiyor musunuz? Görünürlük istiyorsanız erişime izin vermeniz gerekir — engelleyip sonra "neden cevaplarda çıkmıyoruz?" diye sormak tutarsızdır. İçeriğinizin telif değeri yüksekse ve alıntılanmasını istemiyorsanız engellemek meşru bir tercihtir; ama o zaman görünürlük hedefinden vazgeçtiğinizi bilerek yapın.

2. llms.txt: botlara yol haritası

llms.txt, sitenizin kökünde duran düz metin bir dosyadır ve yapay zeka botlarına "sitemin özeti bu, önemli sayfalarım şunlar" der. Zorunlu bir standart değil, yaygınlaşan bir teamül. Tek başına sihirli bir etki yaratmaz; işi, botun doğru sayfalarınızı bulmasını kolaylaştırmaktır.

İyi bir llms.txt, pazarlama metni değil bilgi içerir: markanın ne yaptığını anlatan düz bir tanım, temel kavramların tanımları, önemli sayfaların bağlantıları ve iletişim bilgisi. Alıntılanmayı kolaylaştıran şey budur.

3. Yapılandırılmış veri (schema.org)

Şema işaretlemesi, sayfadaki bilgiyi makinenin yorum yapmadan okuyabileceği biçimde tekrar eder. Yapay zeka görünürlüğü açısından en çok işe yarayan üç tip:

• Organization — markanın adı, logosu, tanımı ve resmi hesapları. Modelin markayı doğru varlıkla eşleştirmesini sağlar.
• FAQPage — soru-cevap yapısı. Cevap motorlarının aradığı biçimin birebir kendisi olduğu için etkisi en doğrudan olan şema tipidir.
• Article / BlogPosting — yazının başlığı, yayın ve güncelleme tarihi, yazarı. Tazelik sinyali burada okunur.

4. Erişilebilirlik ve içerik yükleme

• İçerik JavaScript ile sonradan yükleniyorsa birçok bot onu göremez. Kritik metin ilk HTML yanıtında bulunmalı.
• Önemli bilgiyi görsel içine gömmeyin; alt metin bir çözüm değil, telafidir.
• Sayfa hızı, tarayıcının siteyi ne kadar derin tarayacağını doğrudan etkiler.
• Kanonik etiketler tutarlı olsun — aynı içeriğin birden çok adreste durması sinyali böler.