Blogger'da Özel Robots.txt Dosyası Nasıl Düzenlenir? Adım Adım SEO Rehberi

Reklam

Reklam

Blogger'da aylardır düzenli yazı yayınlıyorsunuz ama Google Search Console'u açtığınızda "Taranmadı" veya "Alternatif sayfa, uygun kurallı etiket ile" uyarılarının artmaya devam ettiğini görüyorsunuz. Sorunun kaynağını araştırdığınızda karşınıza sık sık aynı isim çıkıyor: robots.txt. Ancak bu dosyayı elle düzenlemeye kalktığınızda, tek bir yanlış satırın sitenizin tamamını arama motorlarına kapatabileceğini duyunca elleriniz titriyor.

Bu yazıda, Blogger'ın robots.txt yapısını sıfırdan ele alıp özel robots.txt ayarını nasıl güvenli şekilde açacağınızı, hangi kuralın ne işe yaradığını ve en çok yapılan hataları satır satır anlatıyorum. Daha önce Blogger SEO Ayarları rehberimde genel teknik SEO çerçevesini çizmiştim; bu yazı o çerçevenin robots.txt boyutunu tamamlıyor.

1. Robots.txt Nedir, Gerçekte Ne İşe Yarar?

Robots.txt, sitenizin kök dizininde duran, arama motoru botlarına "buraya gir, buraya girme" diyen basit bir metin dosyasıdır. Yaygın bir yanılgının aksine bu dosya bir gizlilik veya güvenlik aracı değildir; sadece tarama trafiğini yönlendiren bir kılavuzdur.

Dikkat edilmesi gereken en kritik nokta şudur: robots.txt bir engelleme mekanizmasıdır, indeksleme aracı değildir. Googlebot bir sayfayı taramasa bile, o sayfaya başka bir yerden bağlantı verilmişse Google yine de URL'yi indeksine (genelde başlıksız şekilde) alabilir. Bu ayrımı anlamadan yapılan robots.txt düzenlemeleri, beklenmedik SEO sorunlarına yol açar.

2. Blogger'da Robots.txt Dosyası Nerede Bulunur?

Her Blogger blogunun kendi otomatik oluşturulan robots.txt dosyası vardır ve şu adresten kontrol edilebilir:

https://siteadiniz.blogspot.com/robots.txt

Bu dosyayı tarayıcınızın adres çubuğuna yazıp Enter'a bastığınızda mevcut kuralları anında görebilirsiniz. Herhangi bir düzenleme yapmadan önce bu adımı mutlaka atlamayın; çünkü Blogger'ın varsayılan olarak sunduğu yapı, çoğu blog için zaten makul bir başlangıç noktasıdır. Önce mevcut durumu görmeden yapılan müdahaleler, var olan bir dengeyi bozabilir.

3. Blogger'da Özel Robots.txt Nasıl Etkinleştirilir?

Özel robots.txt özelliğini açmak için izlemeniz gereken adımlar şöyle:

1. Blogger yönetim panelinize giriş yapın.
2. Sol menüden Ayarlar bölümüne gidin.
3. Tarama ve dizin oluşturma (veya arayüz güncellemesine göre benzer isimli) alt başlığını bulun.
4. Özel robots.txt seçeneğinin karşısındaki anahtarı etkinleştirin.
5. Açılan kutuya kendi kurallarınızı girin.
6. Değişiklikleri kaydedin ve ardından robots.txt adresini tekrar ziyaret ederek güncellemenin yansıdığını doğrulayın.

Blogger arayüzü zaman zaman güncellendiği için menü isimleri değişebilir; adımları uygularken güncel panelde en yakın karşılığı aramanız yeterli olacaktır.

4. Robots.txt İçindeki Temel Komutlar

Teknik jargona boğulmadan, dört temel komutu şöyle özetleyebiliriz:

• User-agent: Kuralın hangi bot için geçerli olduğunu belirtir (* tüm botlar anlamına gelir).
• Disallow: Belirtilen yolun taranmasını engeller.
• Allow: Genel bir engelleme kuralı içinde, belirli bir yola izin verir.
• Sitemap: Site haritanızın adresini botlara bildirir.

Bu dört komut, Blogger'daki neredeyse tüm robots.txt senaryolarının temelini oluşturur.

5. Blogger İçin Robots.txt Nasıl Hazırlanmalı?

Burada altını özellikle çizmem gereken bir nokta var: "her Blogger sitesi için tek bir doğru robots.txt vardır" yaklaşımı yanlıştır. Sizin blogunuzun yapısı, kategori sayınız, arşiv derinliğiniz ve hedeflediğiniz arama trafiği türü farklıysa, ihtiyacınız olan kurallar da farklılaşır.

Genel olarak değerlendirilmesi gereken alanlar şunlardır:

• Arama sonucu sayfaları (/search) — genellikle gereksiz tekrar içerik ürettiği için sınırlandırılması değerlendirilir.
• Etiket sayfaları — çok sayıda etiketiniz varsa tarama bütçesini gereksiz tüketebilir.
• Arşiv sayfaları — kronolojik arşivler, ana içerikle örtüşen zayıf sayfalar oluşturabilir.
• Yönetim/önizleme sayfaları — herkese açık olmaması gereken teknik uzantılar.
• Gereksiz parametreli URL'ler — takip kodları veya filtre parametreleri taşıyan tekrarlayan adresler.
• Sitemap bildirimi — botların site haritanızı bulmasını kolaylaştıran satır.

Her kategori için karar vermeden önce, o sayfa türünün gerçekten kullanıcıya ve arama motoruna değer katıp katmadığını sorgulamanızı öneririm.

6. Robots.txt ile Sayfa İndekslenmesini Engellemek Aynı Şey mi?

Hayır, ve bu karışıklık pek çok yeni webmasterin düştüğü en yaygın hatalardan biri. Tarama botun sayfayı ziyaret edip içeriğini okuma sürecidir; indeksleme ise o içeriğin Google'ın veritabanına eklenip arama sonuçlarında gösterilmesidir.

Bir sayfayı gerçek anlamda arama sonuçlarından çıkarmak istiyorsanız asıl ihtiyacınız olan araç noindex meta etiketidir, robots.txt değil. Hatta bir sayfayı robots.txt ile taramaya kapatırsanız, Google o sayfadaki noindex etiketini bile göremez; bu da bazen sayfanın hâlâ (başlıksız şekilde) indekste kalmasına yol açabilir. Bu ayrımı netleştirmemek, tam olarak istediğiniz sonucun tersini üretebilir.

7. Blogger'da Robots.txt Ayarı Yaparken Yapılan Hatalar

Alanda en sık karşılaştığım hatalar şunlar:

• Tüm siteyi yanlışlıkla engellemek: Tek bir Disallow: / satırı, tüm blogu Google'ın gözünden silebilir.
• Önemli içerik URL'lerini engellemek: Ana kategori veya etiket sayfalarını dikkatsizce kapatmak.
• Sitemap adresini yanlış yazmak: Yanlış veya eski bir sitemap adresi bildirmek.
• Gereksiz kuralları kopyalamak: Başka bir platform için yazılmış kuralları olduğu gibi Blogger'a taşımak.
• Başka bir siteden alınan robots.txt'yi doğrudan kullanmak: Her sitenin yapısı farklıdır, kopyala-yapıştır burada risklidir.
• Robots.txt'nin tüm SEO sorunlarını çözeceğini düşünmek: Bu dosya sadece tarama yönetimidir, sıralama garantisi vermez.

Bu hataların büyük bölümü, Blogger'da SEO Hataları yazımda ele aldığım daha geniş teknik SEO hata kümesiyle de doğrudan bağlantılıdır.

8. Robots.txt Değişikliğinden Sonra Ne Kontrol Edilmeli?

Kaydettiğiniz kuralların gerçekte işe yarayıp yaramadığını görmek için:

• Robots.txt adresinin tarayıcıdan erişilebilir olduğunu doğrulayın.
• Önemli sayfalarınızın hâlâ taranabilir durumda olduğunu kontrol edin.
• Google Search Console'daki ilgili tarama ve dizin raporlarını takip edin.
• Değişikliklerin anında değil, günler içinde yansıyabileceğini unutmayın.
• Gerekmedikçe sık sık değişiklik yapmaktan kaçının; robots.txt'yi her hafta değiştirmek, Google'ın tarama davranışında kararsızlık yaratabilir.

9. Blogger Kullanıcıları Robots.txt Dosyasını Ne Zaman Değiştirmeli?

Her Blogger kullanıcısının özel robots.txt düzenlemesine ihtiyacı yoktur. Aşağıdaki durumlarda müdahale etmeyi değerlendirebilirsiniz:

• Kapsamlı bir teknik SEO çalışması yürütüyorsanız.
• Belirli URL türlerinin taranmasını özellikle kontrol etmek istiyorsanız.
• Sitemap bildirimini düzenlemeniz gerekiyorsa.
• Mevcut robots.txt yapısında açık bir sorun tespit ettiyseniz.

Bunların dışında, varsayılan yapı çoğu küçük ve orta ölçekli blog için yeterlidir.

10. Robots.txt SEO'yu Doğrudan Yükseltir mi?

Kısa cevap: hayır. Robots.txt doğrudan bir sıralama faktörü değildir; asıl görevi tarama yönetimidir. Ancak yanlış yapılandırıldığında, sitenizin önemli sayfalarının taranmasını engelleyerek dolaylı yoldan ciddi SEO kayıplarına neden olabilir. Teknik SEO, robots.txt'den çok daha geniş bir alandır; sayfa hızı, mobil uyumluluk, iç bağlantı yapısı ve içerik kalitesi gibi unsurlarla birlikte bir bütün oluşturur.

Sıkça Sorulan Sorular (SSS)

1. Blogger'da robots.txt dosyasını değiştirmek zorunlu mu? Hayır. Blogger'ın varsayılan robots.txt yapısı çoğu blog için yeterlidir; özel düzenleme yalnızca spesifik bir teknik ihtiyaç varsa gündeme gelmelidir.

2. Yanlış bir robots.txt kuralı sitemi Google'dan tamamen kaldırır mı? Kuralın kapsamına bağlıdır. Disallow: / gibi geniş kapsamlı bir kural, tüm sitenin taranmasını engelleyebilir ve zamanla ciddi trafik kaybına yol açabilir.

3. Robots.txt ile noindex arasındaki fark nedir? Robots.txt taramayı kontrol eder, noindex ise bir sayfanın arama sonuçlarında görünüp görünmeyeceğini belirler. İkisi farklı amaçlara hizmet eder ve birbirinin yerine geçmez.

4. Robots.txt değişikliği ne kadar sürede etkili olur? Google'ın yeni kuralları fark etmesi ve tarama davranışını buna göre güncellemesi genellikle birkaç gün sürebilir; anlık bir etki beklenmemelidir.

5. Etiket ve arşiv sayfalarını her zaman engellemeli miyim? Hayır, bu sitenizin yapısına bağlıdır. Az sayıda etiketi olan ve bu sayfaların gerçek değer sunduğu bloglarda engelleme gereksiz, hatta zararlı olabilir.

6. Robots.txt dosyasını düzenledikten sonra Search Console'a bildirim yapmam gerekir mi? Zorunlu değildir, Google dosyayı zaman içinde otomatik olarak yeniden tarar. Ancak Search Console üzerinden mevcut durumu kontrol etmek, olası sorunları erken fark etmenizi sağlar.

---

İlgili yazılar:

• Blogger SEO Ayarları: Google'da Üst Sıralara Çıkmak İçin Tam Rehber
• Blogger'da SEO Hataları ve Kaçınılması Gereken Kritik Noktalar

Reklam

Reklam