Yeni yayımladığınız bir sayfa haftalar geçse de arama sonuçlarında çıkmıyorsa, sorun çoğu zaman içerikten önce teknik bir engelden kaynaklanır. Dizine eklenmeme durumu rastgele gerçekleşmez; arama motoru ya sayfayı hiç görememiştir, ya görmüş ama eklememeye karar vermiştir. Doğru teşhis için önce bu iki ihtimali ayırmak gerekir.
Tarama ve dizine ekleme engelleri
En sık rastlanan neden, sayfada yanlışlıkla bırakılmış bir noindex etiketidir. Test ortamında kullanılan bu etiket, site canlıya alınırken kaldırılmayı unutulabilir. Aynı şekilde robots.txt dosyasındaki geniş bir Disallow kuralı, botların klasörün tamamına girmesini engeller. Dikkat edilmesi gereken nokta şu: robots.txt ile engellenen bir sayfada noindex etiketi olsa bile bot onu okuyamaz. Ayrıca sunucunun 5xx hataları vermesi, yönlendirme zincirlerinin uzaması ya da sayfanın giriş şifresi arkasında olması da taramayı durdurur.
İçerik ve kopya sorunları
Tarama başarılı olsa bile sayfa yeterince değerli görülmezse dizine alınmayabilir. İnce içerik, yani birkaç cümleden oluşan ürün veya kategori sayfaları bunun tipik örneğidir. Başka sayfalarla neredeyse aynı olan içerikler de sorun yaratır; arama motoru bunlardan birini seçip diğerlerini dışarıda bırakır. Yanlış ayarlanmış canonical etiketi bu noktada sık görülen bir hatadır: sayfa kendisini değil başka bir adresi asıl sürüm olarak gösteriyorsa kendi adresi dizine girmez. Sayfa başlıklarını ve ana metni özgün hale getirmek, kopya adresleri tek bir sürümde birleştirmek çözüm için ilk adımdır.
Site yapısı ve keşfedilebilirlik
Hiçbir sayfadan link almayan, yani yetim kalmış sayfaları bot bulmakta zorlanır. Sayfayı site içinde ilgili içeriklerden bağlamak ve XML site haritasına eklemek keşfi hızlandırır. Haritada yönlendirilen, hata veren veya noindex içeren adresler bulunmamalıdır; bu durum haritanın güvenilirliğini düşürür. Sayfaların içeriğini JavaScript ile geç yüklemek de risklidir, çünkü bot ilk aşamada boş bir sayfa görebilir. Önemli metinlerin ve linklerin ilk HTML çıktısında yer alması daha güvenlidir.
Adım adım teşhis yöntemi
Önce Search Console içindeki URL denetimi aracına sorunlu adresi girin. Araç sayfanın bilinip bilinmediğini, taramaya izin verilip verilmediğini ve seçilen canonical adresi gösterir. Ardından Sayfalar raporunda “Taranmış, şu anda dizine eklenmemiş” ve “Keşfedilmiş, şu anda dizine eklenmemiş” durumlarını ayırın. Birincisi genellikle içerik kalitesine, ikincisi tarama önceliğine ve site yapısına işaret eder. Sayfanın kaynak kodunda noindex ve canonical etiketlerini, sunucu yanıt kodunu ve robots.txt kurallarını sırayla kontrol edin.
Sorunu giderdikten sonra URL denetiminden dizine ekleme isteği gönderebilirsiniz, ancak sonuç için birkaç gün beklemek normaldir. Toplu sorunlarda tek tek istek göndermek yerine nedeni site genelinde çözmek daha kalıcı sonuç verir.