SEO

Robots.txt Dosyası Nasıl Oluşturulur Bilmeniz Gerekenler

Robots.txt Dosyası Oluşturma

Bir robots.txt dosyasının birincil görevi, web sitelerini ve sayfalarını bilgi için taramaktır; arama motorları ve diğer uygulamalar adına veri toplamak için durmadan çalışırlar. Bazı durumlarda sayfaları arama motorlarından engellemek içinde kullanılmaktadır. Dosyayı bir metin belgesi ile oluşturabilirsiniz ve daha sonra sunucunuzun kök dizinine göndermeniz gerekir. Aşağıda ki detayları incelerseniz başarılı bir çalışma gerçekleştirmiş olacaksınız.

Robots.txt Dosyasını Optimize Etme

Robots.txt dosyanızı botlar için bir kılavuz veya talimat kılavuzu gibi düşünün. Uymaları gereken kurallara sahip bir rehber. Bu kurallar, tarayıcılara neyi görüntülemelerine izin verildiğini (site haritanızdaki sayfalar gibi) ve sitenizin hangi bölümlerinin kısıtlandığını bildirir.

Robots.txt dosyanız düzgün bir şekilde optimize edilmediyse, web siteniz için büyük SEO sorunlarına neden olabilir.

Bu nedenle, bunun nasıl çalıştığını ve web sitenizin bu teknik bileşeninin size zarar vermekten ziyade size yardımcı olmasını sağlamak için ne yapmanız gerektiğini tam olarak anlamanız önemlidir.

Robots.txt dosyanızı bulun

Herhangi bir şey yapmadan önce, ilk adım başlamak için bir robots.txt dosyanız olduğunu doğrulamaktır. Bazılarınız muhtemelen daha önce buraya hiç gelmediniz.

Sitenizde zaten bir tane olup olmadığını görmenin en kolay yolu, web sitenizin URL’sini bir web tarayıcısına yazmak ve ardından /robots.txt yolunu izlemektir.

örnek robots.txt dosyası
örnek robots.txt dosyası

Bunu yaptığınızda, üç şeyden biri gerçekleşir.

  1. Yukarıdaki gibi görünen bir robots.txt dosyası bulacaksınız
  2. Tamamen boş, ancak en azından ayarlanmış bir robots.txt dosyası bulacaksınız.
  3. Bu sayfa mevcut olmadığı için 404 hatası alırsınız.

Çoğunuz ilk iki senaryoya gireceksiniz. Web sitelerinin çoğunda site oluşturulduğunda varsayılan olarak bir robots.txt dosyası kurulumu olacağından 404 hatası almamalısınız. Daha önce hiç değişiklik yapmadıysanız bu varsayılan ayarlar hala orada olmalıdır.

Bu dosyayı oluşturmak veya düzenlemek için web sitenizin kök klasörüne gidin.

Robots.txt içeriğinizi değiştirin

Çoğunlukla, bu kadar çok uğraşmak istemezsiniz. Bu sık sık değiştireceğiniz bir şey değil.

Robots.txt dosyanıza bir şey eklemek istemenizin tek nedeni, web sitenizde botların taranmasını ve dizine eklenmesini istemediğiniz belirli sayfaların bulunmasıdır.

Komutlar için kullanılan sözdizimini tanımanız gerekir. Sözdizimini yazmak için düz bir metin düzenleyicisi açın.

En sık kullanılan sözdizimini ele alacağım.

İlk olarak, tarayıcıları tanımlamanız gerekir. Buna Kullanıcı aracısı (User-agent: *)denir.

User-agent: *

Yukarıdaki bu sözdizimi, tüm arama motoru tarayıcılarını belirtir.

User-agent: Googlebot

Adından da anlaşılacağı gibi, bu değer doğrudan Google’ın tarayıcılarıyla konuşuyor.

Tarayıcıyı tanımladıktan sonra, sitenizdeki içeriğe izin verebilir veya vermeyebilirsiniz. Reşit Yıldırım robots.txt dosyasında daha önce gördüğümüz bir örnek.

User-agent: *

Disallow: /wp-admin/

Dolayısıyla bu komut tüm tarayıcılara (User-agent: *) o sayfayı taramamasını söyler. Botların bunu taramak için zaman kaybetmesine gerek yok. Diyelim ki tüm botlara web sitenizdeki belirli sayfayı taramamalarını söylemek istiyorsunuz. resityildirim.com/seo-uzmani

O halde robots txt  sayfanız aşağıda ki gibi görünecektir.

User-agent: *

Disallow: /seo-uzmani/

Robots.txt dosyasının neden optimize edilmesi gerekiyor?

Bazılarınızın ne düşündüğünü biliyorum. Neden bu dosyamı optimize etmek isteyeyim ki?

İşte anlamanız gerekenler. Robots.txt dosyasının amacı, bir arama motorundaki sayfaları veya site içeriğini tamamen engellemektir.

Bunun nedeni, tarama bütçelerinin verimliliğini en üst düzeye çıkarmaya çalışmamızdır. Yaptığınız tek şey, botlara herkese açık olmayan sayfaları taramaları gerekmediğini söylemektir.

İşte Google’ın tarama bütçesi ile ilgili makalesi

Gelin bizde bunu 2 ana başlık halinde size anlatalım

  1. Tarama hızı sınırı
  2. Tarama talebi

Tarama hızı sınırı, bir tarayıcının belirli bir siteye kaç bağlantı yapabileceğini gösterir. Bu, getirmeler arasındaki süreyi de içerir.

Hızlı yanıt veren web sitelerinin daha yüksek bir tarama hızı sınırı vardır, bu da bot ile daha fazla bağlantıya sahip olabilecekleri anlamına gelir. Öte yandan, tarama sonucunda yavaşlayan siteler sık ​​sık taranmaz.

Siteler de isteğe bağlı olarak taranır. Bu, popüler web sitelerinin daha sık tarandığı anlamına gelir.

Robots.txt dosyanızı optimize ederek, tarayıcıların işini çok daha kolay hale getirirsiniz. Google’a göre, bunlar tarama bütçelerini etkileyen bazı öğe örnekleridir:

  • Oturum tanımlayıcıları
  • Hata sayfaları
  • Saldırıya uğramış sayfalar
  • Yinelenen içerik
  • Düşük kaliteli içerik

Tarayıcılardan bu tür içeriğe izin vermemek için robots.txt dosyasını kullanarak, web sitenizdeki en iyi içeriği keşfetmek ve dizine eklemek için daha fazla zaman harcamalarını sağlar.

Robots txt site taraması
Robots txt site taraması

Bir arama motoru tarayıcısı, solda ki web sitesinde daha fazla zaman harcayacak ve dolayısıyla tarama bütçesinin daha fazla kullanılmasına neden olacaktır. Ancak sağdaki site yalnızca en iyi içeriğin taranmasını sağlar ve tarama bütçesini verimli kullanılmasını sağlar.

İşte robots.txt dosyasından yararlanmak istediğiniz bir senaryo.

Bildiğim gibi, yinelenen içerik SEO için zararlıdır. Ancak web sitenizde olması gereken belirli zamanlar vardır. Örneğin, bazılarınızın belirli sayfaların farklı sürümleri olabilir. Bu yinelenen içeriğe işaret eder. Böylece robotlara robots.txt sözdizimini optimize ederek yazıcı dostu sayfayı taramamalarını söyleyebilirsiniz.

Robots.txt dosyasını test etme

Robots.txt dosyanızı bulduktan, değiştirdikten ve optimize ettikten sonra, düzgün çalıştığından emin olmak için her şeyi test etme zamanı.

Bunu yapmak için Google Webmaster hesabınızda oturum açmanız gerekir. Gösterge tablonuzdan “tarama” ya gidin, daha sonra  > Robots.txt Test Aracı seçeneğini seçin ve test butonuna tıklayın.

Herhangi bir sorun varsa, sözdizimini doğrudan test cihazında düzenleyebilirsiniz. Her şey pürüzsüz olana kadar testleri yapmaya devam edin.

Test cihazında yapılan değişikliklerin web sitenize kaydedilmediğini unutmayın. Bu nedenle, değişiklikleri gerçek robots.txt dosyanıza kopyalayıp yapıştırdığınızdan emin olmanız gerekir.

Ayrıca, bu aracın yalnızca Google botlarını ve tarayıcılarını test etmek için olduğunu belirtmek gerekir. Diğer arama motorlarının robots.txt dosyanızı nasıl okuyacağını tahmin edemez.

Robots.txt Kullanımı Hakkında Bilmeniz Gerekenler

Bulunabilmesi için robots.txt dosyanızın adı “robots.txt” olmalıdır. Büyük / küçük harf duyarlıdır, yani Robots.txt veya robots.TXT kabul edilemez.

Robots.txt dosyası her zaman web sitenizin kök klasöründe ana bilgisayarın üst düzey dizininde olmalıdır.

Herkes robots.txt dosyanızı görebilir. Tek yapmaları gereken, kök etki alanından sonra görüntülemek için /robots.txt ile web sitenizin URL’sinin adını yazmaktır. Bu yüzden bunu gizli veya aldatıcı olarak kullanmayın, çünkü esasen kamuya açık bilgilerdir.

Çoğunlukla, farklı arama motoru tarayıcıları için belirli kurallar yapmanızı önermem. Google için belirli bir kurallar kümesinin ve Bing için başka bir kurallar kümesinin faydasını göremiyorum. Kurallarınızın tüm kullanıcı aracıları için geçerli olması daha az kafa karıştırıcıdır.

Robots.txt dosyanıza izin verme sözdizimi eklemek, sayfanın dizine eklenmesini engellemez. Bunun yerine, bir noindex etiketi kullanmanız gerekir.

Arama motoru tarayıcıları son derece gelişmiş. Aslında web sitenizin içeriğini gerçek bir kişinin yaptığı gibi görüntüler. Dolayısıyla, web siteniz çalışmak için CSS ve JS kullanıyorsa, robots.txt dosyanızdaki bu klasörleri engellememelisiniz.

Robots.txt dosyanızın güncellendikten hemen sonra tanınmasını istiyorsanız, web sitenizin taranmasını beklemek yerine doğrudan Google’a gönderin.

Bağlantı eşitliği engellenen sayfalardan bağlantı hedeflerine geçirilemez. Bu, izin verilmeyen sayfalardaki bağlantıların nofollow olarak değerlendirileceği anlamına gelir. Dolayısıyla, bazı bağlantılar arama motorları tarafından erişilebilen diğer sayfalarda olmadıkça dizine eklenmez.

Robots.txt dosyası, özel kullanıcı verilerinin ve diğer hassas bilgilerin SERP’lerinizde görünmesini engellemek için bir alternatif değildir. Daha önce söylediğim gibi, izin verilmeyen sayfalar yine de dizine eklenebilir. Dolayısıyla, bu sayfaların şifre korumalı olduğundan ve bir noindex meta yönergesi kullandığından emin olmanız gerekir.

Site haritaları robots.txt dosyanızın altına yerleştirilmelidir.

Sonuç

Bu bilgilerin çoğunun biraz teknik olduğunu biliyorum, ama sizi korkutmasına izin vermeyin. Robots.txt dosyanızın temel kavramlarını ve uygulamalarını anlamak oldukça kolaydır.

Unutmayın, bu çok sık değiştirmek isteyeceğiniz bir şey değildir. Değişiklikleri kaydetmeden önce her şeyi test etmeniz de son derece önemlidir. Her şeyi iki ve üç kez kontrol ettiğinizden emin olun.

Bir hata, bir arama motorunun sitenizi taramayı tamamen durdurmasına neden olabilir. Bu SEO pozisyonunuz için yıkıcı olurdu. Bu yüzden sadece kesinlikle gerekli olan değişiklikleri yapın.

Doğru şekilde optimize edildiğinde, web siteniz Google’ın tarama bütçesi tarafından verimli bir şekilde taranacaktır. Bu durum içeriğinizin en iyi şekilde taranmasını ve sıralama almasını sağlar.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

İlgili Makaleler

Başa dön tuşu
Kapalı