Robots.txt Nedir? Yapısı Nasıldır?

[Superalem] Konu Bilgileri

Konu Hakkında Merhaba, tarihinde Webmaster Genel kategorisinde aFa tarafından oluşturulan Robots.txt Nedir? Yapısı Nasıldır? başlıklı konuyu okuyorsunuz. Bu konu şimdiye dek 175 kez görüntülenmiş, 0 yorum ve 0 tepki puanı almıştır...
Kategori Adı Webmaster Genel
Konu Başlığı Robots.txt Nedir? Yapısı Nasıldır?
Konbuyu başlatan aFa
Başlangıç tarihi
Cevaplar
Görüntüleme
İlk mesaj tepki puanı
Son Mesaj Yazan aFa

aFa

Mustafa Kemal ATATÜRK
Administrator
CEO
Teknik Admin
Katılım
19 Eki 2019
Mesajlar
177
Tepkime puanı
122
Puanları
193
Konum
İstanbul

İtibar:

Arama motorları sitenizi sık sık ziyaret edip içeriklerinizi dizine eklemesi harikadır, ancak sitenizdeki bazı bölümleri dizine eklemek istemeyebilirsiniz.

Arama motorlarına sitenizdeki hangi dosya ve klasörlerden uzak durmasını söylemenin bir yolu, meta etiketinin kullanılmasıdır. Bazı arama motoru robotları meta etiketlerini okuyamadığından, meta etiketlerini fark edemediklerinden sitenizde indexlenmesini istemediğiniz alanları indexleyebilir.robots.txt dosyası kullanarak bu olumsuzluğun önüne geçebilirsiniz.


robot.txt.jpg




Robots.txt Nedir?


Robots.txt, arama robotlarına hangi sayfaları ziyaret etmemelerini istediğinizi söylemek için sitenize koyduğunuz bir metin (html değil) dosyasıdır.

Sitenizde dünyanın görmesini istemediğiniz hassas verileriniz varsa, arama motorlarının bu sayfaları dizine eklememesini de tercih edersiniz. Bunlarresimler, stil sayfaları ve javascript gibi içeriklerde olabilir.

Robots.txt hiçbir şekilde arama motorları için zorunlu değildir, ancak arama motorları site sahiplerinin istemediği bir şeyi de yapmaz. Yalnızsensitivity verileriniz varsa, bunların dizine eklenmesini ve arama sonuçlarında görüntülenmesini önlemek için robots.txt dosyasına güvenmemeniz gerektiğini belirtmek gerek.

Robots.txt dosyasının konumu çok önemlidir. Ana dizinde olması gerekir, aksi takdirde kullanıcı aracıları (arama motorları) bulamaz. Arama motorları robots.txt dosyasını ana dizinde (ör. ) görür ve orada bulamazlarsa, bu sitenin bir robots.txt dosyası olmadığını varsayarlar. Dolayısıyla robots.txt dosyasını doğru yere koymazsanız, arama motorlarının sitenizin tamamını dizine eklerse şaşırmayın.

Robots.txt kavramı ve yapısı on yıldan uzun bir süre önce geliştirildi ve daha fazla bilgi edinmek istiyorsanız adresini ziyaret edin. Bu yazıda sadece bir robots.txt dosyasının en önemli yönleriyle ilgileneceğiz.


Robots.txt Dosyasının Yapısı


Bir robots.txt dosyasının yapısı oldukça basittir. Temel olarak sözdizimi aşağıdaki gibidir:

User-agent:
Disallow:

“User-agent” arama motorlarının tarayıcılarıdır ve dizine eklenmemesi gereken dosyaları, dizinleri listeler. “User-agent:” ve “disallow:” girişlerine ek olarak yorum satırları da ekleyebilirsiniz.


Wordpress bir siteye ait robots.txt dosyası içeriği:



User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap:
 
Üst Alt