Robots.txt Nedir, Nasıl Oluşturulur?

1 2 3 4 5 6 7
javascript slider by WOWSlider.com v9.0
EN SON MESAJLAR
Son Mesajlar
Konu Tarih, Zaman  Yazar Son Yorum
    windows 7 orjinal yapma 2021 09-19, 12:30 ERKAN
  Telefon'da En Çok Kullanılan Uygulamal... 08-30, 15:04 ERKAN ERKAN
  Windows 11'de Görev Çubuğu Simge boyut... 08-28, 11:29 ERKAN ERKAN
  AMD Radeon HD 7600M driver Windows 10 ... 08-20, 23:59 ERKAN culso
  Windows 11 Android Uygulama Çalıştırma... 08-09, 23:59 ERKAN ERKAN
  Windows 11 Görev Çubuğu Yer Değiştirme 08-05, 23:42 ERKAN ERKAN
  Windows 11, yedi farklı sürümleri Hang... 07-20, 00:56 ERKAN ERKAN
  TikTok, videoları 60 saniyeden 3 dakik... 07-05, 01:46 ERKAN ERKAN
  Windows 10 ile Windows 11 arasındaki f... 07-02, 00:35 ERKAN ERKAN
  En yüksek kalitede resim büyütme Nasıl... 06-27, 19:13 ERKAN ERKAN
  intel hd graphics 4000 driver windows ... 06-25, 20:23 ERKAN ERKAN
En Çok Görüntülenen Konular
  Windows 10 21h1 ful... 238024
  Windows 10 Etkinleş... 141873
  windows 7 orjinal y... 76829
  Windows Xp Sp3 İndi... 34257
  Windows 7 Ultimate ... 23968
  Whatsapp son güncel... 22009
  Samsung easy settin... 18563
  Gizlilik Politikası 17209
  Windows 10 Pro DVD ... 14265
  ManyCam Pro - 2015 ... 13830
  Quantum Break Pc Fu... 13496
  Asc timetables full... 13287
Yeni Üyeler
mustafa2134 08-25
cihan55 08-24
Blackmagic31 08-24
9oktvg 08-24
FightingTin6 08-24
ozlem_akkas1987@hotmail.com 08-24
sercan_akkas@hotmail.com 08-23
aydin 08-22
hkerem 08-22
Serhat2197 08-22
gganau 08-22
myasan38 08-22

Şuan Tarih: 24-09-2021, Saat: 12:59
Konuyu Değerlendir
  • 1 Oy - 1 Ortalama
  • 1
  • 2
  • 3
  • 4
  • 5
Robots.txt Nedir, Nasıl Oluşturulur?
#1
Arama motorlarının web sitemizi nasıl algılayacağı yönünde bir nevi klavuz metni olan Robots.txt dosyası hakkında merak edilen önemli bilgilere ışık tutmaya çalıştık.

Robots.txt Nedir, Ne İşe Yarar?
 
 
Uzantısından da anlaşılacağı üzere düz bir metin dosyasıdır. Arama motorlarının robotlarının (diğer bir ifadeyle spider, yani "örümcek") web sitemizi tararken nasıl davranacağı konusunda yol gösteren bir yönlendirici gibi düşünebilir. Arama motorları web sitemizdeki verileri veribankasına ekleyerek internet dünyasında çeşitli bilgilere erişmek için anahtar kelimelerle sorgu yapan kullanıcılara sunar. Hal böyle iken web site sahipleri de içeriklerinin arama motorlarında ne denli görünüp, görünmeyeceğini ve ne şekilde yer alacağını belirlemek ister. Bu noktada Robots.txt dosyasının önemi büyüktür.

Robots.txt Nasıl Düzenlenir?

Öncelikle Robots.txt dosyasının konumuna dikkat etmek gerekiyor. Robots.txt dosyası mutlaka ana dizinimizde bulunmalıdır, başka bir ifadeyle örneğin teknolojiprogramlari.com/robots.txt şeklinde bir yola sahip olmalıdır. Haliyle robots.txt dosyası oluştururken public_html/ veya htdocs/ dizini içerisinde var olduğuna dikkat etmek gerekiyor.

[Resim: robots-txt-nedir-nasil-olusturulur.webp]


Web sitemizin arama motorlarında yer bulması elbette en arzu edilesi durumdur. Fakat geliştirme aşamasında olduğumuz bir web sayfasının düzensiz şekliyle arama motorlarında yer almasını istemeyiz. 

Robots.txt dosyası yardımıyla web sitemizin tamamının veya bir kısmının arama motorlarında yer alıp almayacağını belirtebiliriz. 

User-agent Komutu:
Hangi arama motorlarının sitemizi ziyaret edip/etmemesi gerektiği konusunda yardımcı olan komuttur. Bizim tavsiyemiz sitenizi tüm arama motorlarının erişimine açmanız yönündedir. Haliyle * operatörü kullanarak şöyle bir söz dizimi yazmak gereklidir.

user-agent: * 
Disallow Komutu:
Arama motorlarının hangi dosyayı ve dizini indekslememesi yönünde komut verebileceğimiz bir yardımcıdır. Örneklerle anlaşılır kılalım.
Örneğin admin dizininin güvenlik gerekçesiyle arama motorlarında yer almasını istemiyorsak uygulayacağımız söz dizimi şöyle olmalıdır.

Disallow: /admin/
Sadece admin dizini içindeki sifre_degistir.html dosyasının arama motorlarında yer almasını istemiyorsak;
Disallow: /admin/sifre_degistir.html
Web sitemizin bütünüyle arama motorlarında yer almasını istemiyorsak;
Disallow: /

Sitemap Komutu:
Bu komut ile arama motorlarının örümceklerine web sitemizin detaylı bir iç klavuzu olan site haritamızın yolunu göstermiş oluruz.



AŞAGIDAKİ İMZANIN SAHİBİ OLAN ÜYEMİZ Anket ERKAN
[Resim: facebook.jpg] [Resim: pinterest.jpg][Resim: instagram.jpg] [Resim: twitter.jpg][Resim: youtube.jpg]
Teşekkür Edenler:
Bul
Alıntı


Foruma Git:


Şuan Bu Sayfayı Okuyan Kullanıcılar: 1 Ziyaretçi