Merhaba Ziyaretçi

Forumumuza kayıt olarak, topluluğumuzun diğer üyeleriyle tartışabilir, paylaşabilir ve özel mesajlaşabilirsiniz...

Bilgilendirme XenForo için Önerilen Robots.txt Dosyası

İLK MESAJ

XDinc

Emektar Üye
Katılım
Ocak 2, 2017
Mesajlar
1,231
Reaction score
2,825
Puanları
115
robots-txt.png


XenForo Robots.txt dosyaları hakkında birçok makale yada farklı kayıtlar bulabilirsiniz.
Her kullanıcı kendine özgü robots.txt dosyası, oluşturabilir.

Peki nedir bu dosya ne işe yarar?

Robots.txt sitenin ana dizininde bulunan ismi değişmeyen, Google Botları için kılavuz bir dosyadır. Yani Google Botları sitenizi ziyaret ettiğinde, dosyanız varsa ilk Robots.txt dosyasına girecektir, yoksa işiniz zor, Robots.txt dosya içersinde bazı kodlar görecektir ve bu kodlar doğrultusunda nereleri indexleyeceğini, nerelere girmeyeceğini anlayacaktır.

Sonuç olarak Robots.txt Google botları için olmazsa olmazlardandır bu konuda detaylı bilgi isteyenler aşağıdaki makale linkine gözatabilirler.

Robots.txt dosyaları hakkında bilgi edinme

Yeni bir metin belgesi açalım ismini Robots.txt yapalım. Robots.txt dosyamız içersinde iki farklı değişkenimiz olacak. Bunlar ve anlamları şöyledir:

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Robot.txt Komutları ve Anlamları

User-agent: ilgili botun adını belirler
User-agent: DeepCrawl #Burada boot adı DeepCrawl
User-agent: * #* Tüm borları kapsaması anlamına gelir.
Crawl-delay: Verilerin çekilmesi için zaman aralığı belirler.
Crawl-delay: 60 #Bu alanda ilgili bota 60 saniye aralıklar ile veri çekim komutu verilmiştir.
Request-rate: Verilerin çekimini oranlılar.
Request-rate: 5/10 #Her 10 saniyede en fazla 5 sayfalık veri çeker
Request-rate: 10/5 #Her 5 saniyede en fazla 10 sayfalık veri çeker
Visit-time:
Ziyaret zamanlarını belirler
Visit-time: 0800-1145 # saat 08.00 ile 11.45 Saatleri arasında ziyaret talep edilmiştir.
Allow: Verilerin çekmek için izin verir.
Allow: /dosya/dosyaadı .html #Bu dosyadan,sayfadan verilerin çekilmesine izin verilmiştir.
Allow: /dosya/ #Adı geçen dosya ve içerisindeki tüm verilerin çekilmesine izin verilmiştir.

Disallow: Verilerin çekilmesini engeller.
Disallow:/dosya/dosyaadı.html #Bu dosyadan,sayfadan veri çekilmesi engellenmiştir.
Disallow:/dosya/ #Bu dosyadan, sayfadan ve içerisindeki tüm alanlardan, sayfalardan veri çekilmesi engellenmiştir.

XenForo için ideal Robots.txt Nasıl olmalı?

Kod:
User-agent: *

Sitemap: https://siteadresiniz/sitemap/

Disallow: /attachments/
Disallow: /misc/
Disallow: /help/
Disallow: /xentrade/
Disallow: /unanswered/
Disallow: /ReadPC/
Disallow: /search/
Disallow: /members/
Disallow: /register/
Disallow: /online/
Disallow: /lost-password/
Disallow: /recent-activity/
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /ajax/
Allow: /
Default olarak kullanılan kodlara aşağıda yer alan bağlantı üzerinden ulaşabilirsiniz.

https://xenforo.com/robots.txt
 
Ek konu bağlantısı: Robots.txt Nedir? Ne işe yarar? XenForo da Nasıl Kullanılır?
 

bebekforum

XeNFoRoTR Ekibi
Yönetici
Admin
Katılım
Ara 6, 2017
Mesajlar
650
Reaction score
789
Puanları
93
Yaş
42
Konum
Ankara
Web Sitesi
www.bebekforum.net.tr
Kod:
User-agent: *

Disallow: /attachments/
Disallow: /misc/
Disallow: /help/
Disallow: /xentrade/
Disallow: /unanswered/
Disallow: /ReadPC/
Disallow: /search/
Disallow: /members/
Disallow: /register/
Disallow: /online/
Disallow: /lost-password/
Disallow: /recent-activity/
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /events/birthdays/
Disallow: /events/monthly
Disallow: /events/weekly
Disallow: /find-new/
Disallow: /forums/-/
Disallow: /goto/
Disallow: /help/
Disallow: /login/
Disallow: /misc/style?*
Disallow: /misc/quick-navigation-menu?*
Disallow: /online/
Disallow: /ajax/

Allow: /

Sitemap: https://www.bebekforum.net.tr/sitemap.php
Ben senin anlattıklarından bu şekilde bir robot.txt atadım olmuş mu?
 

atamata

Üye
Katılım
Eyl 5, 2017
Mesajlar
6
Reaction score
1
Puanları
3
Yaş
38
eline sağlık bilgi paylaştıkça güzeldir
 

Bizi sosyal sitelerde takip edin


Bize Ulaşın
Üst Alt