20 Aralık 2015 Pazar

Robots.txt

Yavaştan yavaştan seo konularına değinip webmaster olan arkadaşlara yardımcı olmak isteriz. Bundan sonra özgün içerik oluşturmak için sorunları ele almamayı ufaktan bırakıyoruz. Bu yazımızda robots.txt konusunu ele alacağız ve sırasıyla robots.txt nedir, robots.txt oluşturma, robots.txt test aracı, robots.txt site engelleme, robots.txt örneği nasıl olmalı gibi bu konuya dair sıkça sorulan sorulara yanıtlar vereceğiz. İlk sorumuz ile başlayalım ve diğer sorular ile devam edelim.

Robots.txt nedir?
Robots.txt arama motorlarının bir adrese uğramadan önce göz attığı ilk yerdir. Mantığını şu örnek ile kavrayabilirsiniz; bir arkadaşınızın evine gideceksiniz, bu evde yaklaşık bir saat kadar kalacaksınız. Bu ziyaretiniz öncesinde arkadaşınıza geliyorum ama evde yemek var mı, terliklerini kullanabilir miyim gibi evde bulunacağınızdan ötürü sorun yaşamamak adına sorularınız olacaktır. Robots.txt bu görevi görür. Siteyi inceleyip sizin verilerinizi yedekleyip başka kullanıcılara sunacak olan arama motorları ilk önce robots.txt dosyasına uğrar ve bu sitede başkalarıyla paylaşmamam gereken bir veri var mı, bu site sahibi şu şekilde olan robotları sitesinde görmek istiyor mu, site sahibi benim nasıl bir yol izlememi istiyor gibi temel sorularını bu txt dosyası aracılığıyla gidermek ister. Bu txt ona nasıl bir yol haritası çizer ise o yol haritasına göre siteye muamele eder.

Robots.txt nedir, nasıl oluşturulur, nasıl değiştirilir, oluşturma, test, nasıl olmalı, örnek


Robots.txt Oluşturma, Robots.Txt Nasıl Oluşturulur?
Online hizmet sunan robots.txt oluşturma adresleri mevcuttur fakat biz size Google 'u önereceğiz. Eğer blogger kullanıyor iseniz Google otomatik olarak size normal şartlarda oluşturulması gereken robots.txt 'yi sunuyor. Başka bir altyapı kullanıyor iseniz online oluşturucu siteler ile oluşturabilirsiniz ancak bu yazıdan sonra bu sitelere pek gerek duymayacaksınız. İlk olarak bilgisayarınızda bir txt (metin belgesi) oluşturun ve açın. Daha sonrasında aşağıdaki kodlardan size uygun olanını kopyalayıp bu txt 'nin içerisine yapıştırın. Blogger tarzı hazır bir sistem kullanıyorsanız otomatik olarak var olur ancak kendinize özel bir hosting sahibiyseniz sitenizin kök dizinine bu txt dosyasını atmanız gerekiyor. Chmod kaç olmalı falan diye soranlarda var, buna karışmayın 665 veya 777 her neyse fark etmiyor.

Olasılıkları ele alarak şimdi robots.txt oluşturalım.
1.Olasılık: Bir websiteniz var ve bu sitenin arama motorlarında görünmemesini istiyorsanız, yani sadece size özel olsun istiyorsanız kullanmanız gereken kod;
User-agent: * Disallow: /

2.Olasılık: Bir websiteniz var ve bu sitenin arama motorlarında görünmesini istiyorsanız, yani evet insanlar arama motoru aracılığıyla siteme ulaşsın diyorsanız kullanmanız gereken kod;
User-agent: * Allow: /

3.Olasılık: Bir websiteniz var ve evet arama motorları verilerimi yedeklesin ancak benim bazı klasörlerim (kod içerisinde kırmızı renkle özeldosya, özelresim şeklinde geçiyor, siz engellemek istediğiniz kısmı bunun yerine yazın) bana özel ve bu klasörlerde var olan verileri almasın diyorsanız aşağıdaki kodu kullanabilirsiniz;
User-agent: *
Disallow: /özeldosya
Disallow: /özelresim

Buradan sonra ise sizin kendinize göre şekillendirebileceğiniz özel kodlardan bahsedelim. Buraya kadar mantık engel var(disallow), engel yok(allow) idi. Engel yok ise zaten herhangi bir ek uygulamaya gerek yok ancak engel var ise bunu nasıl şekillendiririz ona bakalım. Mesela benim alanıma ait verilerden sadece admin panelimin yer aldığı adminpanelim.php sayfasını veri olarak alma dersem şu konu kullanmam gerekecek:
User-agent: *
Disallow: /adminpanelim.php

Robots.txt oluştururken es geçmemeniz gereken konulardan birisi de sitemap adresinizi bu txt dosyası içerisine yerleştirmektir. Arama motoruna yardımcı olursanız, sizi sevecektir. Bunun için kullanmanız gereken kod:
Sitemap: adresi-yaz.xml

Peki benim kafam karıştı, ben amatörüm, olması gereken robots.txt kodunu önerir misiniz diyenler için, gizli saklı bir şeyimizin olmaması nedeniyle kullandığımız basit kodumuz şöyledir;

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.sefbeyz.com/sitemap.xml

Şimdi genel bir tekrar yapıp anlayalım, biz bu robots.txt dosyası ile ne dedik?
User-agent ile bütün botlara izin verdik, Disallow: /serach ile bu siteye saçma sapan kişiliğe sahip insanlarda uğruyor ve saçma aramalar yapıyor, bu aramaları gösterip de diğer insanların bilincini kirletme dedik. Allow: / ile search harici her şeyi alabilirsin, eti senin falan dedik. Sitemap adresimizi yazarak da bak bot kardeş fazla yorulmana gerek yok, sitemap ile hızlıca sayfaları bulabilirsin, ben sana yardımcı oldum sen de beni şöyle ön sıralara itele ödeşelim dedik.
Robots.txt oluşturdum ama hata var mıdır? Bu soru Robots.txt Test Aracı ile çözülebilir. Bunun içinde yine Google size yardımcı oluyor, bu test aracına aşağıdaki bağlantı ile ulaşabilirsiniz.
https://www.google.com/webmasters/tools/robots-testing-tool
Genel hatlarıyla robots.txt konusuna değindik, umuyorum ki faydalı olmuştur. Robots.txt oluştururken dikkatli olun zira yanlış yaparsanız arama motorları sitenize hiç uğramaz. Sorularınızı ise yorum kısmından sorabilirsiniz, yanlış bir şey yapın istemem.

Robots.txt hakkında daha fazla bilgi için Google 'da Arama yapabilirsiniz.

2 yorum

avatar

Bu konuda en çok merak ettiğim şey Disallow: /search yapmak ne kadar doğru? yani ben sitemde etiketleri kategori olarak kullanıyorum ve google onları indexlemiyor. Sizce Disallow: /search olarak kalmalımı yoksa etiketleride arama listesinde yayınlanmaya açmalımıyız?

avatar

robot txt aracını okuduğumuzdan anladığımız kadar yappıyorduk fakat ben google webmaster araçalarından böyle bir link kontrolü olduğunu bilmiyordum.. Çok iyi oldu.

Back To Top