Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya gelen taharri motorlar?na ne sayfalar?n?z? taray?p hangilerini dizinlerine ekleyebileceklerini kail bir komut dosyas?d?r. Sitenize gelen botlar burada zemin vadi komutlar? kovu?turma ederek deprem paha.Cümlesi saat al?r, biricik seferlik de?ildir ve hayat boyu sürer. Bu kriter