Robots.txt Generator

Поисковая оптимизация

Robots.txt Generator


:  
    
:
    
Карта сайта:  
     
: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
: "/"
 
 
 
 
 
 
   



Теперь создайте файл «robots.txt» в корневом каталоге. Скопируйте текст выше и вставьте в текстовый файл.


Около Robots.txt Generator

Robots.txt Generator. Search Engines are usingrobots (or so called User-Agents) to crawl your pages. The robots.txt file is a text file that defines which parts of a domain can be crawled by a robot