Robots.txt Generator

Eines d'Optimització SEO

Robots.txt Generator


Per defecte - Tots els Robots estan:  
    
Retard de Rastreig:
    
Mapa Web: (deixa-ho en blanc si no en tens) 
     
Cerca Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directoris Restringits: La ruta és relativa a l'arrel i ha d'acabar amb una barra al final "/"
 
 
 
 
 
 
   



Ara crea un fitxer "robots.txt" al directori arrel, copia el següent text i enganxa'l a l'arxiu de text.


Descripció: Robots.txt Generator

La Robots.txt Generator tool és una eina que serveix per generar l'arxiu Robots.txt que fan servir els motors de cerca per indexar la nostra pàgina web, aquesta permet informar de les accions que els motors de cerca han de fer o poden fer, especificar les carpetes que volem que rastregin i el temps màxim que han/poden estar els robots dins la carpeta o pàgina.

Els motors de cerca disposen d'uns robots o "crawler" que visiten les pàgines web, la primera vegada que un motor de cerca visita una pàgina web llegeix el fitxer Robots.txt i rep les indicacions dels llocs on té permís per rastrejar el contingut per indexar-lo.

El fitxer robots.txt una vegada generat s'ha de col·locar a l'arrel del lloc web.