jul 302008

Robots.txt es un simple fichero de texto que se coloca en el directorio raiz de tu web. En este fichero puedes decidir que directorios de tu web no quieres que sean indexados por un buscador.
Cuando un robot llega a tu página web, lo primero que hace es una petición de este archivo, si este archivo no existe, el robot indexará toda la web. (Se puede comprobar esta petición en las estadísticas, ya que si no lo tienes te devuelve un error 404 Not Found).

El funcionamiento de este fichero es muy simple con estas dos instrucciones:

User-agent: (indicas el robot que quieres)
Disallow: (nombras los directorios)

Por ejemplo, supongamos que queremos que los buscadores no nos indexen el directorio /imagenes/:

User-agent: *
Disallow: /images/

El asterisco indica todos.

Para hacer que Google no indexe este directorio y el resto si bastará nombrar el bot de Google

User-agent: googlebot
Disallow: /imagenes/

*♫♥♫* Sígueme en Twitter *♫♥♫*

La Buhardilla

 

 

¿Te ha gustado? Compartelo:
  • Digg
  • del.icio.us
  • Facebook
  • Google Bookmarks
  • LinkaGoGo
  • Live
  • Meneame
  • MySpace
  • Technorati
  • Wikio
  • email
  • Bitacoras.com
  • RSS
  • Twitter
  • Add to favorites
  • Yahoo! Bookmarks
Etiquetas: , , ,

Entradas relacionadas

3 Comentarios to “Robots.txt”

Comentarios (3)
  1. Triana dice:

    Es increible la cantidad de herramientas que hay para controlar el tráfico en internet.

  2. lola dice:

    Siii uffffffffff robot y todoooooo es alucinantee :27:

  3. Triana dice:

    Lola, tus amigos los robots que te persiguen… Wink

Deja Un Comentario

(necesario)

(necesario)

Click to Insert Smiley

SmileBig SmileGrinLaughFrownBig FrownCryNeutralWinkKissRazzChicCoolAngryReally AngryConfusedQuestionThinkingPainShockYesNoLOLSillyBeautyLashesCuteShyBlushKissedIn LoveDroolGiggleSnickerHeh!SmirkWiltWeepIDKStruggleSide FrownDazedHypnotizedSweatEek!Roll EyesSarcasmDisdainSmugMoney MouthFoot in MouthShut MouthQuietShameBeat UpMeanEvil GrinGrit TeethShoutPissed OffReally PissedMad RazzDrunken RazzSickYawnSleepyDanceClapJumpHandshakeHigh FiveHug LeftHug RightKiss BlowKissingByeGo AwayCall MeOn the PhoneSecretMeetingWavingStopTime OutTalk to the HandLoserLyingDOH!Fingers CrossedWaitingSuspenseTremblePrayWorshipStarvingEatVictoryCurseAlienAngelClownCowboyCyclopsDevilDoctorFemale FighterMale FighterMohawkMusicNerdPartyPirateSkywalkerSnowmanSoldierVampireZombie KillerGhostSkeletonBunnyCatCat 2ChickChickenChicken 2CowCow 2DogDog 2DuckGoatHippoKoalaLionMonkeyMonkey 2MousePandaPigPig 2SheepSheep 2ReindeerSnailTigerTurtleBeerDrinkLiquorCoffeeCakePizzaWatermelonBowlPlateCanFemaleMaleHeartBroken HeartRoseDead RosePeaceYin YangUS FlagMoonStarSunCloudyRainThunderUmbrellaRainbowMusic NoteAirplaneCarIslandAnnouncebrbMailCellPhoneCameraFilmTVClockLampSearchCoinsComputerConsolePresentSoccerCloverPumpkinBombHammerKnifeHandcuffsPillPoopCigarette

Si quieres recibir las actualizaciones por correo,
entra tu email:

 

Nos visitan desde…

Categorías

<