O se faila robots.txt o loʻo teuina i le aʻa o lau 'upega tafaʻilagi o le a taʻu atu i robots website e pei o spider spider o search mea o tusi ma faila e faatagaina ai i latou e toso. E faigofie le faʻaaogaina o se faila robots.txt, ae ei ai nisi mea e tatau ona e manatua:
- O le a le amanaʻia e le robots web robots laupepa o lau file robots.txt. O ituaiga masani e masani ona avea ma suauu vevesi ma robots o loʻo sailia ni tuatusi imeli i le seleselega.
- O nisi tagata fou o le a tusia robots e le amanaia le faila robots.txt. E masani ona faia lenei mea i se mea sese.
- Soʻo se tasi e mafai ona vaʻai i lau faila robots.txt. Latou te taʻua i taimi uma o robots.txt ma e teuina i luga o le upega tafaʻilagi.
- Ma le mea mulimuli, afai e fesootaʻi se tasi i se faila po o se lisi e le o aofia ai i lau laupepa robots.txt mai se itulau e le o vaʻavaʻaia e la latou faila robots.txt, e ono maua lava e masini suʻesuʻe.
Aua le faʻaaoga faila robots.txt e nana ai se mea taua. Nai lo lena, e tatau ona e tuʻuina atu faʻamatalaga taua i tua o upu faʻamaonia poʻo le tuʻuina atoa mai le upega tafailagi.
Faʻafefea ona Faʻaogaina Nei Faʻaataʻitaʻiga Faʻataʻitaʻiga
Kopi le tusiga mai le faʻataʻitaʻiga e latalata i mea e te manaʻo e fai, ma faapipii i lau faila robots.txt. Suia le robot, faʻamaufaʻailoga, ma faila igoa e fetaui ma lau faʻalapotopotoga sili ona lelei.
Lua Fomai Faʻamatalaga Robots.txt
Tagata faigaluega: *
Faalēaogāina: /
Fai mai le faila lenei, o soʻo se robot (Sui-sui: *) e mafai ona faʻaaogaina e tatau ona le amanaia uma itulau i luga o le 'upega tafaʻilagi (Faʻasalaga: /).
Tagata faigaluega: *
Faʻasalaga:
Fai mai lenei faila, soʻo se robot (Tagata-sui: *) e avanoa e matamata i itulau uma i luga o le 'upega tafaʻilagi (Faʻasalaga:).
E mafai foi ona e faia lenei mea e ala i le tuʻuina atu o lau faila robots.txt avanoa pe leai foi se tasi i lau 'upega tafaʻilagi.
Puipuia Faʻamaumauga Taua mai Robots
Tagata faigaluega: *
Le faʻaaogaina: / cgi-bin /
Faʻafitauli: / temp /
O lenei faila e fai mai o soʻo se robot (Tagata-tagata sui: *) e maua ai e tatau ona le amanaʻiaina ia directories / cgi-bin / and / temp / (Tuʻulafoa: / cgi-bin / Disallow: / temp /).
Puipui Ata Matagofie Mai Robots
Tagata faigaluega: *
Faʻasalaga: /jenns-stuff.htm
Faʻasalaga: /private.php
E fai mai le faila lenei, o soʻo se faufautua (Sui-sui: *) e maua ai e tatau ona le amanaia faila /jenns-stuff.htm ma /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
Taofia se Faʻatonu Faʻapitoa mai le Avanoa i Lau Nofoaga
Tagata faigaluega: Lycos / xx
Faalēaogāina: /
Fai mai lenei faila, o le Lycos bot (Tagata-sui: Lycos / xx) e le mafai ona avanoa i soo se mea i luga o le 'upega tafaʻilagi (Disallow: /).
Faataga naʻo le tasi le Access Robot Access
Tagata faigaluega: *
Faalēaogāina: /
Tagata faigaluega: Googlebot
Faʻasalaga:
O lenei faila muamua e faʻamalo uma robots e pei ona matou faia i luga, ona faʻamaonia ai lea e maua le Googlebot (Tagata-tagata: Googlebot) i mea uma (Disallow:).
Faʻateleina Lini Lautele e Maua ai Faʻamatalaga Eseese Oe Manaomia
E sili atu le faʻaaogaina o se laina o le aufaigaluega, e pei o le sui-sui: *, e mafai ona e faʻamaonia e pei ona e manaʻo ai. Manatua o robots e faitau le faila i le faasologa. Ma afai o laina muamua e fai mai o poloka robota uma ua poloka mai mea uma, ma mulimuli ane i luga o le faila o fai mai o mea uma lava e maua ai robots e mafai ona avanoa i mea uma, o le a maua e le au robota mea uma.
Afai e te le o mautinoa pe ua e saʻoina lau faila robots.txt, e mafai ona e faʻaaogaina Google Webmaster Tools e siaki ai lau faila robots.txt pe tusi se mea fou.