Jedan od alata za upravljanje indeksiranjem web mjesta putem pretraživača je datoteka robots.txt. Uglavnom se koristi za sprečavanje svih ili samo određenih robota da preuzmu sadržaj određenih grupa stranica. To vam omogućuje da se riješite "smeća" u rezultatima tražilice i, u nekim slučajevima, značajno poboljšate rangiranje resursa. Važno je imati ispravnu datoteku robots.txt za uspješnu prijavu.
Potrebno
uređivač teksta
Upute
Korak 1
Napravite popis robota za koje će se postaviti posebna pravila izuzimanja ili će se koristiti direktive proširenog standarda robots.txt, kao i nestandardne i specifične direktive (proširenja određene tražilice). Unesite na ovaj popis vrijednosti polja User-Agent zaglavlja HTTP zahtjeva koje odabrani roboti šalju poslužitelju web mjesta. Imena robota mogu se naći i u referentnim odjeljcima web mjesta tražilice.
Korak 2
Na popisu sastavljenom u prvom koraku odaberite grupe URL-ova resursa web mjesta kojima treba odbiti pristup svakom od robota. Izvedite istu operaciju za sve ostale robote (neodređeni skup botova za indeksiranje). Drugim riječima, rezultat bi trebao biti nekoliko popisa koji sadrže poveznice na odjeljke web mjesta, grupe stranica ili izvore medijskog sadržaja kojima je zabranjeno indeksiranje. Svaka lista mora odgovarati drugom robotu. Također bi trebao postojati popis zabranjenih URL-ova za sve ostale botove. Napravite popise na temelju usporedbe logičke strukture web mjesta s fizičkim položajem podataka na poslužitelju, kao i grupiranjem URL-ova stranica prema njihove funkcionalne karakteristike. Na primjer, možete uključiti u popise zabranjenih sadržaja bilo koji katalog usluga (grupiran prema mjestu) ili sve stranice korisničkih profila (grupirane prema namjeni).
3. korak
Odaberite znakove URL-a za svaki od resursa sadržanih na popisima sastavljenim u drugom koraku. Prilikom obrade popisa izuzeća za robote koji koriste samo standardne direktive robots.txt i nedefinirane robote, istaknite jedinstvene URL dijelove maksimalne duljine. Za preostale skupove adresa možete izraditi predloške u skladu sa specifikacijama određenih tražilica.
4. korak
Stvorite datoteku robots.txt. Dodajte mu grupe direktiva, od kojih svaka odgovara skupu pravila zabrane za određenog robota, čiji je popis sastavljen u prvom koraku. Potonje bi trebala slijediti skupina smjernica za sve ostale robote. Odvojite grupe pravila jednim praznim retkom. Svaki skup pravila mora započeti direktivom User-agent koja identificira robota, nakon čega slijedi Disallow direktiva koja zabranjuje indeksiranje URL grupa. Izradite retke dobivene u trećem koraku s vrijednostima direktiva Disallow. Odvojite direktive i njihova značenja dvotačkom. Razmotrite sljedeći primjer: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Ovaj skup direktiva daje instrukcije glavnom robotu Yandexova tražilica ne indeksira URL koji sadrži podniz / temp / data / images /. Također sprječava sve ostale robote da indeksiraju URL-ove koji sadrže / temp / data /.
Korak 5
Dopunite robots.txt proširenim standardnim smjernicama ili određenim smjernicama tražilice. Primjeri takvih direktiva su: Host, Sitemap, stopa zahtjeva, vrijeme posjeta, kašnjenje indeksiranja.
