Kako blokirati pretraživače (sa ilustracijama)

Tražilice su opremljeni robotima (web pauci ili botove) koji skeniraju i indeksiraju web stranice. Ako je vaša web stranica ili stranica u izradi ili sadrži neželjeni sadržaj, roboti mogu biti zabranjeni za skeniranje i indeksiranje vaše web stranice. Naučite kako blokirati cijele web stranice, stranice i veze pomoću datoteke robota.Txt ili specifične stranice i veze pomoću HTML oznaka . Pročitajte da biste saznali kako zabraniti pristup sadržaju određenim botovima.

Korake

Metoda 1 od 2:

Zaključavanje pretraživača pomoću datoteke robota.PORUKA

jedan. Pogledajte datoteku robota.PORUKA. Robots datoteka.Txt je jednostavna tekstualna datoteka ili ASCII datoteka koja govori web paucima pretraživača na koje dijelove web stranice mogu pristupiti. Datoteke i mape navedene u datoteci robota.Txt, ne može se skenirati i indeksirati pretraživanje robota. Koristite datoteku robota.Txt ako:

Želite sakriti određeni sadržaj iz pretraživača;
Vi ste u procesu razvoja stranice i niste spremni za skeniranje i indeksiranje stranice po paucima pretraživača;
Želite ograničiti pristup autoritativnim botovima.

2. Kreirajte i sačuvajte datoteku robota.PORUKA. Da biste kreirali datoteku, otvorite uobičajeni uređivač teksta ili uređivač koda. Spremite datoteku kao robote.PORUKA. Naziv datoteke mora biti napisano malim slovima.

Ne zaboravite dodati "s" na kraju.

Prilikom spremanja datoteke odaberite ekstenziju ".PORUKA ". Ako koristite Word, odaberite opciju "Obični tekst".

3. Kreirajte datoteku robota.TXT sa bezuslovnim direktivom obrana. Bezuvjetna Direktiva zabrani omogućit će vam blokirati pretraživanje robota svih glavnih pretraživača, izbjegavajući skeniranje i indeksiranje stranice. Dodajte sljedeće redove u tekstualnu datoteku:

Korisnički agent: * onemogući: /

Koristite bezuslovno zabraniti direktivu u datoteci robota.Txt je jak koji se ne preporučuje. Kada je bot, poput Bingbota, smatra ovu datoteku, neće indeksirati vašu web lokaciju, a pretraživač ga ne prikazuje.

Korisnički agenti (Korisnički agenti) - Ovo je drugo ime web pauka ili pretraživanja robota.

*: Zvezdica znači da se kod primjenjuje na sve korisničke agente.

Onemogući: /: Đavo ne kaže da je cijela web lokacija zatvorena za botove.

4. Kreirajte datoteku robota.TXT sa pustom direktivom. Umjesto da blokirate sve botove, razmislite o blokiranju pristupa određenim paucima na određene dijelove web mjesta. Glavne naredbe Dozvoštane direktive uključuju ::

Blokiranje betonskog bota: Zamijenite zvjezdicu pored Korisnički agent na GoogleBot, GoogleBot-vijesti, GoogleBot-slika, Bingbot ili Teoma.

Blokiranje kataloga ili njenog sadržaja:

Korisnički agent: * onemogući: / uzorak-direktorij /

Blokiranje web stranice:

Korisnikovanje: * Onemogući: / private_file.Html

Blokiranje slike:

Korisnički agent: GoogleBot-ImageDisallow: / images_myplika.JPG

Blokirajte sve slike:

Korisnički agent: GoogleBot-ImageDisallow: /

Blokiranje zasebnog formata datoteke:

Korisnikovanje: * Onemogući: / P *.jpg $

pet. Zadovoljstvo botova na indeksiranje i skeniranje vaše web stranice. Mnogi ljudi ne samo ne blokiraju, već naprotiv, pozdravlja pažnju pauka za pretraživač na njihovu stranicu tako da je potpuno indeksiran. Da bi se to postiglo može biti tri načina. Prvo, možete odbiti da stvorite datoteku robota.PORUKA. Ako robot ne nađe datoteku robota.TXT će i dalje skenirati i indeksirati cijelu web lokaciju. Drugo, možete stvoriti prazne datoteke robota.PORUKA. Robot će pronaći datoteku robota.Txt će vidjeti da je prazan i nastavit će skenirati i indeksirati stranicu. Konačno, možete stvoriti datoteku robota.TXT sa bezuvjetnom Direktivom o rezoluciji pomoću koda:

Korisnikovanje: * Onemogući:

Kad je bot, poput Googlebota, smatra ovu datoteku, može slobodno posjetiti cijelu vašu web stranicu.

Korisnički agenti (Korisnički agenti) - Ovo je drugo ime web pauka ili pretraživanja robota.

*: Zvezdica znači da se kod primjenjuje na sve korisničke agente.

Onemogućiti: Prazno zabraniti naredbu znači sve datoteke i mape su dostupni.

6. Spremite tekstualnu datoteku u korijenski direktorij domene. Nakon uređivanja datoteke robota.TXT Spremite promjene. Umetnite datoteku u korijenski direktorij stranice. Na primjer, ako imate domenu Youdedain.Com, Postavite datoteku robota.Txt na adresi Youdedain.COM / Roboti.PORUKA.

Metoda 2 od 2:

Lock Search Monsion Metateges

jedan. Pogledajte HTML Metategne robote. Metater Roboti omogućava programerima da postavljaju parametre za botove ili pauke za pretraživače. Uz pomoć ovih oznaka, botovi su zabranjeni indeksiranje i skeniranje cijele web lokacije ili zasebne dijelove. Možete ih koristiti i za blokiranje specifičnog pretraživača pauka iz indeksiranja sadržaja. Ove oznake su navedene u zaglavlju HTML datoteke.

Ova metoda se obično koriste programerima koji nemaju pristup korijenskom direktoriju web lokacije.

2. Onemogući pristup botovima na jednu stranicu. Indeksiranje stranica i / ili prijavljivanje stranice na stranici možete zabraniti za sve botove. Ova se oznaka obično koristi kada je web mjesto u razvoju. Nakon završetka stranice, toplo se preporučuje izbrisati ovu oznaku. Ako ne uklonite oznaku, stranica se neće indeksirati ili dostupan za pretraživanje putem pretraživača.

Onemogućite botove za indeksiranje stranice i kretati se na bilo kojem od veza:

 Ime = "Roboti" sadržaj = "Noindex, nofollow">

Onemogućite sve botove za indeks stranice:

 Ime = "Roboti" sadržaj = "noindex">

Zabranite svim botovima da biste išli na linkove na stranici:

 Ime = "Roboti" sadržaj = "nofollow">

3. Dopustite botovima da indeksiraju stranicu, ali ne idu na njegove veze. Ako omogućujete botovima da indeksiraju stranicu, bit će indeksiran. Ako zabranite pauke da biste uključili veze, način na koji će se veza s ove stranice na druge biti blokirana. Umetnite sljedeću liniju koda u naslovu:

 Ime = "Roboti" sadržaj = "Index, Nofollow">

4. Dopustite paucima pretraživača preko veza, ali ne indeksirajte stranicu. Ako omogućujete da se botovi premještaju na veze, veze staza s ove stranice na druge ostat će otvorene. Ako onemogućite botove za indeksiranje stranice, neće se pojaviti u indeksu. Umetnite sljedeću liniju koda u naslovu:

 Naziv = "Roboti" sadržaj = "Noindex, slijedite">

pet. Blokirajte odlaznu vezu. Da biste sakrili jednu vezu na stranici, postavite oznaku Rel unutar reference oznake . Pomoću ove oznake blokirajte veze na drugim stranicama koje dovode do određene stranice koju želite blokirati.

 href ="Youdedain.Html" Rel ="Nofollow"> Umetnite vezu na zaključanu stranicu

6. Blokirajte određeni pauk pretraživanja. Umjesto da blokirate pristup stranici za sve botove, postavite zabranu skeniranja i indeksiranje stranice samo za jedan bot. Da biste to učinili, zamijenite riječ "roboti" u metategu nazivu određenog bota. Primjeri: GoogleBot, GoogleBot-vijesti, GoogleBot-slika, Bingbot i Teoma.

 Ime = "Bingbot" sadržaj = "Noindex, nofollow">

7. Poboljšajte botove za skeniranje i indeksiranje stranice. Ako želite osigurati da se stranica indeksira, a veze će se prebaciti, dodavati rezoluciju Meta Tag "Roboti" na vaš zaglavlje. Koristite sljedeći kod:

 Naziv = "Content" Content = "Index, slijedite">