Tražilice su opremljene robotima, poznatim i kao pauci ili botovi, koji indeksiraju i indeksiraju web stranice. Ako je vaša web stranica ili stranica u razvoju ili sadrži osjetljiv sadržaj, možda ćete htjeti blokirati robote da indeksiraju i indeksiraju vašu web lokaciju. Naučite kako blokirati cijele web stranice, stranice i veze datotekama robots.txt i blokirati određene stranice i veze pomoću html oznaka. Čitajte dalje kako biste saznali kako blokirati pristup određenog robota vašem sadržaju.
Koraci
Metoda 1 od 2: Blokiranje tražilica datotekama robots.txt
Korak 1. Shvatite datoteke robots.txt
Datoteka robots.txt je obična ili ASCII tekstualna datoteka koja obavještava pauke tražilice o tome što im je dopušteno pristupiti na vašoj web lokaciji. Pauci tražilice ne smiju indeksirati datoteke i mape navedene u datoteci robots.txt. Možda će vam trebati datoteka robots.txt ako:
- Želite blokirati određeni sadržaj od pauka tražilice.
- Razvijate web lokaciju uživo i niste spremni da pauci pretraživača pretražuju i indeksiraju web lokaciju
- Želite ograničiti pristup uglednim botovima.
Korak 2. Kreirajte i spremite datoteku robots.txt
Da biste stvorili datoteku, pokrenite uređivač običnog teksta ili uređivač koda. Sačuvajte datoteku kao: robots.txt. Ime datoteke mora biti malo.
- Ne zaboravite "s".
- Kada spremite datoteku, odaberite ekstenziju “.txt” '. Ako koristite Word, odaberite opciju „Običan tekst“.
Korak 3. Napišite datoteku robots.txt s potpunom zabranom
Moguće je blokirati svakog renomiranog pauka tražilice da indeksira i indeksira vašu web lokaciju s datotekom robots.txt "s potpunom zabranom". U tekstualnu datoteku upišite sljedeće redove:
Korisnički agent: * Ne dozvoljava: /
Korak 4. Napišite robots.txt datoteku koja uslovno dozvoljava
Umjesto blokiranja svih robota, razmislite o blokiranju određenih pauka s određenih područja vaše web lokacije. Uobičajene naredbe za uvjetno dopuštanje uključuju:
- Blokirajte određenog robota: zamijenite zvjezdice pored Korisnički agent sa googlebot, googlebot-news, googlebot-image, bingbot, ili teoma.
-
Blokirajte direktorij i njegov sadržaj:
Korisnički agent: * Disallow: /sample-directory /
-
Blokirajte web stranicu:
Korisnički agent: * Disallow: /private_file.html
-
Blokiraj sliku:
Korisnički agent: googlebot-image Ne dozvoljava: /images_mypicture.jpg
-
Blokiraj sve slike:
Korisnički agent: googlebot-image Disallow: /
-
Blokirajte određeni format datoteke:
Korisnički agent: * Ne dozvoljava: /p*.gif$
Korak 5. Ohrabrite botove da indeksiraju i indeksiraju vašu web lokaciju
Mnogi ljudi žele pozdraviti, umjesto blokirati, pauke tražilice jer žele indeksirati cijelu njihovu web lokaciju. Da biste to postigli, imate tri mogućnosti. Prvo, možete odustati od stvaranja datoteke robots.txt-kada robot ne pronađe datoteku robots.txt, nastavit će indeksirati i indeksirati cijelu web lokaciju. Drugo, možete stvoriti praznu datoteku robots.txt-robot će pronaći datoteku robots.txt, prepoznati da je prazna i nastaviti pretraživati i indeksirati vašu web lokaciju. Na kraju, možete napisati datoteku robots.txt sa potpunom dozvolom. Koristite kôd:
Korisnički agent: * Disallow:
Korak 6. Sačuvajte txt datoteku u korijenu svoje domene
Nakon što ste napisali datoteku robots.txt, spremite promjene. Otpremite datoteku u osnovni direktorij vaše web lokacije. Na primjer, ako je vaša domena www.yourdomain.com, postavite datoteku robots.txt na www.yourdomain.com/robots.txt.
Metoda 2 od 2: Blokiranje tražilica s meta oznakama
Korak 1. Shvatite meta oznake HTML robota
Meta oznaka robota omogućava programerima da postavljaju parametre za botove ili pauke tražilice. Ove se oznake koriste za blokiranje robota u indeksiranju i indeksiranju cijele web stranice ili samo njenih dijelova. Ove oznake možete koristiti i za blokiranje određenog pauka pretraživača da indeksira vaš sadržaj. Ove oznake se pojavljuju u glavi vaše HTML datoteke.
Ovu metodu obično koriste programeri koji nemaju pristup korijenskom direktoriju web stranice
Korak 2. Blokirajte robote s jedne stranice
Moguće je blokirati sve botove da indeksiraju stranicu ili da prate veze stranice. Ova oznaka se obično koristi kada je web stranica u razvoju u razvoju. Kada se web lokacija dovrši, toplo se preporučuje da uklonite ovu oznaku. Ako ne uklonite oznaku, vaša stranica neće biti indeksirana niti pretraživana putem tražilica.
- Botovima možete blokirati indeksiranje stranice i praćenje bilo koje od veza:
- Možete blokirati sve botove u indeksiranju stranice:
- Možete blokirati sve robote da slijede veze stranice:
Korak 3. Dozvolite robotima da indeksiraju stranicu, ali ne slijede njene veze
Ako dopustite robotima da indeksiraju stranicu, stranica će biti indeksirana; ako spriječite paukove da prate veze, put do veze s ove određene stranice na druge stranice će se prekinuti. Umetnite sljedeći red koda u zaglavlje:
Korak 4. Neka pauci tražilice prate veze, ali ne indeksiraju stranicu
Ako dopustite robotima da prate veze, putanja do ove stranice do drugih stranica će ostati u taktu; ako im ograničite indeksiranje stranice, vaša web stranica se neće pojaviti u indeksu. Umetnite sljedeći red koda u zaglavlje:
Korak 5. Blokirajte jednu odlaznu vezu
Da biste sakrili jednu vezu na stranici, umetnite rel oznaka unutar oznake veze. Možda ćete htjeti koristiti ovu oznaku za blokiranje veza na drugim stranicama koje vode do određene stranice koju želite blokirati.
Umetnite vezu do blokirane stranice
Korak 6. Blokirajte određenog pauka tražilice
Umjesto blokiranja svih robota sa vaše web stranice, možda ćete htjeti spriječiti jednog robota da indeksira i indeksira stranicu. Da biste to postigli, zamijenite "'robot"' unutar meta oznake imenom određenog robota. Primjeri uključuju: googlebot, googlebot-news, googlebot-image, bingbot, i teoma.
Korak 7. Potaknite botove da indeksiraju vašu stranicu
Ako želite osigurati da će vaša stranica biti indeksirana i da će se pratiti njeni linkovi, možete umetnuti follow-allow meta "robot" označite u zaglavlju. Koristite sljedeći kôd:
