Hur tar man bort en webbplats eller dess fragment från Googles index

Enligt indexering konceptet antagits av Google, stod för fullständighet, objektivitet informationen och dess överensstämmelse med sökfrågan i utfärdandet av resultaten. Om indexet faller webbplats med olagligt innehåll, eller resurs för spam, kommer sidorna på denna webbplats inte märkas i den gemensamma databasen sökmotorn. För oss är det viktigt att lära sig hur man tar bort en plats från utfärdandet av resultaten från sökservern.

Varianter av noll indexering Google

När sökningen robot - ett program för att samla in information om nya resurser - kommer att skanna webbplatsen sida för sida, då, när enligt Googles policy krav på tolkning, det kommer att indexeras. Men vi visar också hur man tar bort din webbplats eller fragment för sökmotorerna genom en robots.txt - index och söka på samma gång stopp.

Utesluta från utfärdandet av resursen som helhet, i rotkatalogen på servern som platsen är belägen, skapar en viss textområde - sade robots.txt. Denna zon behandlas med sökmotorer och agera i enlighet med de instruktioner som läses.

Tänk på att indexen Googles sökmotor på sidan även om en användare har möjlighet att se förbjudas. När webbläsaren svarar med 401 eller 403 "Access är ogiltig", det gäller bara för besökare, snarare än program som samlas för sökmotorn.

För att förstå hur du tar bort platsen från sökmotorn indexering måste en text pekaren ange följande rader:

User-agent: Googlebot

Disallow: /

Detta tyder på att sökroboten att indexera förbud mot allt innehåll på webbplatsen. Här är hur man tar bort en webbplats Google, så att den senare inte cache resursen i listan över upptäckta.

Utföringsformer av avsökning för olika protokoll

Om du behöver för att lista enskilda kommunikationsstandarder, som du vill använda särskilda regler för indexering av Google, till exempel separat för hyper protokoll http / https, är det också nödvändigt att registrera sig i robots.txt på följande sätt (exempel).

(Http://yourserver.com/robots.txt) - ett domännamn för din webbplats (någon)

User-agent: * - en sökmotor

Tillåt: / - tillåta fullständig indexering

Hur tar man bort en webbplats från frågan helt åt https-protokollet

(Https://yourserver.com/robots.txt):

User-agent: *

Tillåt inte: / totalförbud mot indexering

Expedierade borttagning URL- resurs adresser från Google SERPS

Om du inte vill vänta på åter indexering, och platsen du vill dölja ut, rekommenderar jag att använda tjänsten http://services.google.com/urlconsole/controller snart som möjligt. Pre robots.txt måste placeras i rotkatalogen på webbplatsen servern. Det bör förskrivas lämpliga instruktioner.

Om pekaren av någon anledning inte kan redigeras i rotkatalogen, skapar det tillräckligt i mappen med mål som du vill dölja från sökmotorerna. När du gör detta och hänvisar till tjänsten automatiskt ta bort hyper adresser kommer Google inte söka igenom mappar som stavas ut ett fel i robots.txt.

Perioden av denna osynlighet är satt till 3 månader. Efter denna period kommer katalogen ut ur frågan, återigen behandlas av Google server.

H ur för att avlägsna en webbplats för att skanna delvis

När en sökning bot läser innehållet i robots.txt är att vissa beslut fattas på grundval av dess innehåll. Låt oss säga att du vill utesluta från visar hela katalog som heter anatom. Det räcker med att föreskriva sådana bestämmelser:

User-agent: Googlebot

Disallow: / anatom

Eller, till exempel, du vill inte indexera alla bildtyper .gif. För att göra detta genom att lägga till följande lista:

User-agent: Googlebot

Tillåt: /*.gif$

Här är ett annat exempel. Låt dem tas bort från analysera information om dynamiskt genererade sidor, samtidigt lägga till typ indexpost:

User-agent: Googlebot

Tillåt inte: / *?

Det handlar om, och anges de regler för sökmotorer. En annan sak är att det är mycket mer praktiskt att bara använda denna metatagg. Och webmasters använder ofta just en sådan standard som reglerar användningen av sökmotorer. Men vi kommer att diskutera detta i kommande artiklar.