Si të hiqni një faqe ose fragmente të saj nga indeksi Google

Sipas konceptit të indeksimit të miratuar nga Google, llogariten për plotësinë, objektivitetin e informacionit dhe konform saj në search query në nxjerrjen e rezultateve. Në qoftë se indeksi bie faqen e internetit me përmbajtje të paligjshme, ose burim për spam, faqet e kësaj faqe interneti nuk do të shënohet në motor kërkimi të përbashkët bazës së të dhënave. Për ne është e rëndësishme për të mësuar se si për të hequr një vend nga lëshimi i rezultateve të serverit kërkimit.

Variantet e zero indeksimit Google

Pasi të kërkimit robot - një program për të mbledhur informacion në lidhje me burimet e reja - do të scan faqe faqe me faqe, atëherë, kur në bazë të kërkesave të politikave të Google për analizë gramatikore, ajo do të indeksuar. Por ne gjithashtu të ju tregojnë se si për të hequr faqen tuaj ose fragmente për motorët e kërkimit nëpërmjet një robots.txt - indeksi dhe të kërkoni në të njëjtën kohë të ndaluar.

Për të përjashtuar nga lëshimi i burimeve si një e tërë, në dosjen rrënjë e serverit në të cilën faqe është e vendosur, krijon një zonë të caktuar të tekstit - tha robots.txt. Kjo zonë është trajtuar me motorët e kërkimit dhe të veprojnë sipas udhëzimeve të lexuar.

Mbani në mend se indekset e Google search engine faqe, edhe në qoftë se një përdorues ka qasje për të parë të ndaluara. Kur shfletuesi i përgjigjet me 401 ose 403 "Qasja është e pavlefshme", kjo vlen vetëm për vizitorët, në vend se programet që të mblidhen për këtë motor kërkimi.

Për të kuptuar se si për të hequr vendin nga search engine indeksimit, një tregues teksti duhet të hyjë linjat e mëposhtme:

User-agent: Googlebot

Lejoj: /

Kjo tregon në servil të indeksit ndalimin e të gjithë përmbajtjen në këtë faqe interneti. Ja se si për të hequr një faqe Google, në mënyrë që ky i fundit nuk cache e burimeve në listën e zbuluar.

Mishërime të skanimit për protokolleve të ndryshme

Nëse keni nevojë për tek lista standardet individuale të komunikimit, për të cilën ju doni të aplikoni rregulla të veçanta për indeksimin e Google, për shembull, veç e veç për HyperText protokollet http / https, ajo është gjithashtu e nevojshme të regjistrohen në robots.txt në këtë mënyrë (shembull).

(Http://yourserver.com/robots.txt) - një emër domain të faqes tuaj (ndonjë)

User-agent: * - çdo motor kërkimi

Lejo: / - të lejuar indeksimit të plotë

Si të hiqni një faqe nga çështja plotësisht protokollin https

(Https://yourserver.com/robots.txt)

User-agent: *

Lejoj: / ndalimin e plotë mbi indeksimin

Përshpejtuar adresat burimeve heqjen URL- nga Google SERPs

Nëse ju nuk duan të presin për ri-indeksimit, dhe faqe ju doni të fshehur si, unë rekomandoj të përdorni http://services.google.com/urlconsole/controller shërbimit shpejt të jetë e mundur. robots.txt Pre duhet të vendoset në directory rrënjë e serverit vend. Ajo duhet të përshkruhen udhëzimet e duhura.

Nëse tregues për ndonjë arsye nuk mund të redaktohen në directory rrënjë, të krijojë atë të mjaftueshme në dosje me objektivat e për të cilën ju doni të fshehur nga motorët e kërkimit. Pasi ta keni bërë këtë dhe i referohen shërbimit automatikisht heqjen adresat HyperText, Google nuk do të scan dosjet që shkruhen nga një krisje në robots.txt.

Periudha e kësaj padukshmëri është caktuar për 3 muaj. Pas kësaj periudhe, në dosjen e tërhequr nga çështja, përsëri do të përpunohen nga server të Google.

H Lidhjet për të hequr një faqe te skanuar pjesërisht

Kur një bot Kërkimi është lexuar përmbajtjen e robots.txt, që vendimet e caktuara janë bërë në bazë të përmbajtjes së tij. Le të thonë se ju doni për të përjashtuar nga treguar të gjithë dosjen e quajtur Anatom. Ajo është e mjaftueshme që të përshkruajë rregullat e tilla:

User-agent: Googlebot

Lejoj: / Anatom

Ose, për shembull, ju dëshironi të mos indeksi i të gjitha llojeve të imazhit gif. Për ta bërë këtë, shtoni listën e mëposhtme:

User-agent: Googlebot

Lejoj: /*.gif$

Ja një shembull tjetër. Le të të fshihen nga parsing informacion në faqet e krijuara dinamike, duke shtuar me tipin hyrjes index:

User-agent: Googlebot

Lejoj: / *?

Kjo është në lidhje me, dhe parashikon rregullat për motorët e kërkimit. Një tjetër gjë është se ajo është shumë më i përshtatshëm për t'u përdorur vetëm këtë meta tag. Dhe webmasters shpesh përdorin vetëm një standard të tillë që rregullon funksionimin e motorët e kërkimit. Por ne do të diskutuar këtë në artikuj të ardhmen.