Как да блокирате търсачките (с илюстрации)

Търсачките са оборудвани с роботи (уеб паяци или ботове), които сканират и индексират уеб страници. Ако вашият уебсайт или страница са в процес на разработка или съдържат нежелано съдържание, могат да бъдат забранени роботи да сканират и индексират уебсайта ви. Научете как да блокирате цели сайтове, страници и връзки с помощта на роботи файла.Txt или конкретни страници и връзки, използващи HTML тагове . Прочетете, за да разберете как да забраним достъпа до съдържание на определени ботове.

Стъпка

Метод 1 от 2:

Заключване на търсачките, използващи файла на роботи.ТЕКСТ

един. Проверете файла на роботите.ТЕКСТ. Роботи файл.TXT е прост текстов файл или ASCII файл, който казва на уеб страниците на търсачките, към които могат да имат достъп. Файлове и папки, изброени в роботи файла.TXT, не може да бъде сканиран и индексиран от роботи за търсене. Използвайте файла на роботи.Txt, ако:

Искате да скриете определено съдържание от търсачките;
Вие сте в процес на разработване на сайта и не сте готови за сканиране и индексиране на сайта от паяци на търсачките;
Искате да ограничите достъпа до авторитетни ботове.

2. Създайте и запазете роботи файла.ТЕКСТ. За да създадете файл, отворете обичайния текстов редактор или редактор на кодове. Запазете файла като роботи.ТЕКСТ. Името на файла трябва да бъде написано с малки букви.

Не забравяйте да добавите "s" в края.

Когато запазвате файла, изберете разширението ".ТЕКСТ ". Ако използвате Word, изберете опцията "обикновен текст".

3. Създайте роботи файл.Txt с безусловна директива за забрана. Безусловната директива за забрана ще ви позволи да блокирате роботи за търсене на всички големи търсачки, като по този начин се избягва сканирането и индексирането на сайта. Добавете следните редове към текстовия файл:

Потребител-агент: * disallow: /

Използвайте безусловна директива за забрана в файла роботи.Txt е силен не се препоръчва. Когато ботът, като Bingbot, разглежда този файл, той няма да индексира сайта ви, а търсачката не я показва.

Потребителски агенти (Потребителски агенти) - това е друго име на уеб страници или роботи за търсене.

*: Звездичка означава, че кодът се прилага за всички потребителски агенти.

Забранено: /: Дяволът не показва, че целият сайт е затворен за ботове.

4. Създайте роботи файл.Txt с alow условна директива. Вместо да блокират всички ботове, помислете за блокиране на достъпа на специфични паяци към определени части на сайта. Основните команди на разрешаването на условната директива включват :: t

Блокиране на бетонен бот: Сменете звездичката до Потребител-агент на Googlebot, GoogleBot-News, Googlebot-Image, Bingbot или Теома.

Блокиране на каталог или съдържанието му:

User-Agent: * Disallow: / Directory Directory /

Блокиране на уеб страница:

User-Agent: * Disallow: / Private_file.HTML

Блокиране на изображения:

USER-Agent: Googlebot-ImageLateSower: / images_mypicture.JPG

Блокирайте всички изображения:

Потребителски агент: Googlebot-Imegedisallow: /

Блокиране на отделен файлов формат:

Потребител-агент: * disallow: / p *.jpg $

пет. Удовлетворете ботове за индексиране и сканиране на сайта си. Много хора не само не блокират, а напротив, приветстват вниманието на паяците на търсачките на техния сайт, така че да е напълно индексиран. За да се постигне това може да бъде три начина. Първо, можете да откажете да създадете файла на роботи.ТЕКСТ. Ако роботът не намери файла на роботи.Txt, ще продължи да сканира и индексира целия ви сайт. Второ, можете да създадете празен файл роботи.ТЕКСТ. Роботът ще намери файла роботи.Txt ще види, че е празен и ще продължи да сканира и индексира сайта. И накрая, можете да създадете файл с роботи.Txt с безусловна директива за резолюция, използвайки кода:

User-Agent: * Disallow:

Когато ботът, като GoogleBot, смята, че този файл може свободно да посещава целия си уебсайт.

Потребителски агенти (Потребителски агенти) - това е друго име на уеб страници или роботи за търсене.

*: Звездичка означава, че кодът се прилага за всички потребителски агенти.

Забрани: Празна команда за забрана означава, че всички файлове и папки са налични.

6. Запазете текстовия файл в главната директория на домейна. След редактиране на файла на роботи.Txt Запазете промените. Поставете файла в основната директория на сайта. Например, ако имате домейн Youdomain.Com, Поставете файла на роботите.Txt на адрес Youdomain.Com / роботи.ТЕКСТ.

Метод 2 от 2:

Заключване на търсачките Metterategas

един. Проверете роботите на HTML Metteg. Роботите на метатер позволява програмистите да задават параметри за ботове или паяци за търсачките. С помощта на тези маркери ботове са забранени да индексират и сканират целия сайт или отделни части. Можете също да ги използвате, за да блокирате специален паяк за търсене от индексиране на съдържанието. Тези маркери са посочени в HTML файла.

Този метод обикновено се използва от програмисти, които нямат достъп до основната директория на сайта.

2. Деактивирайте достъпа до ботове на една страница. Индексиране и / или регистриране на страницата на страницата на страницата Можете да забраните за всички ботове. Този маркер обикновено се използва, когато сайтът е в процес на разработване. След приключване на сайта, силно се препоръчва да изтриете този маркер. Ако не премахнете етикета, страницата няма да бъде индексирана или достъпна за търсене чрез търсачките.

Деактивирайте ботовете, за да индексирате страницата и да се движите по някоя от връзките:

 Име = "роботи" съдържание = "noindex, nofollow">

Деактивирайте всички ботове, за да индексирате страницата:

 Име = "роботи" съдържание = "noindex">

Забранявам всички ботове да отидат на връзките на страницата:

 Име = "роботи" съдържание = "nofollow">

3. Оставете ботовете да индексират страницата, но не отиват в връзките си. Ако позволите на ботове да индексират страницата, тя ще бъде индексирана. Ако забранихте паяците, за да включите връзките, начина, по който връзката от тази страница към другите ще бъде блокирана. Поставете следната кодова линия в заглавието:

 Име = "роботи" съдържание = "индекс, nofollow">

4. Разрешаване на паяците на търсачките над връзките, но не индексирайте страницата. Ако позволите на ботовете да се движат по връзките, пътните връзки от тази страница към другите ще останат отворени. Ако деактивирате ботовете, за да индексирате страницата, тя няма да се появи в индекса. Поставете следната кодова линия в заглавието:

 Име = "Роботи" съдържание = "Noindex, следвайте">

пет. Блок изходяща връзка. За да скриете една връзка на страницата, поставете етикета Rel Вътре в референтния маркер . Използвайте този маркер, за да блокирате връзки на други страници, които водят до определена страница, която искате да блокирате.

 href ="Youdomain.HTML" REL ="Nofollow"> Поставете връзката към заключената страница

6. Блокирайте конкретен паяк за търсене. Вместо да блокирате достъпа до страница за всички ботове, задайте забраната за сканиране и индексиране на страницата само за един бот. За да направите това, сменете думата "роботи" в метатеговото име на конкретен бот. Примери: Googlebot, GoogleBot-News, Googlebot-Image, Bingbot и Теома.

 Име = "bingbot" съдържание = "noindex, nofollow">

7. Подобряване на ботове за сканиране и индексиране на страницата. Ако искате да се уверите, че страницата ще бъде индексирана и връзките ще превключват, добавете резолюцията Meta Tag "роботи" към заглавката. Използвайте следния код:

 Име = "роботи" съдържание = "индекс, следвайте">