Як закрити сайт від індексації в пошукових системах
Доброго дня, дорогі читачі блогу iklife.ru.
У цій статті я розповім про те, як закрити сайт від індексації за допомогою різних способів. Індексація – це процес занесення інформації вашого ресурсу в бази пошукових систем. При цьому пошукові роботи можуть заносити абсолютно будь-яку інформацію вашого проекту. Навіть ту, що не потрібно. Подібне особливо часто зустрічається у випадках, коли сам сайт тільки створений, і якийсь корисної інформації там ще немає.
Природно, ПС все одно можуть почати індексацію, що в подальшому може створити деякі проблеми з SEO-просування. Сьогодні ми розберемо найбільш популярні способи приховування проекту від погляду пошукових роботів. Давайте починати!
Зміст
- Що таке індексація
- Закриваємо сайт від пошукачів різними способами
- У WordPress
- Заборона через robots.txt
- Через мета-тег robots
- Через htaccess
- Висновок
Що таке індексація
Індексація – це процес, який передбачає зчитування всієї інформації вашого ресурсу для подальшого занесення її до бази ПС. Іншими словами, це коли пошуковики аналізують ваш сайт, щоб потім видавати її користувачам в пошуковій видачі. У процесі індексації враховується абсолютно все: починаючи від дизайну і закінчуючи кількістю тексту в статтях.
У процесі індексації сайту ПС можуть робити для себе певні помітки. Наприклад, якщо ви почнете розміщувати на своєму веб-ресурсі копіпаст, то ваш сайт може потрапити під фільтр. В такому випадку він більше не буде брати участь в пошуковому ранжуванні на рівних умовах з іншими проектами. Пошуковик буде просто занижувати ресурс у позиціях або зовсім прибере його результатів.
Те ж стосується і будь-яких інших аспектів SEO-просування. Під час індексації пошукові роботи аналізують всі показники, щоб визначити якість сайту і можливість розміщення сторінок по певних запитах. Якщо на проекті відсутня інформація (статті і сторінки), розмістити його де-небудь не представляється можливим.
Такий веб-ресурс буде доступний тільки з прямим зверненням з використанням спеціальних регулярних виразів. У загальних результатах його не зустріти.
Роботи ПС починають індексацію всіх відкритих сайтів відразу ж після їх створення. Ви навіть можете не додавати свій проект в Яндекс.Вебмайстер і Google Search Console, але роботи все одно прийдуть на ваш ресурс і почнуть аудит всієї доступної інформації. Якщо ви тільки що створили свій проект, природно, вам подібна індексація не потрібна. Наприклад, дуже часто при створенні проектів люди користуються шаблонами.
Щоб краще налаштувати зовнішній вигляд ресурсу, вони завантажують спеціальні демо-конфігурації, які в автоматичному режимі створюють тестові варіанти статей. Це, як правило, копипастные матеріали, які потрібні тільки для того, щоб тема оформлення виглядала належним чином. Погодьтеся, налаштовувати шаблон набагато простіше, якщо ти відразу бачиш, як це все буде виглядати в кінцевому підсумку. Коли ресурс порожній, налаштувати шаблон належним чином буває дуже складно.
Це особливо актуально для проектів на WordPress, тому як тема на заповненому проекті і тема на порожньому виглядають абсолютно по-різному. Користувачі вивантажують демо-контент, щоб налаштувати зовнішній вигляд, і у випадку, якщо проект не був закритий від ПС, ці самі сторінки з демо-контентом можуть потрапити в пошукову видачу.
Природно, вони будуть на останніх сторінках, але тим не менше це буде створювати негативний ефект для SEO-просування. По суті, це можна розглядати як попадання сміттєвих сторінок і документів в ПС. Потім вам доведеться видаляти їх все, на що може знадобитися певний час.
Видимого негативного ефекту від цього, звичайно, бути не повинно. Однак деякі труднощі виникнуть. Ваш веб-ресурс не буде класифікуватися як повністю унікальний, і в деяких випадках пошукові роботи будуть занижувати позиції вже цих статей у видачі. Навіть після видалення всіх цих демо-матеріалів ефект може триматися ще якийсь час.
Саме тому при початковій розробці проекту краще закрити від індексації та відкривати вже тільки після того, як він буде повністю готовий. Причому це стосується не тільки демо-контенту, але і, взагалі, будь-розробки – дизайну, швидкості завантаження і т. д. Якщо що-то на ресурсі не працює належним чином, краще на якийсь час приховати від очей користувачів і ПС.
Крім закриття на етапі розробки, є й інші причини для того, щоб виключити свій проект з пошукової видачі. Наприклад, це може знадобитися спеціалізованим ресурсів, матеріали яких не мусять бути у загальному доступі. Зазвичай це якісь спеціальні закриті проекти, інформація яких призначена для обмеженої кількості людей.
Природно, якщо пошукові системи почнуть зчитувати інформацію з таких проектів, то ні про яку приватності мова йти не буде. Всі дані будуть доступні для вивчення з допомогою різних сервісів. Самі ПС зберігають зліпки сайтів, тому, навіть якщо власники проекту вирішать видалити інформацію, яка помилково потрапила в пошуковик, де може залишитися збережена копія.
Також закриття проекту від індексації актуально для внутрішніх ресурсів різних компаній, які створюють такі сайти для своїх співробітників. Це можуть бути спеціальні панелі управління, сторінки з розкладом і т. д.
Загалом, причин для закриття проекту від пошукових систем дуже багато. Так і способів реалізації цього теж.
Закриваємо сайт від пошукачів різними способами
Способів приховати свій сайт від погляду пошукових систем дуже багато. Наприклад, у WordPress для цього є спеціальна позначка, яка автоматично проставляє спеціальний тег на всіх сторінках проекту. Подібний функціонал є і у деяких інших платформах. Досить просто перейти в панель керування, знайти потрібний параметр і активувати його. Також є і більш універсальні способи, які будуть працювати на більшості відомих CMS. Навіть на самописні або HTML-сайтах подібні способи будуть працювати. Про них я розповім далі.
У WordPress
Для приховування ресурсу від ПС вам достатньо активувати настройку, яка відповідає за видимість для роботів ПС. Перейдіть в панель керування, наведіть курсор на пункт “Параметри” і виберіть там підпункт “Читання”. Відкриється сторінка, де останньою опцією буде потрібна нам галочка.
Активуйте чекбокс з галочкою, після чого клацніть на кнопку “Зберегти зміни”. Відтепер ваш ресурс не буде індексуватися пошуковими системами. WordPress проставить на всіх сторінках ресурсу спеціальні теги, які повідомляють, що даний матеріал не повинен брати участь у пошуковому ранжируванні.
При цьому навіть в самих налаштуваннях повідомляється, що далеко не завжди пошукові системи слідують цим запитом. Яндекс і Google, швидше за все, підуть, а от менш популярні ПС можуть проіндексувати ваш ресурс незважаючи на всі зусилля.
У будь-який момент ви можете повернутися в налаштування і відключити цю галочку. Тоді метатег автоматично забереться з усіх сторінок, і ви зможете відправити їх на переобход з допомогою Яндекс.Вебмастера або Google Search Console.
Крім повного закриття ресурсу, ви можете робити те ж саме, але тільки з потрібними статтями або сторінками. Для цього вам необхідно буде встановити плагін для пошукової оптимізації Yoast SEO або будь-яке аналогічне розширення. В рамках цієї статті я розгляну саме Yoast SEO.
Щоб закрити потрібну сторінку або статтю, ви повинні відкрити редактор в панелі керування, після чого прокрутити сторінку вниз. Аж до фрагменту з Yoast SEO, де розташоване вікно з title, описом і ключовим словом для вашого матеріалу.
Перейдіть у вкладку “Додатково” (значок шестерінки), після чого виберіть пункт “Немає” у спадному меню “Дозволити пошуковим системам показувати Запис в результатах пошуку?”
Тут ви можете вказати і інші настройки. Наприклад, розширити мета-тег robots для цієї конкретної сторінки. Проте новачкам навряд чи потрібно ці функції. Досить буде вибрати відповідний пункт у налаштуваннях запису, після чого зберегти зміни за допомогою кнопки.
Це можна зробити з будь записом і сторінкою. Також це можна зробити з мітками (тегами) та іншими кастомних класифікаціями.
Щоб повністю закрити всі сторінки або повністю всі записи, ви можете скористатися параметрами плагіна Yoast SEO. Просто перейдіть в меню “SEO” – “Відображення в пошуковій видачі”. Відкриється сторінка, де у верхньому меню необхідно вибрати пункт “тип вмісту”. Там будуть вказані всі таксономії вашого ресурсу.
До кожної таксономії буде свій набір налаштувань, який, як правило, має один шаблон. Вам необхідно перейти до потрібної таксономії (наприклад, до записів), розгорнути вміст вкладки і вибрати “Ні” в пункті “Показати Записи в результатах пошуку?” Після цього вам потрібно просто зберегти налаштування.
На всіх записах автоматично проставится мета-тег robots, який буде повідомляти пошуковцям, що саме ці документи індексувати не потрібно. У той же час інші таксономії і сторінки будуть доступні для індексації.
Те ж саме ви можете зробити зі сторінками, і з архівами, і з мітками. Потрібно просто перейти до потрібного пункту, змінити цю настройку, після чого зберегти зміни.
Заборона через robots.txt
Закрити ресурс від погляду ПС можна за допомогою стандартного способу – через robots.txt, який є практично на кожному проекті. Даний файл має дуже велике значення для пошукачів, тому що саме в ньому описуються всі правила для роботів. Якщо файлу немає, ПС класифікують подібне як помилку.
Для закриття всього проекту вам необхідно стерти все нинішнє вміст файлу, після чого додати туди наступні рядки.
User-agent: *
Disallow: /
Ці правила будуть закривати ваш сайт від всіх ПС. При бажанні ви можете закрити ресурс тільки від одного пошукача. Для цього замість зірочки необхідно вказати назву робота.
Наприклад, щоб приховати проект конкретно від Google, вам потрібно використовувати такий код.
User-agent: Googlebot
Disallow: /
Також замість Googlebot можна прописати “Yandex”, тоді ваш ресурс буде приховано тільки від Яндекса.
Щоб приховати конкретну папку або сторінку, ви повинні вказати файл, використовуючи директиву “Disallow”.
Наприклад, ви хочете закрити сторінку /blog/ від всіх ПС. Інші матеріали на вашу задумом повинні індексуватися. Для цього ви повинні використовувати наступні рядки в robots.txt.
User-agent: *
Disallow: /blog/
Перевірити правильність використання robots.txt ви можете в панелях управління для вебмайстрів. Подібні інструменти є і в Яндексі і Google.
До речі кажучи, використання правильного файлу robots.txt – заставу успішного SEO-просування. Про те, як створити правильний robots.txt для WordPress і Joomla я розповідав в окремому матеріалі. Рекомендую ознайомитися.
Через мета-тег robots
Цей спосіб дуже схожий на перший, де я розповідав, як закрити ресурс від індексації в WordPress через налаштування і плагін. Тільки в цьому випадку вам доведеться додавати потрібний метатег код самостійно без всяких інтерфейсів і т. д.
У всі сторінки, які ви хочете закрити від ПС, потрібно додати наступний тег.
<meta name=”robots” content=”noindex, nofollow”/>
В WordPress це можна зробити за допомогою редактора тим, який розташований в меню “вигляд”. Просто перейдіть в панель керування, знайдіть там потрібний пункт, наведіть на нього курсор і клацніть “Редактор тим”.
Далі, вам потрібно буде вибрати файл заголовка header.php), який використовується майже на всіх сторінках проекту. Туди-то і потрібно вставити цей мета-тег.
Відразу скажу, що ручне розміщення тега саме на WordPress невиправдано. Навіщо це робити, якщо є настройки, які можуть допомогти реалізувати все в більш спрощеному варіанті.
Такий спосіб більше підійде для самописних сайтів або ресурсів, які використовують якісь сторонні платформи, де немає можливості так просто активувати даний метатег в налаштуваннях.
Через htaccess
За допомогою цього файлу можна закрити ресурс від індексації. Зробити це можна за допомогою таких рядків.
SetEnvIfNoCase User-Agent «^Yandex» search_bot
SetEnvIfNoCase User-Agent «^Googlebot» search_bot
SetEnvIfNoCase User-Agent «^Mail» search_bot
SetEnvIfNoCase User-Agent «^BlogPulseLive» search_bot
SetEnvIfNoCase User-Agent «^php» search_bot
SetEnvIfNoCase User-Agent «^Parser» search_bot
SetEnvIfNoCase User-Agent «^spider» search_bot
SetEnvIfNoCase User-Agent «^igdeSpyder» search_bot
SetEnvIfNoCase User-Agent «^Snapbot» search_bot
SetEnvIfNoCase User-Agent «^Yahoo» search_bot
SetEnvIfNoCase User-Agent «^Aport» search_bot
SetEnvIfNoCase User-Agent «^Robot» search_bot
SetEnvIfNoCase User-Agent «^msnbot» search_bot
SetEnvIfNoCase User-Agent «^WordPress» search_bot
SetEnvIfNoCase User-Agent «^bot» search_bot
Потрібно додати їх у файл. Ці правила закриють ваш проект від всіх відомих ПС.
Висновок
Як бачите, способів закриття проекту від ПС дуже багато. Я розглянув найбільш популярні і дієві варіанти. Сподіваюся, що цей матеріал допоможе вам у вирішенні ваших проблем. Все насправді дуже просто, особливо якщо ви використовуєте WordPress або аналогічну платформу. Досить просто активувати налаштування, і проект буде закритий.
Також можна скористатися універсальним способом і закрити ресурс через robots.txt. Таким варіантом користується абсолютна більшість вебмайстрів, і жодних нарікань у них не виникає. В будь-який зручний момент можна просто змінити вміст файла і надіслати сайт на переіндексацію.
Якщо ви новачок в світі вебмастеринга і хочете почати заробляти на власному блозі або на інформаційному сайті, я раджу вам ознайомитися з курсом Василя Блінова – автора і творця iklife.ru. У цьому курсі зібрана вся необхідна та корисна інформація по розробці сайтів, монетизації, SEO-просування і іншим корисним сфер. На лендинге за посиланням ви зможете знайти всі необхідні подробиці.