Що таке індексація сайту в пошукових системах: як перевірити і прискорити індексування сторінок

Всім привіт!

У цій статті я розповім про те, що таке індексація сайту. Упевнений, багато хто добре розуміють значення цього терміна, але я постараюся розглянути його більш глибоко.

Ми поговоримо про те, як покращити індексацію сайту, які дії потрібно виконати для того, щоб пошукові роботи ставилися до проекту лояльно. Також ми коротко торкнемося тему вимог пошукових систем і санкцій за їх невиконання.

Давайте починати!

Зміст

• Визначення
• Особливості роботи з пошуковими системами
• Як перевірити індексацію
• Відправлення сторінки на переобход
  • В Яндекс.Вебмастере
  • У Search Console
• Як прискорити індексацію
• Як закрити від індексації сайт
• Висновок

Визначення

Уявіть, що сайт – це документ або кілька документів з інформацією. Пошукова система – збірник документів, який працює за певними правилами. Він допомагає користувачам в найкоротші терміни знайти документ з потрібною інформацією. Для цього необхідно перевірити кожен документ, подивитися, якого роду в ньому інформація, після чого розмістити його десь щодо інших документів. Це і є індексація.

Індексація – це додавання інформації про сайт в бази даних пошукових систем.

Роботи приходять, сканують весь контент, якщо все добре, – контент заноситься в пошукові бази і починає ранжируватися щодо інших проектів.

Після цього матеріали потрапляють в пошукову видачу. Позиція в пошуковій видачі може залежати від якості матеріалів, самого ресурсу, технічної та зовнішньої SEO-оптимізації та інших факторів.

Пошукові системи зацікавлені в тому, щоб їх користувачі отримували якісні матеріали у видачі. З цієї причини пошукова оптимізація зазнала дуже багато змін за останні роки.

Раніше вебмастери намагалися догодити роботам, роблячи свої проекти максимально “зручними” для індексації. Зараз же роботи навчилися відрізняти “сеошный” непотрібний контент, від якісного та адекватного.

Тому для гарної індексації не вистачить простої SEO-оптимізації. Потрібно розуміти, що зараз пошукові системи віддають перевагу ресурсів з хорошими поведінковими факторами. Їх можна досягти лише при розробці проекту для людей.

За переоптімізацію або створення неякісного непотрібного контенту ресурс може потрапити під санкції. Це може включати в себе як просте зниження пріоритету, так і повна заборона індексації з боку пошуковиків – матеріали проекту видаляються з пошукових баз даних і більше ніколи туди не потрапляють.

Якщо усунути всі помилки і більше ніколи не допускати їх, пошуковики повертають сайт до нормального стану. Для цього доведеться написати в технічну підтримку з проханням про перевірку поточного стану проекту.

У кожної пошукової системи є свої правила. У більшості своїй вони майже нічим не відрізняються, тому вебмастери намагаються оптимізувати свої проекти одразу і для всіх.

Особливості роботи з пошуковими системами

Яндекс і Гугл – два найбільш популярних пошукача в Росії і СНД. В основному люди, що працюють з інформаційними проектами, намагаються оптимізувати їх саме під ці сервіси.

Коли ви створюєте свій сайт, то пошукові системи ще нічого не знають про нього. Тому для того, щоб ресурс потрапив в пошукову видачу, ви повинні якимось чином повідомити сервісів про те, що він існує.

Для цього можна використати два способи:

Спосіб 1. Розмістити посилання на якихось сторонніх проектах.

У цьому випадку проект буде проіндексований максимально швидко. Пошуковик вважатиме, що ваш сайт корисний і цікавий, тому він одразу спрямує роботів для аналізу вмісту.

Спосіб 2. Повідомити пошуковим системам про ресурсі за допомогою спеціальних інструментів.

В Яндексі і Гуглі є спеціальні сервіси для вебмайстрів. З їх допомогою ви зможете відслідковувати стан своїх ресурсів щодо пошукових систем: дивитися статистику, кількість показів, кліків, додані або видалені сторінки і т. д.

При додаванні сайту в ці інструменти, ви повідомляєте пошуковцям про те, що проект існує. І якщо немає ніяких заборон через Robots.txt або мета-теги, то він буде проіндексований і доданий у видачу.

Термін додавання сайту в базу даних може бути різним: від декількох днів до тижня. Але зазвичай з цим не затягують, особливо якщо ресурс доданий в Yandex.Webmaster і Search Console.

Не забувайте, що додавання в базу даних – ще не означає, що матеріали сайту відразу будуть доступні по певних запитах. Для цього може знадобитися додатковий час. Роботи ретельно вивчать вміст проекту, і тільки після цього статті будуть доступні до показу по запитам.

Якщо ви вирішите не відкривати ресурс відразу, а почекати, поки він заповниться певною кількістю матеріалів, то після відправки на аналіз може пройти трохи більше часу. Тобто, чим більше інформації на проекті, тим довше доведеться чекати повної індексації.

У середньому між відправкою сайту в сервіс і появою статей у видачі проходить 1 – 2 тижні.

Крім вищеописаних способів додавання ресурсу в пошукову базу, існує ще один, менш ефективний. Вам просто потрібно ввести в пошукову рядок наступні команди:

• Для Яндекса: Host: Назва + site.ru.
• Для Google Site: Назва + site.ru, де site.ru – ваш домен.

Також ви можете спробувати додати ресурс за допомогою автоматичних сервісів. Який буде результат – невідомо. Але я вважаю, що ці сервіси просто скористаються командами або розміщенням посилання де-небудь.

Як перевірити індексацію

Перевірка індексації – теж дуже важливий момент. Потрібно впевнитися, що всі сторінки були сприйняті як треба.

Якщо ви додали сайт через інструменти для вебмайстрів, то статус індексації можна дізнатися прямо там – у відповідному розділі. У ньому буде дана докладна інформація про те, коли робот відвідував сторінку востаннє, який статус він їй присвоїв і т. д.

Також ви можете перевірити статус за допомогою рядка пошуку. Необхідно скористатися спеціальними операторами. Їх можна знайти в документації для Яндекса і Гугла.

Якщо вам потрібна масова перевірка, то ви можете скористатися спеціальними сервісами:

• Raskruty,
• SEOGadget.

Відправлення сторінки на переобход

Якщо ви хочете, щоб робот обійшов матеріал ще раз, то вам необхідно відправити сторінку на переобход. Це можна зробити за допомогою панелей для вебмайстрів.

В Яндекс.Вебмастере

Перейдіть до “Індексування” – “Переобход сторінок”.

Введіть адреси потрібних документів у стовпчик – одне посилання – один рядок. Після цього натисніть кнопку “Відправити”. Протягом декількох годин робот Яндекса знову проіндексує матеріал.

У Search Console

Потрібно ввести потрібну адресу в поле у верхній панелі – далі натиснути на кнопку “отримати індексування”.

Як прискорити індексацію

Щоб прискорити індексацію, ви повинні виконати кілька вимог. В першу чергу, це додавання ресурсу в пошукову систему, бажано через сервіс для вебмайстрів. Далі йдуть повсякденні рекомендації, виконуючи які, ви можете добитися прискорення цього процесу.

1. Додавати на сайт цікавий контент. Буде краще, якщо розміщення матеріалів на ресурсі буде носити регулярний характер. В такому випадку висока ймовірність того, що на вашому проекті будуть мешкати быстроботы – вони індексують статті протягом кількох годин.
2. Оптимізувати швидкість завантаження за допомогою стиснення зображень, оптимізації HTML, CSS, JS. Буде добре, якщо ви підберете для свого проекту швидкий віртуальний хостинг.
3. Сформувати правильну структуру сайту, додати функціонал для зручної навігації. Пошукачі можуть оцінювати, наскільки ваш ресурс зручним для користувачів.
4. Налаштувати перелінковку між матеріалами, рубриками та іншими сторінками. Коли робот аналізує якусь сторінку з посиланнями, він автоматично ще й індексує ті документи, на які ведуть посилання.
5. Створити правильний robots.txt. Ви повинні закрити непотрібні технічні сторінки, залишивши тільки сам вміст. Так у ранжування не буде потрапляти сміття, це гарантує, що ПС частіше відвідувати ваш проект.
6. Створити XML карту сайту і додати її в Яндекс Вебмастер і Search Console. За допомогою цієї карти Яндекс і Гугл будуть орієнтуватися по матеріалам. Це значною мірою поліпшить швидкість аналізу. Також можна зробити звичайну карту сайту для користувачів. З її допомогою ваші гості зможуть легко знаходити потрібну статтю або рубрики. Це поліпшить поведінкові фактори і видимість в ПС.
7. Створити профілі свого проекту в соціальних мережах і регулярно розміщувати там посилання на статті. Це елемент крауд-маркетингу, який зараз дуже добре сприймається ПС.
8. Регулярно перевіряти сайт на помилки і виправляти їх. Найсерйозніші будуть відображатися в сервісах для вебмайстрів. Також ви можете закидати ресурс на валідатор, щоб визначити помилки в HTML/CSS-коді.

Раніше для цих цілей використовували пінгування. Оповіщення ПС за допомогою спеціальних плагінів або сервісів про вихід нового поста. Зараз такий формат майже не використовується. Яндекс і Гугл обмежили цей функціонал, тепер в колишньому варіанті пінг використовувати не можна.

Як закрити від індексації сайт

Для цього ми можемо використовувати два способи:

• Через Robots.txt

Просто потрібно видалити весь вміст цього файлу, додавши замість нього:

User-agent: *

Disallow: /

За допомогою цього рядка ви скажете всім пошуковим роботам, що ваш ресурс індексувати не потрібно – ні однієї сторінки. Якщо до цього якісь матеріали потрапили до ранжування – вони будуть видалені.

Також можна заборонити індексацію для роботів якоїсь окремої пошукової системи. Для цього замість зірочки, User-agent: ви повинні ввести назву цього робота. Наприклад, Yandex – для Яндекса, Googlebot – для Google.

Коли ви передумаєте, вам потрібно буде просто видалити цей код і додати замість нього нормальний вміст файлу.

• За допомогою мета-тегів

На кожній сторінці повинні бути розміщені наступні мета теги:

<meta name=»robots» content=»noindex, nofollow»/>

<meta name=»Yandex» content=»noindex, nofollow»/> – якщо хочемо закрити для якоїсь конкретної ПС, то в полі name вставляємо ім’я робота.

Розмістити такі мета-теги можна за допомогою плагіна Yoast SEO. В ньому є окремі параметри, які відповідають за індексацію. Можна закрити як окрему сторінку, так і весь ресурс в цілому.

Закривати від індексації окремі сторінки за допомогою мета-тегів вважається хорошим тоном. Це і простіше, і швидше – не треба багато разів доповнювати файл robots.txt.

Висновок

Для того, щоб ваш сайт добре індексувався, ви повинні виконувати зовсім нескладні вимоги. Потрібно просто додати його в Яндекс Вебмастер і Search Console, стежити за регулярним виходом якісних матеріалів, своєчасно виправляти помилки і не порушувати правил.

Все це гарант того, що ваш проект буде на хорошому рахунку у роботів. А це, в свою чергу, буде мати матеріальне значення. Ваші статті будуть вище у видачі, доходу буде більше.

Деяким новачкам буває дуже складно розібратися з усіма тонкощами SEO-оптимізації. Дуже багато різної інформації і не завжди вона правильна. Якщо ви один з таких новачків, то я рекомендую вам пройти курс Василя Блінова “Як створити сайт”.

З матеріалів з цього курсу ви зможете дізнатися про те, як створити власний інформаційний проект під монетизацію. Там розглянуті найбільш важливі нюанси, які повинен враховувати кожен вебмастер.