# Сканирование

> Обновлено: 15 апреля 2026  
> Страница: https://aff.top/glossary/skanirovanie  

**Синонимы:** Краулинг, Crawling, Обход сайта

## Краткое определение

Сканирование — это когда бот поисковика обходит твои страницы, читает всё подряд и решает, достоин ли ты индекса или нет.

## Расширенное определение

Это процесс, при котором поисковые боты (Googlebot, Yandex Bot и другие) обходят страницы веб-сайта, следуя по ссылкам, анализируют контент и передают собранную информацию в поисковый индекс. По сути, сканирование является первым этапом взаимодействия между сайтом и поисковой системой — если бот не посетил ресурс, он остается невидимым для поиска.

Механизм работает следующим образом: у поисковой системы есть очередь URL-адресов, которые необходимо обойти. Бот переходит на страницу, загружает HTML-код, извлекает ссылки и добавляет новые адреса в очередь для последующего сканирования. Частота и глубина обхода определяется краулинговым бюджетом — ограниченным количеством ресурсов, которое поисковик готов потратить на конкретный сайт.

Здесь возникает ключевая проблема: если сайт содержит 50 000 страниц, а бот тратит бюджет на сканирование дублированного контента, технических страниц и pagination, до важного контента он может не добраться. Для проектов в конкурентных нишах это критично — новые посадочные страницы остаются незаиндексированными неделями, что приводит к потере трафика и конверсий.

Управлять поведением поисковых ботов можно через несколько инструментов: файл robots.txt для запрета или разрешения сканирования определенных разделов, параметр crawl delay для контроля скорости обхода, XML-карты сайта и грамотную внутреннюю перелинковку. Чем логичнее структура сайта, тем эффективнее работает сканирование и быстрее индексируются новые материалы.

Типичные ошибки включают случайную блокировку важных страниц в robots.txt — проблема, с которой сталкиваются даже опытные специалисты. Другая частая ошибка — генерация множества URL через GET-параметры и идентификаторы сессий, что расходует краулинговый бюджет впустую. Также негативно влияют медленные серверы — боты получают таймауты и прекращают сканирование.

Для оптимального сканирования необходимо отслеживать краулинговый бюджет через Google Search Console, устранять дублированные и технические URL, поддерживать стабильную работу сервера. Правильная настройка этих параметров обеспечивает эффективное попадание контента в поисковый индекс.

## Часто задаваемые вопросы

### Что такое сканирование сайта в SEO?

Сканирование — это процесс обхода страниц сайта поисковым ботом для их последующего добавления в индекс. Без сканирования страница не может попасть в поисковую выдачу.

### Как ускорить сканирование сайта поисковиками?

Улучшите внутреннюю перелинковку, подайте XML-sitemap, уберите дублирующиеся и мусорные URL, обеспечьте быстрый отклик сервера. Это позволяет боту обходить больше полезных страниц за один визит.

### Что такое краулинговый бюджет и как он влияет на сканирование?

Краулинговый бюджет — это лимит страниц, которые поисковый бот готов обойти на вашем сайте за определённый период. Если бюджет тратится на ненужные страницы, важный контент может остаться неиндексированным.

### Можно ли запретить сканирование отдельных страниц сайта?

Да, для этого используется файл robots.txt с директивами Disallow, либо мета-тег noindex на конкретных страницах. Важно не закрыть случайно страницы, которые нужно продвигать.

### Как проверить, сканирует ли Google мой сайт?

В Google Search Console в разделе «Статистика сканирования» можно посмотреть активность Googlebot: частоту визитов, объём скачиваемых данных и коды ответов сервера.


---

Источник: глоссарий aff.top — практический справочник арбитража трафика и CPA-маркетинга.  
Канонический URL: https://aff.top/glossary/skanirovanie  
Все термины: https://aff.top/glossary