Техническое SEO

Техническая часть — это фундамент, на котором держится всё остальное. Она редко приносит рост сама по себе, но её поломки способны обнулить работу над контентом и ссылками: страница, отдающая ошибку или закрытая от индексации, не участвует в ранжировании вообще.

Коды ответа

Робот видит не то, что видит человек, а код ответа сервера. Разница между ними — источник половины технических проблем.

Классическая ловушка — «мягкая» ошибка: сайт показывает текст «страница не найдена», но отдаёт код 200. Для робота это обычная страница, и она уходит в индекс, размножая дубли.

Что закрывать от индексации, а что нет

Файл robots.txt управляет обходом, а не индексом. Закрытая в нём страница может попасть в выдачу по внешним ссылкам — просто без описания. Чтобы страница гарантированно не индексировалась, нужен мета-тег noindex, причём страница при этом должна оставаться доступной роботу: закрытую в robots.txt страницу робот не откроет и запрета не увидит.

• robots.txt — служебные разделы, результаты внутреннего поиска, корзина, страницы сортировок и фильтров, если их не планируют продвигать.
• noindex — технические страницы, которые всё же должны быть доступны роботу.
• canonical — страницы пагинации, версии с параметрами, дубли карточек в разных категориях.

Дубли

Дубли возникают сами: слеш и его отсутствие, www и без него, http и https, параметры сортировки, идентификаторы сессий, один товар в трёх категориях. Каждая копия распыляет сигналы: ссылки ведут на разные адреса, поведенческие данные делятся, а поисковая система выбирает основную версию сама и не всегда угадывает.

Лечение стандартное: одна каноническая форма адреса, 301-редиректы на неё, canonical на дублях, единообразные внутренние ссылки. Последнее особенно важно — если сайт сам ссылается на страницу тремя разными способами, никакой canonical это до конца не исправит.

Скорость и мобильная версия

Скорость измеряют не «секундами загрузки», а метриками восприятия: временем до отрисовки основного содержимого, задержкой отклика на первое действие, смещением элементов при догрузке. Последнее чаще всего происходит из-за картинок без указанных размеров и шрифтов, которые подгружаются с задержкой.

Мобильная версия давно не «дополнительная»: индексация идёт по мобильной версии, и если в ней урезан текст или спрятаны блоки, поисковая система работает именно с урезанным вариантом.

С чего начинать проверку

1. Индексациясколько страниц в индексе, сколько на сайте, откуда разница.
2. Обходкарта сайта, robots.txt, ошибки сканирования в панелях вебмастера.
3. Дубли и адресаединая форма URL, canonical, редиректы.
4. Разметказаголовки, title, описания, микроразметка.
5. Скоростьзамеры на мобильном и десктопе, тяжёлые ресурсы.

Чем это удобно делать — в рубрике инструменты и сервисы; там же разбор краулеров, которые обходят сайт так же, как поисковый робот. Если термины выше пока незнакомы, начните с основ, а связь технической части с запросами описана в разделе семантики.

Краулинговый бюджет

Робот не обходит сайт целиком за один визит: у каждого ресурса есть примерный объём страниц, который поисковая система готова скачивать за период. На сайте в двести страниц об этом можно не думать, на каталоге в сотни тысяч адресов — это одна из главных тем.

Бюджет тратится на всё подряд: на страницы фильтров, на бесконечную пагинацию, на дубли с параметрами, на редиректы. Каждая такая страница — это визит робота, не потраченный на карточку товара. Отсюда стандартный набор действий: убрать генерацию бесконечных адресов, склеить дубли, выпрямить цепочки редиректов, отдать роботу нормальную карту сайта.

Что ломается чаще всего

• Переезд на новый домен без карты редиректов. Один общий редирект на главную обнуляет накопленные сигналы всех страниц.
• Тестовая версия сайта в индексе. Копия на поддомене, открытая роботу, — это полный дубль сайта.
• Ошибка в robots.txt после релиза. Директива, закрывающая весь сайт, живёт на боевом сервере в среднем несколько дней, и это очень дорогие дни.
• Изменение структуры адресов «заодно». Смена URL без редиректов означает, что все старые адреса стали ошибкой 404.

Первый пункт этого списка — причина большинства историй «после переделки сайта трафик упал в пять раз».