+7 999 138 96 52
603105, Нижний Новгород,
ул. Белинского, 11/66
Время работы: с 08:00 до 21:00
ежедневно
Прием заявок: круглосуточно
Написать в Telegram
Рассчитать стоимость

Директива Clean-param
в robots.txt: полное
руководство для
SEO-специалистов

Исчерпывающее руководство по директиве Clean-param в robots.txt. Устранение дубликатов страниц, вызванных UTM-метками, сессиями и другими параметрами, чтобы повысить краулинговый бюджет, улучшить индексацию и поднять позиции в поиске.

📖 Читать статью
Время чтения: 10 мин Дата: Автор: Роман Межевов

Полное руководство по директиве Clean-param
для SEO-специалистов и разработчиков

Какая проблема есть у многих сайтов

Представьте: пользователь переходит на ваш сайт по ссылке из рекламы — в ней куча параметров. Потом кто-то делится ссылкой в соцсетях — там другие параметры. Из email-рассылки приходит третий вариант.

Для вас как для маркетолога это разные источники трафика. А для поискового робота — это три разных адреса с одним и тем же содержимым. Контент на странице один и тот же, меняется только строка запроса.

Схема: один контент — три разных URL для робота. Возникают дубликаты
Один контент — три разных URL для робота. Возникают дубликаты.

Что из этого выходит:

  1. Дубликаты. Поисковик видит несколько одинаковых страниц и размазывает между ними вес. Вместо одной сильной страницы получается несколько слабых.
  2. Робот ходит впустую. Он тратит время на обход десятков версий одной страницы вместо того, чтобы сканировать новый контент. Особенно заметно, если у вас большой сайт.
  3. В индекс попадает не тот URL. Вместо чистой страницы /product в выдаче оказывается /product?utm_source=facebook. Выглядит неаккуратно и путает пользователей.

Для этого и придумали директиву Clean-param.

Что такое Clean-param простыми словами

Clean-param — это строка в файле robots.txt. Она говорит поисковику (в основном — Яндексу), что некоторые параметры в ссылках не меняют содержание страницы.

То есть вы объясняете роботу: «Вот эти штуки в ссылках — просто мусор. Не обращай на них внимания, смотри только на основной адрес».

Инфографика: как работает директива Clean-param — робот игнорирует мусорные параметры и сканирует чистую версию страницы
Инфографика: как работает директива Clean-param — робот игнорирует мусорные параметры и сканирует чистую версию страницы

Как правильно прописать директиву?

Синтаксис строгий, ошибок не прощает. Вот как выглядит правильная запись:

Clean-param: param_name[&name2&name3...] /path_pattern

Разберём по частям:

Схема синтаксиса директивы Clean-param с цветовым выделением частей
Синтаксис директивы Clean-param: ключевое слово, имя параметра, дополнительные параметры, путь
  1. Clean-param: — ключевое слово. Пишем именно так, с двоеточием.
  2. param_name — название параметра, который нужно игнорировать. Это то, что стоит после ? до знака =.
    • пример: в ссылке site.com/page?utm_source=fb параметр — utm_source
  3. [&name2&...] — можно перечислить несколько параметров через амперсанд.
    • пример: utm_source&utm_medium&utm_campaign
  4. /path_pattern — обязательная часть. Указываете, для каких страниц работает правило.

Как работает /path_pattern?

Это маска, которая определяет, на какие разделы сайта действует директива.

Маска пути Описание и пример использования
/ Правило применяется ко всем страницам сайта.
Пример: Clean-param: utm_source / — робот будет игнорировать параметр utm_source на всех URL без исключения.
/blog/ Правило применяется только к страницам, путь которых начинается с /blog/.
Пример: Clean-param: share_id /blog/ — робот будет игнорировать параметр share_id только на страницах блога, например: site.com/blog/seo-article?share_id=123.
/* Звёздочка * заменяет любую последовательность символов. Используется для охвата всех страниц с глубокой вложенностью.
Пример: Clean-param: ref /* — робот будет игнорировать параметр ref на всех страницах, включая site.com/catalog/phones/smartphone?ref=homepage.
Анатомия URL с GET-параметрами
https:// example.com /catalog/products ? category = shoes & size = 42 & utm_source = google
Протокол
Домен
Путь
Разделитель
Ключ параметра
Значение параметра

Какие параметры Яндекс удаляет автоматически

Некоторые параметры не требуют настройки — Яндекс удаляет их автоматически, если они не влияют на контент. Вы увидите их в отчёте как исключённые директивой Clean-param.

Группа Параметры Статус
UTM-метки utm_source, utm_medium, utm_term, utm_content, utm_campaign, utm_media, utm_group, utm_expid, utm_referrer Автоматически
Яндекс-параметры ysclid, yrclid Автоматически

Важно: Яндекс автоматически удаляет эти параметры, если они не меняют содержание страницы. В отчёте «Параметры URL» вы увидите их как исключённые директивой Clean-param.

Параметры, которые Яндекс удаляет автоматически
📊 UTM-метки
utm_source utm_medium utm_term utm_content utm_campaign utm_media utm_group utm_expid utm_referrer
🔵 Яндекс-параметры
ysclid yrclid

Что это значит: вам не нужно добавлять их в файл robots.txt вручную. Это касается как стандартных UTM-меток, так и специфических параметров Яндекса (ysclid, yrclid).

Clean-param или Disallow? В чём разница

Эти две директивы часто путают, но они решают разные задачи. Clean-param очищает URL от параметров, а Disallow полностью запрещает сканирование. Выбирайте инструмент под конкретную задачу.

Критерий Clean-param Disallow
Суть Указывает роботу игнорировать определённые параметры в URL Запрещает роботу сканировать страницы по указанному пути
Индексация Чистый URL остаётся в индексе Страница исключается из индекса
Передача ссылочного веса Передаёт накопленный вес на чистый URL Не передаёт вес, так как страница недоступна
Краулинговый бюджет Экономит, робот сканирует только чистый URL Экономит, робот не сканирует страницу
Поддержка Только Яндекс Все поисковые системы
Пример Clean-param: utm_source / Disallow: /*?utm_

Вывод: Clean-param — для очистки URL от параметров, Disallow — для полного запрета сканирования. Используйте Clean-param, если хотите сохранить страницу в индексе, но убрать дубли. Используйте Disallow, если страница не должна индексироваться вообще.

Генератор Clean-param

Выберите параметры, которые нужно игнорировать, укажите путь — и получите готовый код для robots.txt.

UTM-метки
Сессии и идентификаторы
Другие параметры
Путь (маска):
Готовый код для robots.txt
Clean-param: utm_source&utm_medium&utm_campaign /

Добавьте полученный код в файл robots.txt перед строкой Sitemap.

Сколько бюджета краулинга вы экономите с Clean-param?

Посчитайте, сколько запросов робот тратит впустую на обход страниц с параметрами.

Страниц на сайте 1 000
Параметров на страницу 5
Глубина сканирования 3
15 000
Запросов впустую
85%
Экономия бюджета
12 750
Освобождённых запросов
Вы сможете направить освободившийся бюджет на индексацию новых страниц и ускорить рост сайта.

Расчёт основан на усреднённых данных. Точная экономия зависит от архитектуры сайта.

Примеры из жизни

Пример 1: убираем UTM-метки на всём сайте

Самый частый случай. Убираем все стандартные UTM-метки сразу для всех страниц.

Прописываем в robots.txt:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content /
Пример работы Clean-param: удаление UTM-меток из URL
Пример 1: Clean-param удаляет UTM-метки, оставляя чистый URL

Как это работает:

  • робот видит ссылку: site.com/course/seo?utm_source=google&utm_campaign=promo
  • он отбрасывает параметры и сканирует: site.com/course/seo

Пример 2: чистим корзину от ID сессий

На сайте есть корзина. К ссылке добавляется параметр sid — ID сессии. Для каждого пользователя он уникальный, но контент страницы от этого не меняется.

Прописываем в robots.txt:

User-agent: Yandex
Clean-param: sid /cart/
Пример работы Clean-param: очистка URL корзины от параметра sid
Пример 2: Clean-param очищает URL корзины от параметра sid, но не влияет на другие разделы

Что происходит:

  • ссылка site.com/cart/?sid=abc123 превращается в site.com/cart/
  • при этом ссылка site.com/product/phone?sid=abc123 не изменится — правило не сработает, потому что путь не подходит

Пример 3: несколько параметров в блоге

В блоге есть сортировка (sort), фильтр по тегам (tag) и ещё UTM-метки. Контент поста от них не меняется.

Прописываем в robots.txt:

User-agent: Yandex
Clean-param: sort&tag&utm_source&utm_medium /blog/*

Как это работает:

  • правило работает для всех страниц, которые начинаются с /blog/
  • робот отбросит все указанные параметры и будет работать с чистой ссылкой

На что обратить внимание?

Схема: какие URL-параметры можно удалять через Clean-param, а какие нельзя
Clean-param: какие параметры можно удалять, а какие — нельзя
  1. Работает только в Яндексе. Для Google — только rel="canonical".
  2. Порядок параметров не важен. Неважно, в каком порядке стоят параметры в ссылке — робот их всё равно найдёт.
  3. Не трогайте параметры, которые меняют контент. Если параметр влияет на то, что видит пользователь — не используйте для него Clean-param. Иначе робот проиндексирует не ту страницу.
    • примеры опасных параметров: ?view=mobile, ?lang=en, ?category=books
  4. Сложные случаи. Если параметр иногда меняет контент, а иногда нет — лучше не рисковать. Используйте канонические ссылки на стороне сервера.
  5. Проверяйте синтаксис. После добавления директивы проверьте robots.txt. Одна опечатка — и правило не сработает.

Как делать правильно?

  1. Сначала аудит. Посмотрите логи сервера или отчёт «Параметры URL» в Яндекс.Вебмастере (Индексирование -> Анализ параметров в URL). Так вы увидите, какие параметры робот сканирует чаще всего.
  2. Каноническая ссылка — главный метод. Основной способ борьбы с дубликатами — rel="canonical". Clean-param — это дополнительный инструмент, который помогает роботу.
  3. Указывайте точный путь. Если параметр нужен только в одном разделе, не ставьте / для всего сайта. Так меньше риска ошибиться.
  4. Комбинируйте с другими директивами. Добавьте Host и Sitemap — так вы полностью контролируете, как Яндекс сканирует ваш сайт. 
    User-agent: Yandex
Host: site.com
Clean-param: utm_source&ref /
Sitemap: https://site.com/sitemap.xml
  5. Проверяйте результат. После добавления директивы посмотрите в Яндекс.Вебмастере:
    • количество страниц в поиске — не должно резко упасть
    • статистику обхода — робот должен тратить меньше времени на мусорные страницы
    • отчёт по параметрам — робот должен научиться игнорировать указанные параметры

Как проверить, что директива работает?

  1. Инструмент проверки в Яндекс.Вебмастере.
    • зайдите в Яндекс.Вебмастер
    • раздел Индексирование -> Файл robots.txt
    • вставьте URL с параметром в поле проверки
    • инструмент покажет, какие директивы применяются к этому URL. Если Clean-param сработал — вы это увидите
Схема пути в Яндекс.Вебмастере: Индексирование → Файл robots.txt
Проверка Clean-param: Индексирование → Файл robots.txt в Яндекс.Вебмастере
  1. Логи сервера. Самый надёжный способ. Посмотрите логи после внедрения. Если всё настроено правильно, робот YandexBot перестанет запрашивать ссылки с указанными параметрами и будет ходить только на чистые адреса.
Сравнение логов сервера до и после внедрения Clean-param
Проверка Clean-param через логи сервера: до внедрения — URL с параметрами, после — только чистые URL

Коротко о главном

Clean-param — это не просто строка в файле. Это настройка, которую используют грамотные SEO-специалисты, чтобы управлять тем, как поисковый робот видит сайт.

Что даёт правильная настройка:

  • робот сканирует нужные страницы, а не мусор
  • вместо нескольких слабых страниц получается одна сильная
  • новые страницы попадают в выдачу быстрее

Настройка не даст быстрого эффекта. Но без неё поисковые системы будут тратить время на мусорные страницы. А это не нужно ни вам, ни вашему сайту.

Что нужно знать о директиве Clean-param — отвечаю на главные вопросы

Ответы на частые вопросы от специалиста, который работает с SEO более 5 лет. Разбираю сложные моменты простым языком — чтобы вы понимали, как работает Clean-param, и не боялись ошибиться.

Clean-param — это директива в файле robots.txt. Она говорит Яндексу, что некоторые параметры в ссылках не меняют содержание страницы.

Это нужно, чтобы:

  • убирать дубликаты контента
  • экономить время робота
  • ускорять индексацию новых страниц

Если у вас на сайте много ссылок с UTM-метками, ID сессий или другими служебными параметрами — Clean-param помогает не сканировать их все подряд. Вместо этого робот берёт чистый URL и индексирует только его.

Нет, Google официально не поддерживает эту директиву.

Если ваш сайт ориентирован на международный трафик или вы активно работаете с Google — не надейтесь, что Clean-param решит все проблемы с дубликатами. Для Google используйте связку rel="canonical" и настройку параметров в Google Search Console.

Но если ваш основной поисковик — Яндекс, Clean-param будет полезна.

Синтаксис простой: перечисляете параметры через амперсанд & без пробелов.

Пример:

Clean-param: utm_source&utm_medium&utm_campaign&ref /

Обязательно указывайте путь, к которому применяется правило. Для всего сайта ставьте /. Если параметры нужны только в одном разделе — укажите конкретный путь, например /blog/. Это снижает риск ошибок и делает настройку более точной.

Это принципиально разные директивы.

  • Disallow полностью запрещает роботу заходить на страницу.
  • Clean-param не запрещает, а говорит: «Игнорируй эти параметры и сканируй чистый URL».

Если вы хотите, чтобы страница вообще не индексировалась — используйте Disallow или noindex. Если хотите убрать дубли из-за параметров — используйте Clean-param.

Робот проиндексирует не ту страницу.

Например, если у вас параметр ?lang=en переключает язык, а вы добавили его в Clean-param — робот всегда будет видеть только основную версию. Это может привести к тому, что пользователи из разных регионов будут видеть неправильный контент в выдаче.

Никогда не добавляйте в Clean-param параметры, которые влияют на содержание, сортировку, фильтрацию или регион показа.

Самый простой способ — инструмент проверки robots.txt в Яндекс.Вебмастере. Вставьте URL с параметром в поле проверки, и инструмент покажет, сработала ли директива.

Второй способ — логи сервера. Если робот YandexBot перестал запрашивать ссылки с указанными параметрами — значит, всё настроено правильно.

Также можно посмотреть отчёт «Параметры URL» в Яндекс.Вебмастере — там видно, какие параметры робот сканирует чаще всего.

Да, желательно. Если вы подключили новую систему аналитики или запустили новый рекламный канал — скорее всего, появились новые параметры.

Раз в квартал проверяйте логи сервера и отчёты Яндекс.Вебмастера. Если видите, что робот начал сканировать новые параметры — добавьте их в Clean-param.

Это поможет поддерживать порядок в индексации и не тратить бюджет краулинга впустую.

Нет, нельзя. Параметры пагинации (?page=2, ?p=3) меняют содержание страницы — это разные наборы товаров или записей.

Если добавить их в Clean-param, робот будет видеть только первую страницу и не проиндексирует остальные.

Для пагинации используйте rel="next" и rel="prev" — это стандартный способ указать поисковикам, что страницы связаны между собой.

Это разные инструменты, и они дополняют друг друга.

  • Canonical показывает поисковику, какая страница основная. Это помогает объединить вес дублирующихся страниц в одну.
  • Clean-param говорит роботу не сканировать мусорные URL с параметрами. Это экономит ресурсы краулера.

Вместе они работают эффективнее: Clean-param экономит бюджет краулинга, canonical объединяет ссылочный вес страниц.

Нет, синтаксис простой. Главное — не ошибиться с параметрами.

Если сомневаетесь — проверьте через Яндекс.Вебмастер. Ошибка в Clean-param менее страшна, чем неправильный canonical.

Если вы случайно укажете не тот параметр, робот просто проигнорирует директиву и продолжит сканировать как обычно. Но если вы укажете параметр, который меняет контент — это уже проблема. Поэтому проверяйте дважды перед внедрением.

Clean-param влияет только на поисковых роботов. Она не трогает пользователей и не меняет URL в браузере.

Параметры UTM остаются в ссылках для посетителей, поэтому аналитика продолжает работать корректно. Вы по-прежнему видите, откуда пришёл пользователь, по какой рекламной кампании и с какими метками.

Изменения касаются только индексации — робот сканирует чистые URL, а пользователи видят полные ссылки.

Нет, если вы используете директиву правильно. Clean-param — это официальный инструмент Яндекса.

Главное — не добавлять в неё параметры, которые меняют контент. Если вы соблюдаете это правило — риска нет.

Наоборот, правильное использование Clean-param показывает поисковикам, что вы заботитесь о качестве индексации. Это положительно влияет на доверие к сайту.

Да, для этого используется путь — вторая часть директивы.

  • Если вы укажете /blog/ — правило будет работать только для страниц, которые начинаются с /blog/.
  • Если укажете /catalog/ — только для каталога.
  • Если укажете / — для всего сайта.

Это позволяет гибко настраивать индексацию. Например, можно убрать параметры в блоге, но оставить их в интернет-магазине, если они там нужны для фильтрации.

Рекомендую проверять раз в месяц в течение первых трёх месяцев после внедрения. Если всё работает стабильно — можно перейти на ежеквартальную проверку.

Также стоит проверять директиву после любых изменений на сайте:

  • добавления новых разделов
  • подключения новых систем аналитики
  • запуска новых рекламных кампаний

Это поможет вовремя заметить, если появились новые параметры, и добавить их в список.

Первым делом проверьте синтаксис. Одна опечатка — и директива не сработает. Проверьте, правильно ли вы указали параметры и путь.

Если синтаксис верный — проверьте через инструмент в Яндекс.Вебмастере. Если там директива не отображается — возможно, проблема в кодировке файла robots.txt. Убедитесь, что файл сохранён в UTF-8.

Если всё верно, но директива всё равно не работает — обратитесь в поддержку Яндекса или напишите мне — я помогу разобраться.

Надеюсь, я ответил на ваши вопросы. Если чего-то не хватает — пишите, я дополню.

Хотите, чтобы я помог с настройкой Clean-param или других SEO-директив для вашего проекта? Напишите мне — разберёмся вместе.

Это тоже может вас заинтересовать
Подборка материалов для эффективного продвижения