Правила Disallow в robots.txt убивают склейку каноникалов на урлах с параметрами

Блокировка дублей урлов с параметрами через robots.txt делает краулеры слепыми к тегам canonical, предупреждает Джоно Алдерсон.

Когда сеошники пытаются вычистить мусор из индекса и прописывают disallow для сгенерированных параметров запроса, они случайно намертво фиксируют эти же урлы в выдаче.

Каноникалы живут внутри HTML-кода страницы.

Поскольку директива robots.txt срабатывает до краулинга, она отсекает гуглоботу доступ к урлу.

Робот вообще не рендерит страницу и не видит тег <link rel="canonical">; в итоге он не может склеить сигналы дубля с основной страницей продукта.

Из-за этого Google Search Console вешает на урлы флаг Проиндексировано, несмотря на блокировку в файле robots.txt.

Чтобы нормально склеить дубли, сноси правила disallow и позволь краулеру напрямую обработать директивы каноникала.