Robots.txt - это текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. В этом документе есть своя структура и директивы, этот документ выполняет функцию фильтра. В Robots.txt владельцы сайта определяют, какой контент они хотят, чтобы поисковые системы сканировали, а какой не должен попасть в общий индекс. Закрыть страницы можно с помощью директивы Disallow.

Технический SEO аудит

Технический SEO аудит
Без проведения SEO-аудита, даже в случае реализации грамотной структуры сайта и размещения качественного контента на основании собранного семантического ядра, есть риск заметно снизить рост позиций/трафика, а в некоторых случаях - полностью исключить возможность достижения результата. Важно понимать, что целью SEO-аудита является не только выявление проблем, а создание максимально однозначных и развернутых рекомендаций по их устранению.Читать обзор

Аудит с Screaming Frog SEO Spider

Технический аудит сайта при помощи Screaming Frog SEO Spider
Техническая сторона имеет большое влияние на эффективное функционирование интернет-ресурса, а также на быстроту и качество его продвижения в поисковых системах. Даже одна незначительная, на первый взгляд ошибка, может привести к достаточно серьезным последствиям, вплоть до исключения ресурса их индекса поисковиков.Читать обзор

Структура сайта - общая методология

Структура сайта - общая методология
Для каждого запроса в выдаче поисковой системы выше всего ранжируется наиболее соответствующая ему страница, поэтому одним из основных моментов поисковой оптимизации является продуманная структура сайта, которая должна охватывать максимально возможное количество запросов и иметь для них релевантные страницы.Читать обзор