Почему яндекс индексирует главную страницу. Быстрая индексация страницы в яндексе

При продвижении сайта в поисковые системы иногда возникает следующая проблема - некоторые страницы ресурса никак не могут быть проиндексированы поисковиками. Почему так происходит? Сложно однозначно ответить на этот вопрос, пока нет возможности посмотреть на сам проект и попытаться исправить очевидные проблемы, если таковые имеются. И даже если причина, почему поисковики игнорируют какую-либо страницу, найдена, всегда существует вероятность, что она может быть не единственной. Естественно получается так - если часть страниц, оптимизированных под определённые ключевые слова, не индексируется поисковиками, то эффективное продвижение сайта просто невозможно.

Если возникают проблемы с индексацией, изначально есть смысл проверить в каждом поисковике отдельно, выбранном для продвижения - вполне возможно, что проблема есть только с одной поисковой системой. В этом случае причина может быть даже в банальной ошибке. Многие системы предоставляют возможность проверить проиндексирована ли определённая страница при помощи специальных операторов, однако есть более простой и быстрый способ - просто ввести в строку поиска адрес страницы и посмотреть результаты. В том случае, если поисковик не выдаст ссылку на эту страницу Вашего сайта, логично предположить, что она не проиндексирована.

Когда Вы уже осознали, что определённая страница действительно не проиндексирована в поисковике, необходимо проверить и все остальные страницы сайта, введя в строку поиска "site:имя_сайта.ru". При этом Вы точно поймёте, какие страницы Вашего ресурса уже проиндексированы, а какие нет - ведь проблема может быть куда масштабнее, чем одна "забытая" поисковиками страница. К основным причинам проблем с индексацией специалисты Newmann Bauer относят:

1. Слишком длинный динамический адрес страниц. Поисковики иногда "отказываются" от индексации страниц, адрес которых слишком длинный и содержит множество дополнительных параметров;
2. Если на страницах сайта содержатся тексты, которые являют собой обыкновенный спам. Также такое может произойти из-за контента, перенасыщенного ключевыми словами. Решение - наполнение страницы другим содержанием и просьба о переиндексации страницы. В противном случае спам может испортить рейтинг сайту в целом;
3. В том случае, если файл robots.txt, содержащий инструкции для поисковых роботов составлен неправильно, некоторые страницы могут быть просто исключены и необходимости их индексации для поисковых роботов не существует. Это также может быть причиной, по которой не индексируется какая-либо определённая страница ресурса;
4. На Вашем проекте содержатся скрытые ссылки. Если навигация по проекту происходит при помощи способов, которые не относятся к HTML, поисковики могут просто не видеть страницы, которые необходимо проиндексировать.

Бывает и так, что индексация всех страниц проходит правильно, а одна-единственная страница остаётся недоступной к обнаружению через поисковые системы. В этом случае вполне возможно, что такая страница доступна только тем пользователям, которые заполняют определённую форму или же кликают на всплывающее окно - поисковые роботы делать этого пока ещё не научились. На странице также может присутствовать редирект с использованием JavaScript или мета обновлением, которое препятствует индексации. Также в случае использования фрейма на странице, грубых ошибок в коде или слишком длинных размеров индексация вполне возможно будет неправильной.

Сайт не индексируется. Что делать?
Я много писал, что хороший сайт не столкнется с проблемами индексации, и тем не менее именно мой Крым-Блог , которым я иллюстрирую все примеры в этом учебнике, очень долго не хотел индексироваться Гуглом. Так что вопрос из заголовка я плотно изучил на практике.

Крым-Блог создан на CMS Joomla, под управлением которой работают миллионы ресурсов. Никаких наворотов, уникальные тексты, хорошие ссылки – все условия для идеальной индексации. И несмотря на это Гугл первые два месяца добавлял к себе по одной страничке в три дня.

При этом парадоксально: позиции и трафик с гугла уже имелись, а в индексе сидело всего 3-5 страниц. Логика разбивается на мелкие кусочки, но факт – так оно и было.

Итак, что нужно предпринять, если сайт не индексируется? Первым делом не паниковать. Изучая форумы с подобными вопросами, я увидел что проблема более чем решаема. Чем хороши форумы – читаешь крик о помощи годичной давности «сайт не индексируется уже 3 месяца!». Заходишь в поиск и проверяешь индексацию указанного ресурса. И видишь – все уже в порядке, значит вебмастер решил проблемы. И так было практически во всех случаях, что несомненно внушает оптимизм.

1. Публикация ссылки на очень посещаемом сайте . Работает безотказно, опубликованная страница влетает в индекс через пару часов после публикации. Недостаток – очень дорого, а гарантированно индексируется только та самая ссылка, которую мы разместили.

Индексацию остальных страниц это может подтолкнуть, а может и нет.

Недостатки те же – если аккаунты хорошие, то публикация в них стоит денег. Но все же это обойдется ощутимо дешевле первого способа.

3. Прогон по соц. закладкам . Сам не пробовал, но говорят, что для ускорения индексации это тоже работает хорошо.

Преимущества – дешево. Недостатки – соц. закладки заспамлены просто безумно, не очень мне нравится публиковать свой ресрус в таком окружении. Хотя вреда от этого быть не должно.

4. Посмотреть как ГуглБот . Отличный способ для гугла. Идем в панель вебмастеров, раздел Сканирование ->Посмотреть как Google bot. И там можно отправить запрос на принудительную индексацию выбранной страницы. Не пройдет и суток, как страница практически гарантированно появится в индексе.

Тут правда есть ограничение – за раз отправить боле 10 страниц не получится. Правда это число «возобновляемое». Т.е. использовали вы весь лимит на отправку в индекс, а через недельку эта возможность снова становится доступной.

При нажатии на кнопку «отправить в индекс» есть выбор между «отправить данную страницу» и «отправить данную страницу и все с ней связанные». Во втором случае мы просим гугл проиндексировать не только заданный УРЛ, но и пройти по ссылкам с него на другие разделы сайта.

По моему опыту, индексация отправленной страницы происходит всегда, а вот по ссылкам на ней Гугл может и не пойти.

5. Xml карта сайта . Карты сайта изначально появились в далеком прошлом. Их цель была упростить навигацию на сайте. Карта обычно содержала структурированную информацию о разделах ресурса и позволяла быстро на них перейти.

Для поисковиков карта сайта тоже благо, т.к. ссылки на все страницы собраны в одном месте.

По моим соображениям, эта возможность является мега-полезной для сайтов с десятками тысяч страниц. Если же у вас их всего пара сотен, то xml картой сайта можно не заморачиваться.

Но судя по отзывам, добавление карты сайта позволяет ускорить индексацию. Мой личный опыт этого не подтверждает, но хуже от добавления xml карты точно не станет.

Ну и заключительный совет повторю еще раз – не спешите, рано или поздно поисковые системы обязательно проиндексируют ваш ресурс.

Моя книга издана в бумажном варианте. Если этот учебник оказался для вас полезным - то вы можете отблагодарить меня не только морально, но и вполне осязаемо.
Для этого нужно перейти на

От SiteClinic.

Плохая индексация сайта - одна из серьезных проблем вебмастеров. Почему сайт или его отдельные страницы до сих пор не в индексе? Чтобы ответить на этот вопрос, нужно провести небольшой анализ. Ниже приведен список основных причин плохой индексации, который можно использовать как чеклист для решения проблемы.

Основные причины

Существует 5 основных причин, по которым сайт или его отдельные документы могут не заходить в индекс (или делать это с трудом). Вот они:

— Робот не знает о сайте или документе
— Сайт или его часть недоступна для робота
— Сайт находится в черном списке
— Присутствует техническая ошибка
— Отдельные страницы или разделы показывают плохое качество

Ниже подробно расписан каждый перечисленный выше пункт.

1. Робот не знает о сайте/документе

Робот может не знать о сайте (не включить его в свое расписание) по разным причинам.

— Прошло мало времени

Для того, чтобы робот узнал о сайте или новой странице, необходимо время, когда он найдет ссылку (внутреннюю или внешнюю), либо когда кто-то зайдет на сайт из браузера с установленным тулбаром, либо вы намеренно сообщите роботу о появлении нового документа. Ускорить попадание документа в расписание индексации можно с помощью .

Также, если вы по логам сервера уже видите, что робот заходил на сайт, а страницы в индексе не появились, нужно подождать апдейта, который в Яндексе происходит не чаще 2 раз в неделю (а по праздникам доходит до 1 раза в 2-4 недели). В основной индекс страницы могут попадать за несколько часов в Google и минимум за 2 недели в Яндекс (если попадают раньше, то по документу скорей всего прошелся быстробот и позже страницы могут на время уйти из индекса до прихода основного робота).

— На сайт/документ не стоит ссылок

Если сайт обновляется редко, то робот на него также будет заходить редко и при добавлении новых страниц нужно убедиться, что на них стоят ссылки с главной, либо можно поставить ссылки с других внешних ресурсов (с целью подсказки роботу о новых документах).

2. Сайт или его часть недоступна для робота

Даже если поисковик уже знает о сайте, мы можем осознанно или неосознанно закрывать ему доступ к отдельным разделам и документам.

— Домен не делегирован (или снят с делегирования по жалобе)

Убедитесь, что приобретенный вами домен делегирован и доступен по доменному имени не только вам, но и другим пользователям сети. Попросите своих знакомых из другого города зайти на сайт и проверить, открывается ли он.

— Медленная скорость отдачи документов

Медленная скорость отдачи документов из-за проблем в хостинге или CMS не позволит роботу быстро индексировать сайт. Он будет продолжать его сканировать, но не так быстро, как если бы документы отдавались моментально. Простая оптимизация скорости загрузки сайта может существенно улучшить его индексацию.

Конечно же, существуют и другие причины плохой индексации сайта. Если ни один из вышеперечисленных признаков вам не подходит, необходимо связаться со службой поддержки поисковой системы, либо связаться со специалистами.

Если в вашем опыте встречались какие-то другие проблемы, мешающие сайту нормально индексироваться, делитесь ими в комментариях!

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые — страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся — страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода — количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a — URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо — Яндекс удалил, а что надо — Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется — добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» — поиск по всем поддоменам и страницам указанного сайта;
• «host» — поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt — онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам — Яндекс и Google.

Чтобы проверить индексацию страницы внесите её в список:

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Как я и обещал в , сегодня я расскажу как решить проблему индексации страниц Яндексом , а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.

Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил , но как оказалось проблема была совсем не в нём. Спасибо моему другу , который заметил вот такую строчку кода у меня на страницах с постами:

Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex ». Ну что же, пришло время штурмовать суппорт Яши своими письмами:). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.

Пишу следующее письмо:

Доброго времени суток!.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц (я для на всякий случай передал скрины ссылок на те страницы).

На второй день приходит мне ответ:

Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса

Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал , я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице . Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.

Вчера я увидел новый комментарий к статье « », его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.