Яндекс не индексирует новые страницы. Быстрая индексация страницы в яндексе. — Медленная скорость отдачи документов

Я рада всех приветствовать на сайт. С вами Екатерина Калмыкова. Наверняка, если вы читаете эту статью, то у вас уже создан блог и вы готовы принимать посетителей. Но вот проблема, кроме ваших друзей или знакомых на него никто не заходит.

«Почему?» — недоумеваете вы. Вроде бы и дизайн классный, и верстку заказывали у , и контент полезный, и даже основные моменты учли, а посещаемости все нет и нет.

И вот вы решили зайти в поиск и посмотреть на какой странице вы вообще отображаетесь. Листаете-листаете, а вас там нет! Вот сюрприз, не правда ли!

Как раз поэтому мы сегодня с вами поговорим о том, почему сайт не индексируется Яндексом или Гуглом.

Прежде всего, индексация — это сканирование страниц ресурса поисковыми роботами, которые в свою через определяют, что у вас за контент, насколько он полезный для посетителей и на какое место в своем списке его поставить в выдаче.

И тут все логично. Вы ведь не покупаете вещи, которые через 2 дня могут испортятся? Так и тут, какой смысл поисковикам добавлять в топ сомнительные ресурсы, которые не будут пользоваться спросом у пользователей.

И первый вопрос, который волнует — это сколько по времени занимает индексация? Здесь точного срока нет. Робот может посетить и через 2 недели, а может и через месяц, как вам повезет. Все потому что веб-ресурсов с каждым днем появляется все больше и больше, и роботы не могут сразу справиться со своей задачей. Согласитесь, вы ведь тоже не сразу узнаете о появлении нового магазина продуктов на соседней улице? Только после того, как баба Галя возле подъезда вам расскажет про него 🙂

Почему блог не индексируется Яндексом или Гуглом

И вот вроде уже прошло достаточно времени, а в поиске вашего проекта все равно нет, почему? Есть несколько причин.

Давайте разберемся в каждой.

1. Неуникальность контента . Роботы могли уже проанализировать ваш блог, однако, увидев у вас материал, который не прошел у них по уникальности, посчитали вас вредоносным объектом и решили к вам больше не заходить, а уж тем более не добавлять в выдачу. Думаю, это понятно!

2. Копия другого сайта . Эта причина напрямую связана с вашей честностью. Есть люди, которые в поисках быстрого заработка стараются не заморачиваться на продумывание дизайна и создают так называемое «зеркало» — копию другого сайта с похожим доменом. В поисковых системах такого не любят, поэтому в отношении вас могут предпринять определенные меры, например, наложить фильтр, который снять очень сложно.

Если эти 2 варианта не про вас, на что я очень надеюсь, тогда перейдем к следующим причинам:

3. Переоптимизация ресурса . Злоупотребление стараниями оптимизировать свой ресурс для пауков может привести к проблемам с индексацией страниц. Так как поисковые системы стараются удовлетворить потребности пользователя, а не свои, поэтому от вас будут требовать того же.

4. Домен с плохой историей . Еще один момент — вы могли приобрести домен, который ранее был заблокирован или находится под фильтром. Такое тоже случается. Чтобы не попасть в такую ситуацию рекомендую ознакомиться со следующими статьями:

7. Запрет аналитики в мета-тегах . Иногда такое случается, поэтому следует проверить их на наличие содержимого типа: или . Они блокируют доступ роботов к сайту.

Как определить индексацию

Быстро определить индексацию достаточно просто. Для этого необходимо зайти на ресурс seogadget.ru . Выбрать «Проверка индексации», добавить имя домена и нажать «Проверить».

После этого смотрим результат.

Вот таким простым способом можно проверить индексацию сайта в Гугл или Яндекс.

Надеюсь после прочтения вам стало понятно, что аналитика сайта пауками очень важна для правильного продвижения. Чтобы ваш проект роботы быстро индексировали, он должен быть качественным во всех его проявлениях: от внешнего оформления до внутреннего содержания.

Удачного вам продвижения!

А вы следите за индексацией своего сайта? Что предпринимаете, если индексация затягивается?

И напоследок я бы хотела вам показать радугу, которую буквально вчера сфотографировала. Казалось бы последний месяц осени, в некоторых городах уже снег лежит, а у нас радуга. Здорово, правда?

Екатерина Калмыкова

Всем привет! Сегодня хотелось бы поговорить о быстрой индексации сайта поисковыми системами. В последнее время яндекс нас не слишком радует частыми апдейтами, а хочется как можно быстрее загнать страницы в индекс. А тем, кто только создал сайт хочется быстрее чтоб яндекс проиндексировал их сайт.

У вас есть сайт, и вы постепенно его наполняете, но ПС как-то не охотно хочет индексировать новые страницы сайта. С google дела обстоят попроще, он быстро добавляет новые страницы в выдачу, а вот с яндексом приходится попотеть. В этой статье я опишу платные и бесплатные методы загона страницы в индекс яндекса.

Давайте для начало разберем причины того, почему же ваш сайт не индексируется поисковыми системами. Причины могут быть банальными или же достаточно сложными, которые потребует вмешательства. Итак, вот основные причины:

1. ПС пока не нашли ваш сайт
2. Страницы сайта закрыты в robots.txt
3. Если ваш сайт на WordPress, то возможно у вас включены приватные настройки
4. Страницы сайта закрыты от индексации мета тегами noindex
5. Происходит блокировка сайта в .htaccess
6. Не стабильная работа вашего хостинга
7. Отсутствие на сайте файла sitemap.xml «Карта сайта»
8. На сайте присутствует не уникальный контент «Копипаст»
9. Ваш сайт попал под санкции Яндекса или Гугла

Ну а ниже вы узнаете, как быстро загнать сайт в яндекс, при условии того что у вас отсутствуют выше перечисленные проблемы.

Способы для быстрой индексации сайта

Платный способ загона ссылки в индекс

• GetBot
• Indexgator

Также в новой версии появилась возможность отправить на переобход страниц ботом, раз в сутки можно добавлять не более 10 страниц сайта.

На WordPress

И добавляем следующие сервисы:

http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
http://blogsearch.google.com/ping/RPC2
http://blogsearch.google.ru/ping/RPC2
http://ping.feedburner.com

Шаг 2. Не будет лишним добавить вашу ссылку в социальные сети с помощью соц.кнопок, если же у вас они не стоят, то сделайте это вручную. Многие говорят, что это не работает, но не будем слушать других и все-таки добавим нашу ссылку.

Ну вот и результат....

С уважением, Дмитрий Арсеньев!

Сайт не индексируется. Что делать?
Я много писал, что хороший сайт не столкнется с проблемами индексации, и тем не менее именно мой Крым-Блог , которым я иллюстрирую все примеры в этом учебнике, очень долго не хотел индексироваться Гуглом. Так что вопрос из заголовка я плотно изучил на практике.

Крым-Блог создан на CMS Joomla, под управлением которой работают миллионы ресурсов. Никаких наворотов, уникальные тексты, хорошие ссылки – все условия для идеальной индексации. И несмотря на это Гугл первые два месяца добавлял к себе по одной страничке в три дня.

При этом парадоксально: позиции и трафик с гугла уже имелись, а в индексе сидело всего 3-5 страниц. Логика разбивается на мелкие кусочки, но факт – так оно и было.

Итак, что нужно предпринять, если сайт не индексируется? Первым делом не паниковать. Изучая форумы с подобными вопросами, я увидел что проблема более чем решаема. Чем хороши форумы – читаешь крик о помощи годичной давности «сайт не индексируется уже 3 месяца!». Заходишь в поиск и проверяешь индексацию указанного ресурса. И видишь – все уже в порядке, значит вебмастер решил проблемы. И так было практически во всех случаях, что несомненно внушает оптимизм.

1. Публикация ссылки на очень посещаемом сайте . Работает безотказно, опубликованная страница влетает в индекс через пару часов после публикации. Недостаток – очень дорого, а гарантированно индексируется только та самая ссылка, которую мы разместили.

Индексацию остальных страниц это может подтолкнуть, а может и нет.

Недостатки те же – если аккаунты хорошие, то публикация в них стоит денег. Но все же это обойдется ощутимо дешевле первого способа.

3. Прогон по соц. закладкам . Сам не пробовал, но говорят, что для ускорения индексации это тоже работает хорошо.

Преимущества – дешево. Недостатки – соц. закладки заспамлены просто безумно, не очень мне нравится публиковать свой ресрус в таком окружении. Хотя вреда от этого быть не должно.

4. Посмотреть как ГуглБот . Отличный способ для гугла. Идем в панель вебмастеров, раздел Сканирование ->Посмотреть как Google bot. И там можно отправить запрос на принудительную индексацию выбранной страницы. Не пройдет и суток, как страница практически гарантированно появится в индексе.

Тут правда есть ограничение – за раз отправить боле 10 страниц не получится. Правда это число «возобновляемое». Т.е. использовали вы весь лимит на отправку в индекс, а через недельку эта возможность снова становится доступной.

При нажатии на кнопку «отправить в индекс» есть выбор между «отправить данную страницу» и «отправить данную страницу и все с ней связанные». Во втором случае мы просим гугл проиндексировать не только заданный УРЛ, но и пройти по ссылкам с него на другие разделы сайта.

По моему опыту, индексация отправленной страницы происходит всегда, а вот по ссылкам на ней Гугл может и не пойти.

5. Xml карта сайта . Карты сайта изначально появились в далеком прошлом. Их цель была упростить навигацию на сайте. Карта обычно содержала структурированную информацию о разделах ресурса и позволяла быстро на них перейти.

Для поисковиков карта сайта тоже благо, т.к. ссылки на все страницы собраны в одном месте.

По моим соображениям, эта возможность является мега-полезной для сайтов с десятками тысяч страниц. Если же у вас их всего пара сотен, то xml картой сайта можно не заморачиваться.

Но судя по отзывам, добавление карты сайта позволяет ускорить индексацию. Мой личный опыт этого не подтверждает, но хуже от добавления xml карты точно не станет.

Ну и заключительный совет повторю еще раз – не спешите, рано или поздно поисковые системы обязательно проиндексируют ваш ресурс.

Моя книга издана в бумажном варианте. Если этот учебник оказался для вас полезным - то вы можете отблагодарить меня не только морально, но и вполне осязаемо.
Для этого нужно перейти на

Многие пользователи, особенно новички, задают одни и те же вопросы, на различных форумах, сайтах – почему не индексируются страницы поисковыми системами Яндекс и Google , либо же – почему плохо индексируется сайт или совсем перестал индексироваться сайт . В связи с этим разворачиваются огромные споры, так как причин, по этому поводу может быть масса и так сразу дать ответ не получиться, придется анализировать свой ресурс и выявлять конкретную причину.

Поэтому, давайте рассмотрим самый распространенные причины, по которым Ваш сайт может не индексироваться, либо же вылететь совсем из индекса.

Почему сайт не индексируется поисковыми системами?

Ускорение индексации. Не забывайте о том, чтобы Ваш сайт быстрее индексировался, необходимо добавлять , закладки и другие сервисы.

Можно еще добавить ссылку на аддурилку в поисковой системы, но некоторые говорят, что в этом случае, поисковая система поставит Ваш сайт в конец очереди для индексации. Хотя, если на Ваш сайт давно не заходил поисковой робот, то стоит это сделать.

Файл robots. txt. Возможно, у Вас не правильно составлен файл robots.txt, поэтому необходимо его просмотреть (возможно, закрыта в нем страница для индексации или вообще весь сайт).

Мета-теги. Возможно, у Вас страница закрыта от индексации с помощью мета-тегов, таких как: none, noindex, nofollow и так далее. Необходимо проверить и исправить ситуацию.

Вирус на сайте. Может быть такое, что на Вашем сайте поселился вирус, соответственно и выпал из выдачи, либо совсем не индексируется, поэтому Вам стоит .

Структура. У вас совсем не правильная структура на сайте. Возможно, нарушено правило трех кликов. То есть, чтобы добраться до конкретной статьи на сайте (страницы), необходимо произвести больше трех кликов.

Хостинг. Может быть такое, что Ваш проводит какие-то работы, в связи с этим поисковая система не может получить доступ к сайту (поисковой робот не может получить доступ к сайту) и возникают ошибки такого рода. Если поисковой робот Яндекс не может получить доступ к сайту, то прочитайте .

Домен. Может быть и такое, что Вы купили свой домен, на который были наложены санкции со стороны поисковых систем. Вам необходимо проверять доменное имя перед его покупкой.

Контент сайта. Самая распространенная причина, почему Ваш сайт не индексируется – на нем присутствует не уникальный контент. Вам стоит писать качественный и уникальный контент для сайта, а не копировать с других.

Как проверить страницу в индексе поисковых систем?

Существует масса вариантов, масса сервисов, но самый простой – это скопировать часть статьи (ее название или URL) и вставить в строку поиска и найти ее. Если Ваша страница появиться на первых страницах поиска, значит она проиндексирована, если нет – то увы.

От автора: вы пишете полезный и интересный контент. А может быть неполезный и неинтересный – это ваше дело. Но почему сайт не индексируется в яндексе на протяжении долгого времени? Давайте рассмотрим все основные причина.

Посмотрите на эту картинку. Да наверняка вы ее уже не раз видели. Действительно в яндексе может найтись все. Но то, что не проиндексировано, никогда не найдется, потому что поисковик просто не знает о нем. А раз так, то вопрос индексации является очень важным для любого веб-мастера, владельца сайта и оптимизатора. Сегодня я напишу как минимум о нескольких причинах, почему у вас могут быть проблемы с индексацией.

Первая и наиболее вероятная причина – возраст сайта

Дело в том, что большинство веб-мастеров, которых заботит вопрос быстрой индексации – владельцы молодых сайтов. Я уверен в этом потому, что сам развивал два сайта с нуля с первых же дней их существования. Нужно понимать, что Яндекс относится к только что вылупившимся на свет сайтам с недоверием, и в этом его нельзя упрекнуть – уж больно много появилось ГС.

Итак, чем моложе ваш сайт, тем меньше шанс быстрой индексации страниц сайта. Как правило, более менее быстро можно загнать в индекс главную страницу, так как у нее наивысший приоритет, а вот остальные в любом случае не так быстро попадут в индекс.

Если вы хотите проиндексировать хотя бы главную страницу, добавьте сайт в Яндекс.Вебмастер, если вы еще не сделали этого. Также добавьте url проекта в addurl (Сообщить о новом сайте). После подтверждения прав на сайт я также рекомендую сразу сделать следующее:

Загрузить в вебмастер xml-карту сайта (это непосредственно может улучшить индексацию, так как поисковый робот будут лучше осведомлен о всех имеющихся страницах).

Загрузить и проверить файл robots.txt. Его можно проверить на ошибки.

Настроить главное зеркало сайта, чтобы не возникло дублей с www и без него

Это то, что прямым или косвенным образом повлияет на скорость индексации. Если вы сделали все это, вам остается только ждать индексации, добавляя все новые url-адреса проекта с помощью того же addurl.

Хорошо, возможно, вы все это сделали и все равно не можете дождаться индексации. Неужели никак нельзя ускорить процесс? Тут нужно понимать, что многое от вас самих не зависит. Яндекс по умолчанию индексирует намного медленнее, чем Google. Тем более молодые сайты. Обычно в течение 1-3 недель новые страницы молодых сайтов появляются в индексе. Считайте этот временной отрезок вполне нормальным.

Я лишь хочу донести до вас, что если причина медленной индексации в возрасте сайта, то не стоит особо беспокоиться. Со временем ваш проект вырастет и из младенца превратится в рядовой интернет-ресурс, хорошо известный поисковикам. Тогда и настанет время, когда новые материалы будут влетать в индекс быстро, в течении нескольких дней.

Такую ситуацию я заметил на двух молодых сайтах, которые продвигал. Когда возраст сайта перевалил за 6 месяцев, скорость входа новой статьи в индекс увеличилась. По заявлениям самого яндекса, максимально долгий срок индексации – 2 недели. Если они прошли и в индексе ничего нет, значит, могут быть другие проблемы или ошибки. Конечно, 2 недели не стоит ждать, а лучше все проверить как только сможете. Далее я рассмотрю наиболее частые ошибки и факторы, из-за которых сайт или отдельные его страницы могут не попасть в индекс.

Запрет на индексирование в robots.txt

Это важный и полезный файл, но в нем могут быть ошибки, если вы прописывали инструкции сами, либо взяли на первом попавшемся сайте. Самое главное, чтобы не было такой команды: Disallow: /

Также проверьте, какие конкретные команды даются для бота Яндекса (user-agent: Yandex). Едва ли проблема именно в этом файле, но глупо будет его не проверить.

Использование мета-тега robots

К слову, в самом robots.txt вы можете не найти никаких опасных команд, которые закрывали бы обход к сайту и его конкретной странице. Но ведь помимо этого есть еще мета-тег robots, с помощью которого можно закрыть конкретную страницу от индексации, а также ссылки на ней.

Например, такой кусок кода явно свидетельствует о том, что страница будет закрыта. Проверьте, нет ли его у вас где-нибудь в шапке. Если вы хотите закрыть все ссылки, но открыть текст (тогда страница будет проиндексирована), используйте параметры index, nofollow, а если нужно открыть все – index, follow.

Запрет на индексирование в настройках движка

Насколько я помню, перед установкой wordpress можно отметить галочкой опцию, чтобы не индексировать сайт в поисковых системах. Это может быть полезно первое время на молодых сайтах, которые находятся в разработке, чтобы всякие тестовые страницы не попадали в индекс. Возможно, вы установили эту галочку случайно во время установки или позже из настроек. В таком случае просто снимите ее.

Неправильное использование тега noindex

Тег noindex – полезный, но опасный тег при его неправильном использовании. Он позволяет закрыть текст от индексации. То есть текст, помещенный в него, восприниматься поисковиком не будет. Соответственно, если вы случайно обернете всю статью в noindex, она не проиндексируется, так как нечего индексировать (все закрыто).

Едва ли вы можете допустить такую ошибку, но тег закрасться в сами файлы шаблона. Возможно, он у вас где-нибудь в header.php открывается, а потом нигде не закрывается. Получается забавная ситуация, что все закрыто. Иными словами, проверьте код своего сайта. На самом деле необязательно быть программистом и верстальщиком для этого.

Вы можете использовать программу вроде Архивариус для быстрого поиска по многим файлам (введите noindex), либо воспользоваться стандартным поиском по файлу. Также может помочь отладчик (F12 в Google Chrome), но это уже больше для разработчиков. Дополнительно вы можете проверить каждую конкретную страницу. Не случилось ли такого, что с помощью noindex вы хотели закрыть какой-то неуникальный фрагмент текста, но не закрыли тег в нужном месте?

Фильтры от поисковых систем

В данном случае нас интересуют фильтры от Яндекса. Хотя вы должны понимать, что они есть и у Google и они же могут быть причиной того, что ваш сайт и в этом поисковике не попадает в индекс.

В частности, у всех молодых сайтов есть фильтр песочница (sand-box). Это не проблема, это нормально. Как маленькие детки играют в песочнице, так молодые и зеленые интернет-проекты тоже туда попадают. Нет, обходить весь город в поисках своего сайта не нужно, просто знайте, что скорость индексации у молодых сайтов ниже. Об этом я уже говорил выше.

Но песочница – это временная мера поисковика. И вообще это не страшный фильтр, потому что он накладывается на всех. Другое дело, это санкции за использование недобросовестных приемов при продвижении сайта. Чаще всего это скрытый или явный спам ключевыми словами в тексте, а также в мета тегах. Иными словами, играйте по правилам поисковых систем, и подобных проблем у вас не возникнет.

Плохая история домена

Этот пункт актуален для тех, кто купил домен и начал на нем развитие своего нового проекта, либо для тех, кто зарегистрировал покинутый прежним владельцем домен.

Конечно, перед покупкой любого домена я рекомендую вам проанализировать его. Частично это можно сделать с помощью таких сервисов, как ВебАрхив (снимки сайта) и linkpad.ru (анализ ссылочной массы). По снимкам вы можете определить, какой тематики был сайт и что за контент на нем был. По ссылочной массе можно также примерно понять тематику. Проверяйте также домен на наличие у него фильтров поисковых систем.

В общем, такой небольшой анализ убережет вас от покупки домена с плохой историей. Если вы все же приобрели такой, возможно, с помощью запросов в тех. поддержку со временем репутацию удастся восстановить. Но лучше уже начинать с нуля, чем так.

Язык сайта

Вы должны понимать, что в первую очередь Яндекс ориентирован на страны СНГ. Если вы хотите, чтобы индексировались страницы английских, немецких и другие иностранных сайтов, то это вполне возможно, но только при условии качественного контента. Для иностранных сайтов есть Google и много других поисковиков, так что в первую очередь вам туда.

Процент уникальности ваших текстов

Есть еще одна веская причина, почему ваш сайт может не индексироваться Яндексом. Эта причина – неуникальный контент. Например, скопировали вы текст с другого источника и вставили себе, никак не изменив. Практика показывает, что Яндекс может вообще не проиндексировать полностью неуникальный контент и может долго не обращать внимание на страницы, уникальность которых менее 50%. Лучше иметь уникальность от 90%.

Чтобы лучше понимать, почему у неуникального контента гораздо меньше шансов на успешную индексацию, вы должны примерно понимать алгоритм, по которому новые страницы попадают в индекс. В частности, перед попаданием роботом проводится некий анализ контента и если он оказывается низкого качества, страница просто может не попасть в индекс. Чтобы она все-таки попала, необходимо улучшить качество текста.

Ошибки сервера

Это последняя причина, которую мы рассмотрим. Она чисто технического характера. В частности, одним из показателей качества и надежности вашего ресурса является то, что он постоянно доступен в сети 24 часа в сутки, каждый день. Конечно, мелкие сбои могут быть и это нормально. Но когда ваш сайт выключается на несколько часов (или, еще хуже, дней), то поисковый робот, придя на новые страницы, просто не сможет их открыть и вынужден будет уйти.

Таким образом, могут даже выпасть из индекса те страницы, которые уже там были. Как не допустить всего этого? Прежде всего, выбирать хорошего хостера и более менее нормальный тариф. Экономить на своем сайте не стоит. Лучше платите 300-500 рублей в месяц, чем 50.

Также если вы покупаете тарифы VPS/VDS, то вам, скорее всего, придется самостоятельно настраивать сервер. В частности, выбирать OC виртуальной машины, ставить какие-нибудь утилиты и т.д. Если вы вообще полный ноль в серверной настройке, лучше пока не покупать VDS или выбирать тариф, где вам гарантируется тех. поддержка от провайдера.

В частности, к серверным ошибкам относятся все с кодом 4**, 5** (трехзначные с четверкой и пятеркой в начале). Например, из-за отсутствия оптимизации работы баз данных может возникать ошибка. Особенно, если по сайту гуляют десятки и сотни людей, а ресурсов у вас немного.

Итог

Что ж, мы рассмотрели все основные причины. Теперь вы знаете что делать, когда сайт не индексируется в Яндексе. Если вами проверено абсолютно все и не найдено никаких ошибок и проблем, значит, нужно просто ждать. Как я уже говорил, Яндекс индексирует не так быстро, как Google. Скорость захода в индекс колеблется от 1 дня до 3 недель.

Ну а другие фишки не только по индексации, но и в общем по продвижению и раскрутке блога, вы можете найти в . Поверьте, этих фишек достаточно много, так что уже завтра (если вдруг начнете изучать курс) вы будете в шоке от того, как много вещей вы не знали!

Но знание спасает нас от неприятностей при продвижении сайта. А раз так, читайтe Webformyself, подписывайтесь на нас там, где вам удобно, и до скорых встреч!