…или «Яндекс такой Яндекс»
Начну издалека. Летом начал продвижение интернет-магазина, которому уже полтора года. В индексе чувствовал себя хорошо, потому что было ~4500 страниц. Ничего не предвещало беды.
Домен в зоне .РФ, но в индекс попала с приставкой «www». Как бы мне не было неприятно от такого каламбура, я смирился с мнением робота Яндекса и прописал в robots.txt домен с «www» в punycode.
И тут начались паранормальные явления.
Через несколько дней после начала работ я получил сообщение, что домен с приставкой «www» был признан неглавным зеркалом этого же домена без приставки «www». Из-за этого в индексе осталась всего 51 страница из бывших 4500.
Сказать, что я офигел, ничего не сказать. Но делать нечего, пришлось и в этот раз смириться с мнением робота и убрать www из хоста в robots.txt.
Как можно предположить, интересное еще впереди. Спустя 8 дней я снова получаю сообщение, на этот раз противоположный: Яндекс снова поменял главный домен сайта на с приставкой «www», проигнорировав мои правила в robots.txt.
В индексе так и осталось немного страниц, терять было нечего, поэтому, в очередной раз охерев от Яндекса, я забил на его мнение, оставив правило Host без «www», ибо нехуй мешать русский with english.
На этот раз ждать пришлось подольше, но все же: через 12 дней очередным сообщением Яндекс мне радостно объявил о смене главного зеркала, оставив домен без приставки «www». А еще через столько же времени в индексе оказалось ~500 страниц сайта. Но что печально, после всех манипуляций эта цифра не сильно изменилась. За несколько месяцев в индекс вернулось только 630 страниц из бывших 4500.
Так я впервые столкнулся к глюками робота Яндекса. Понятное дело, что моей вины в этом нет, т.к. делал я все по правилам, к тому же подстраиваясь под текущее состояние дел.
Дальше интересней.
Яндекс: «Глючим и не признаем»
Осенью, как и положено, начали желтеть листья, температура стремиться к нулю, а небо стабильно поливать землю дождем. #ТленностьБытия. Яндекс не отставал от погоды, и 20 сентября в Я.Вебмастере рядом с количеством страниц нашего сайта-мученика я увидел желтенький алерт: «[такого-то числа] наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.»
«Глюк», – подумал Сережа, но на всякий случай все проверил. Через предложенную Яндексом форму выяснилось, что robots.txt настроен корректно. Проверка физического файла также не показала аномалий с момента моего последнего посещения. Сайт отдавал «200 OK», падений сервера никогда не было. Понадеявшись на обнадеживающую надпись «Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней», я оставил дело разбираться самому.
Угадайте, что было дальше? Верно! Через 5 дней в очередной ап выдачи сайт выкинуло к хуям из индекса! А Яндекс как бы издевается обновленным сообщением: «В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз».
В срочном порядке я пишу Платонам описание этой проблемы, а также до кучи расписываю летние глюки с зеркалом. Прикрепляю скрин сообщений из Я.Вебмастера с подчеркиванием всех сообщений и их дат. В ответ получаю от Яндекса вкратце такое: «Запрет в robots.txt был, ничего не знаем. Если не вы вносили изменения, значит админ сервака. Зеркала менялись по вашей вине, отсебятины не придумываем.»
Понятное дело, что с саппортом сложно спорить, они верят своим роботам больше, чем юзерам. Но оставить я это не мог. Пишу ответку, мол, фига с два, файл последний раз менялся до возникших проблем, прикрепляю пруфскрин с датой файла на сервере.
Платон мне говорит, чтобы я шел куда подальше, а именно – к админам сервака. Отвечаю ему, что я и есть администратор сервера и доступа к нему больше ни у кого нет. Ну стопроцентная ошибка робота.
И что же нам ответила на это письмо служба технической поддержки Яндекса?
«Отъебись!»
Занавес…
Стоит заметить, что ближайшим после вылета сайта апом страницы сайта снова вернулись в результаты поиска. Но, блин, целых 5 дней сайт куковал без посетителей из Яндекса! А это сотня посетителей и несколько заказов! К тому же, судя по ситуации и переписке, никто не застрахован от подобных проблем и в будущем.
