…или «Яндекс такой Яндекс»
Начну издалека. Летом начал продвижение интернет-магазина, которому уже полтора года. В индексе чувствовал себя хорошо, потому что было ~4500 страниц. Ничего не предвещало беды.
Домен в зоне .РФ, но в индекс попала с приставкой «www». Как бы мне не было неприятно от такого каламбура, я смирился с мнением робота Яндекса и прописал в robots.txt домен с «www» в punycode.
И тут начались паранормальные явления.
Через несколько дней после начала работ я получил сообщение, что домен с приставкой «www» был признан неглавным зеркалом этого же домена без приставки «www». Из-за этого в индексе осталась всего 51 страница из бывших 4500.
Сказать, что я офигел, ничего не сказать. Но делать нечего, пришлось и в этот раз смириться с мнением робота и убрать www из хоста в robots.txt.
Как можно предположить, интересное еще впереди. Спустя 8 дней я снова получаю сообщение, на этот раз противоположный: Яндекс снова поменял главный домен сайта на с приставкой «www», проигнорировав мои правила в robots.txt.
В индексе так и осталось немного страниц, терять было нечего, поэтому, в очередной раз охерев от Яндекса, я забил на его мнение, оставив правило Host без «www», ибо нехуй мешать русский with english.
На этот раз ждать пришлось подольше, но все же: через 12 дней очередным сообщением Яндекс мне радостно объявил о смене главного зеркала, оставив домен без приставки «www». А еще через столько же времени в индексе оказалось ~500 страниц сайта. Но что печально, после всех манипуляций эта цифра не сильно изменилась. За несколько месяцев в индекс вернулось только 630 страниц из бывших 4500.
Так я впервые столкнулся к глюками робота Яндекса. Понятное дело, что моей вины в этом нет, т.к. делал я все по правилам, к тому же подстраиваясь под текущее состояние дел.
Дальше интересней.
Яндекс: «Глючим и не признаем»
Осенью, как и положено, начали желтеть листья, температура стремиться к нулю, а небо стабильно поливать землю дождем. #ТленностьБытия. Яндекс не отставал от погоды, и 20 сентября в Я.Вебмастере рядом с количеством страниц нашего сайта-мученика я увидел желтенький алерт: «[такого-то числа] наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.»
«Глюк», — подумал Сережа, но на всякий случай все проверил. Через предложенную Яндексом форму выяснилось, что robots.txt настроен корректно. Проверка физического файла также не показала аномалий с момента моего последнего посещения. Сайт отдавал «200 OK», падений сервера никогда не было. Понадеявшись на обнадеживающую надпись «Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней», я оставил дело разбираться самому.
Угадайте, что было дальше? Верно! Через 5 дней в очередной ап выдачи сайт выкинуло к хуям из индекса! А Яндекс как бы издевается обновленным сообщением: «В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз».
В срочном порядке я пишу Платонам описание этой проблемы, а также до кучи расписываю летние глюки с зеркалом. Прикрепляю скрин сообщений из Я.Вебмастера с подчеркиванием всех сообщений и их дат. В ответ получаю от Яндекса вкратце такое: «Запрет в robots.txt был, ничего не знаем. Если не вы вносили изменения, значит админ сервака. Зеркала менялись по вашей вине, отсебятины не придумываем.»
Полный ответ службы поддержки Яндекса. Кликабельно
Понятное дело, что с саппортом сложно спорить, они верят своим роботам больше, чем юзерам. Но оставить я это не мог. Пишу ответку, мол, фига с два, файл последний раз менялся до возникших проблем, прикрепляю пруфскрин с датой файла на сервере.
Мое ответное письмо на реакцию саппорта Яндекс. Кликабельно
Платон мне говорит, чтобы я шел куда подальше, а именно — к админам сервака. Отвечаю ему, что я и есть администратор сервера и доступа к нему больше ни у кого нет. Ну стопроцентная ошибка робота.
И что же нам ответила на это письмо служба технической поддержки Яндекса?
«Отъебись!»
Последний ответ Платона Щукина по делу. Кликабельно
Занавес…
Стоит заметить, что ближайшим после вылета сайта апом страницы сайта снова вернулись в результаты поиска. Но, блин, целых 5 дней сайт куковал без посетителей из Яндекса! А это сотня посетителей и несколько заказов! К тому же, судя по ситуации и переписке, никто не застрахован от подобных проблем и в будущем.
