Сервисы и трюки, с которыми найдётся ВСЁ.
Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.
Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.
Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.
1. Кэш Google, который всё помнит
Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кеша Google надо в адресной строке набрать:
http://webcache.googleusercontent.com/search?q=cache:http://www.iphones.ru/
Где http://www.iphones.ru/ надо заменить на адрес искомого сайта.
2. Web-archive, в котором вся история интернета
6. Archive.is, для собственного кэша
Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.
7. Кэши других поисковиков, мало ли
Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com , перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).
8. Кэш браузера, когда ничего не помогает
Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:
Safari
Ищем файлы в папке ~/Library/Caches/Safari .
Google Chrome
В адресной строке набираем chrome://cache
Opera
В адресной строке набираем opera://cache
Mozilla Firefox
Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.
Что делать, если вообще ничего не помогло
Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на
Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Всем привет дорогие друзья! Недавно, неделю назад, я столкнулся с такой проблемой, на одном сайте, что у меня выпали все страницы из индекса поисковый системы Яндекс. Если честно, я подумал что был наложен какой-то , хотя до этого момента, все страницы попали в индекс очень быстро и сидели там 1,5 месяца отлично.
За эти полтора месяца я только и писал статьи, а больше ничего противозаконного не делал. Поэтому мне было обидно, что так со мной поступил Яндекс. Естественно, что я не хотел это все дело оставлять и как можно быстрее вернуть страницы в индекс. Я проверил свой сайт на сервисе и выявил, что мне там пишет: Отсутствует сохраненная копия в Яндексе!
Если честно, то я не понял ничего, почему копия сайта там отсутствует. Я начал искать проблему и наткнулся на один сайт, где у него была похожая проблема, то есть, тоже отсутствовала сохраненная копия сайта в поисковой системе Яндекс. Но у него страницы из-за этого не выпали, а просто просели позиции.
Я все равно надеялся, что при помощи его сайта решу проблему. Оказывается, у него отсутствовала копия в Яндексе из-за того, что на его страницах сайта присутствовал тег noarchive , который был автоматически включен при использовании плагина WordPress – Robots Meta. В настройках этого плагина была включена опция запрета делать копию в поисковых системах, то есть, прописывался тег для страниц – noarchive .
На моем сайте не был установлен данный плагин, но я все равно проверил все страницы на наличие данного тега, причем не только страницы, но и файл robots.txt. В итоге я так ничего и не нашел. То есть, данный вариант для меня отпадал, на моем ресурсе не присутствовало такого тега.
Мне ничего не оставалось, как обратиться в службу технической поддержки поисковой системы Яндекс и выяснить причину (см. как ):
В вебмастере Яндекса, для сайта ********** отображается, что в индексе 57 страниц, а на самом деле 1 страница. На сервисе xtool проверяю его и мне выдает сообщение: Отсутствует сохранённая копия в Яндексе!
Я проверил свой сайт на наличие тега noarchive и нигде его не было. Скажите, почему сайт 49 дней был полностью в индексе, а сейчас только одна главная страница сайта?
Через 1 сутки мне пришел ответ от Яндекса:
В настоящее время невозможно выяснить, что спровоцировало исключение страниц Вашего сайта, так как подобная информация не хранится. В ближайшее время Ваш сайт должен начать индексироваться и затем сможет появиться в поиске. Скорее всего, это произойдет в течение двух недель. Пожалуйста, дождитесь окончания указанного срока.
То есть, у меня еще была надежда на то, что мой сайт будет проиндексирован нормально, что это какое-то недоразумение и страницы выпали из-за какой-то ошибки, ведь надежда умирает последней.
В итоге, весь следующий день я наблюдал, как мой сайт «штормило», то есть, то в индексе была 1 страница, то 8, то 57 и так каждый день, цифры менялись. Но сегодня произошел апдейт и сейчас страницы все снова в индексе, чему я очень рад. Так что, если у Вас возникла такая проблема, то причины могут быть следующими:
- На сайте присутсвует тег noarchive
- Тег noarchive прописан в robots.txt
- Временные проблемы с сервисами или поисковыми системами
В общем, если у Вас возникла такая ситуация, то не стоит сразу паниковать, посмотрите все возможные причины, сделайте те моменты, которые проделал я, а затем уже делайте выводы. Удачи Вам дорогие друзья и до новых встреч!
Что значит «Отсутствует сохранённая копия в Яндексе!» и как это влияет на сайт в целом. Во-первых, если вы продаете ссылки со своего сайта, то отсутствие страниц в кэше Яндекса негативно отразится на доходе веб-мастера.
Например, в Сеопульте есть параметр, контролирующий наличие страницы в кэше поисковой системы.
Называется он nic (no index cache) - это означает что у страницы нет «сохраненной копии».
На сегодняшний день в Сеопульте проверяется индекс Яндекса. В перспективе планируют добавить и проверку в Гугле.
Вот как это выглядит на графике. Долгое время траст был равен девяти, но потом резкое падение.
Я стал искать причину отсутствия сохраненной копии сайта в поисковом индексе. И даже написал в службу поддержки TrustLink.
Добрый день. Скажите, пожалуйста с чем может быть связано падение траста у моего блога. Параметр XT за последние два апа Яндекса снизился с 9 до 7. Одновременно и снизился доход в Трастлинк.
Здравствуйте! Этот показатель не является официальным представлением Яндекса, потому причины его паденя нам не известны
То есть уменьшение количества расставленых ссылок сеопультом с этим не связано. А по какой причине наблюдается уменьшение дохода?
При проверке часть страниц, на которых были куплены ссылки, отсутствовала в кэше Яндекса. Ссылки были сняты, потому просел доход.
А не подскажите почему страницы отсутствуют в кэше Яндекса? В индексе есть, а в кэше нет? Как-то можно повлиять на то, чтобы они оказались в кэше?
Это уже вопрос к техподдержке Яндекса, часто апдейт кэша происходит немного позже апдейта выдачи/индекса, отсюда выходит такая проблема
Да, именно так. Для достижения максимальной эффективности ссылки необходимо наличие страницы в кэше.
Потом я задал вопрос в техподдержку Яндекса.
Добрый день.
Сейчас отсутствует сохранённая копия в Яндексе. Подскажите, пожалуйста в чем причина. Блог работает на Вордпрессе.
Кроме того мой блог имел траст xt = 9. За последние два апдейта траст упал до 7. Я стараюсь улучшать свой блог, а тут два таких негативных момента. С чем это может быть связано и как можно исправить ситуацию?
Адрес сайта: //www.сайт
С уважением, Илья.
И продолжал искать причину.
Статья по теме: Из чего складывается скорость загрузки сайта и как ее можно изменить
Оказывется, после обновления плагинов, флажок напротив значения noarchive был включен. В результате чего на каждой странице моего блога появилась строка, запрещающая кэширование страницы. Возможно по этой причине я потерял две единицы траста.
Убрав этот тег, выключив флажок в плагине Robots Meta , я убедился в его отсутвии на страницах своего блога.
Add noarchive meta tag
Prevents archive.org and Google from putting copies of your pages into their archive/cache.to put copies of your pages into their archive/cache.
Будьте внимательны при настройке плагина Robots Meta для Вордпресс!
Узнав о наличии тега, запрещающега кэширование, я написал в суппорт Трастлинка.
Здоравствуйте. Я уже выяснил причину падения траста и отсутствия копии блога в кэше Яндекса. Видимо при обновлении плагинов Вордпресса на страницах присутствовал тег noarchive. Обнаружив это я немедленно убрав его и сегодня уже траст опять стал 9, поднявшись сразу на 2 единицы Зря оптимизаторы поснимали свои ссылочки.
Здравствуйте! Ожидайте восстановление закупки в ближайшее время.
И тут мне приходит ответ из службы поддержки Яндекса.
Здравствуйте!
Дело в том, что на момент последней индексации страниц, в их коде содержался мета-тег noarchive. Это явный запрет на показ сохраненной копии в результатах поиска. Сейчас тег убран, но сохраненная копия не появится пока робот не обновит документы в нашей поисковой базе.
В некоторых случаях, робот может посчитать изменения внесенные на странице незначительными, например, если текст на странице практически не поменялся или изменения касаются только html-разметки. Такие документы не обновляются в нашей поисковой базе, так как внесенные изменения на поиск никак не влияют.
С уважением, Платон Щукин
Служба поддержки Яндекса
//help.yandex.ru/
На следующий день я опять проверил свой блог в сервисе //xtool.ru/ . И о чудо! Моментальный подъем на 2 единицы!
Слово кэш можно услышать довольно часто в разных сферах ИТ, сегодня же мы будем разбираться с кэшем страниц сайта. Сам термин означает сохранение поисковыми системами копий страниц от определенного числа, как правило от последнего посещения роботом сайта. Вы можете в любой момент найти и использовать копию (кэш) страницы для своих потребностей.
Это довольно таки хорошо, что поисковики сохраняют на некоторое время страницы на своих серверах и дают нам шанс воспользоваться этим. На хранение кэшированных страниц выделяется много ресурсов и денег, но свою помощь они окупают, так как нам все равно необходимо заходить на их поисковые системы.
Для чего нужен кэш (копии) страниц
Бывают разные ситуации при работе с сайтами.
Как всегда работы у Вас много, а времени мало и внимательности на все не хватает. Бывают случаи, когда ведутся работы с сайтом, предположим изменение дизайна или мелкие правки по шаблону, тексту. И в один момент понимаете, что где-то допустили ошибку и пропал текст или исчезла часть дизайна сайта. Ну бывает такое и каждый наверное с таким имел дело.
На данный момент, бэкапов у Вас нету, у тоже и не помните как выглядело все изначально. В этом случае помочь сможет копия страницы, которую можно найти в кэше как Яндекса, так и в Гугла, посмотреть как было изначально и поправить.
Или второй случай , Вы изменили немного текст, для того, что бы повысить и хотите посмотреть обновилась страница на которой внесли изменения или нет. Проверить можно с помощью страницы, которая находится в кэше, для этого ищем данную страницу и смотрим на результат.
Так же бывает ситуация, когда сайт не доступен, по той или иной причине, а вам необходимо на него зайти. В этом случае может помочь копия страницы которую можно найти ниже перечисленными способами.
В общем я думаю, стало ясно, что пользоваться кэшем страниц нужно и полезно.
Как найти страницу в кэше Google, Yandex
Для начала давайте рассмотрим как искать в поисковой системе Google.
Способ №1.
Вы заходите на страницу поисковой системы и прописываете адрес страницы которую хотите найти и посмотреть копию. Я возьму для примера наш сайт:
Прописываем название страницы, сайта в поисковую строку, нажимаем “Enter” и видим , где отображается страница которую вы искали. Смотрим на сниппет и там де УРЛ (адрес) с права от него есть не большая стрелочка вниз, нажимаем на нее и у нас появляется пункт “Сохранённая копия”. Нажимаем на него и нас перекинет на копию страницу от определенного числа.
Способ №2.
Способ можно назвать полуавтоматическим, так как необходимо скопировать адрес, что находится ниже и вместо site.ru подставить домен своего сайта. В результате Вы получите туже самую копию страницы.
http://webcache.googleusercontent.com/search?q=cache:site.ru
Способ №3.
Можно просматривать кэш с помощью плагинов для браузеров или онлайн сервисов. Я использую для этих целей .
Здесь можно посмотреть когда последний раз заходил робот на ресурс, соответственно и копия страницы будет за это число.
Теперь рассмотрим как искать кэш в поисковой системе Яндекс.
Способ №1.
Способ такой же как и для системы Google. Заходим на страницу поисковой системы и прописываете адрес страницы которую хотите найти и посмотреть копию. Снова возьму для примера наш сайт и пропишу:
Прописываем название страницы, сайта в поисковую строку, нажимаем “Enter” и видим поисковую выдачу, где отображается страница которую вы искали. Смотрим на сниппет и там де с права от него есть не большая стрелочка вниз, нажимаем на нее и у нас появляется пункт “Сохранённая копия”. Нажимаем на него и нас перекинет на копию страницу от определенного числа.
Способ №2.
Используем дополнительные плагины для браузеров. Читайте немного выше всё так же как и для Google.
Если страница не находится в , то большая вероятность того, что ее нету и в кэше. Если страница была ранее в индексе, то возможно она сохранилась в нем.
Как очистить кэш в Yandex, Google
Бывает необходимо убрать страницу из кэша Яндекса или Гугла или вообще скрыть страницу которая ранее индексировалась и кешировалась от посторонних глаз. Для этого необходимо дождаться пока поисковая система сама выкинет данную страницу естественным путем если Вы ее предварительно удалили. Можно запретить индексировать страницу в файле или использовать тег:
Только смотрите аккуратно с тегом, не поставьте его в общий шаблон сайта ибо будет запрет на кэширование всего сайта. Для этих целей лучше всего используйте дополнительные плагины или программистов которые ранее занимались такой работой.
Теперь давайте посмотрим как средствами поисковой системы Google и Яндекс можно очистить кэш (очистить, удалить страницу).
Очистить кэш страницы в Google
Поисковая система Google к этому вопросу подошла с правильной стороны и создала такой инструмент как «Удалить URL-адреса » в Webmaster Tools. Что бы им воспользоваться необходимо зайти в инструменты вебмастера по адресу:
www.google.com/webmasters/
Очистить кэш страницы в Google Webmaster Для того, что бы очистить кеш или удалить полностью страницу (а так же можно сразу удалить и очистить кэш вместе), необходимо нажать на кнопку «Временно скрыть » и ввести url адрес страницы которую необходимо очистить и нажать кнопку «Продолжить «.
Теперь в данном окне при нажатии на список «Тип запроса » можно увидеть несколько способов удаления и очистки как страницы с индекса гугла так и очистки кєша.
- Если Вам необходимо полностью удалить страницу и cache, то используем первый способ.
- Если необходимо просто очистить его, то используем второй способ. Как правило для нашего примера нужно использовать именно его. Страница остается в индексе, но кэш удаляется и при следующем приходе робота, она снова появится там.
- Если необходимо временно скрыть, то используем третий способ. Используется в том случае когда не успевают наполнятся страницы качественным контентом. В данном случае скрыть ее на некоторое время будет лучше.
Как только выбираете один из способов, в данном случае 2й, нажимаем на кнопку «Отправить запрос «.
После нажатия получаем страницу, где можно увидеть, что данная страница добавлена на удаление из кэша и находится в статуже «Ожидание «. Теперь остается только ждать. Как правило данная процедура занимает от нескольких минут до нескольких часов.
Если Вы не правильно указали страницу и хотите сделать отмену, то можно нажать на кнопку «Отмена «.
После того как вы через некоторое время зайдете в инструмент «Удалить URL-адреса», можно будет увидеть статус «Выполнено». Это означает, что робот Гугл зашел на страницу и очистил ее историю.
Очистить (удалить) страницу в Yandex
У поисковой системы Яндекс есть похожий инструмент в инструментах для вебмастеров, но здесь есть одно «НО». Очистки кэша как такового нету, можно целиком удалить страницу из индекса ПС и при этом удалится вся ее история.
Для того, что бы воспользоваться данным инструментом необходимо зайти в Yandex webmaster по ссылке:
webmaster.yandex.ua/delurl.xml
и в строку ввести необходимый урл.
Поисковая система исключит данный адрес через некоторое время «АП». Как правило у Яндекса на это уходит пару ней, поэтому необходимо будет подождать.
Если у Вас есть вопросы задавайте их в комментариях, мы всегда на связи!
Загрузка...
