Comments on: Как выкинуть страницы из индекса? Требуется помощь зала. http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/ Поисковая оптимизация как путь к светлому капиталистическому будущему Sun, 28 Nov 2010 08:24:17 +0000 hourly 1 http://wordpress.org/?v=3.2 By: H01mes http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174460 H01mes Wed, 03 Mar 2010 19:39:22 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174460 У яндекса на сколько знаю есть только это и то с группами урлов не дружит удилить 100к страниц это самоубийство, или как вариант через распознавалку капчи както реализовывать http://webmaster.yandex.ru/delurl.xml У яндекса на сколько знаю есть только это и то с группами урлов не дружит удилить 100к страниц это самоубийство, или как вариант через распознавалку капчи както реализовывать
http://webmaster.yandex.ru/delurl.xml

]]> By: Кузбасса http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174399 Кузбасса Tue, 23 Feb 2010 02:48:01 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174399 Нужная инфа. Нужная инфа.

]]> By: христофор банифатич http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174390 христофор банифатич Sat, 20 Feb 2010 21:20:46 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174390 у тебя при клике на старых ссылках www.arvuti24.ee/viewtopic.php?p=........ редиректится на главную, может быть по этому они и не удаляются. я думаю надо просто убрать редирект чтобы гуглбот получил ошибку 404 Not Found и со временем само все удалится с индекса. у тебя при клике на старых ссылках http://www.arvuti24.ee/viewtopic.php?p=…….. редиректится на главную, может быть по этому они и не удаляются. я думаю надо просто убрать редирект чтобы гуглбот получил ошибку 404 Not Found и со временем само все удалится с индекса.

]]> By: христофор банифатич http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174389 христофор банифатич Sat, 20 Feb 2010 21:03:47 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174389 из гугл хелпа: Компания Google регулярно обновляет свой индекс полностью. При сканировании Интернета наша система автоматически обнаруживает новые страницы, удаляет устаревшие ссылки и изменяет данные обновленных существующих страниц, что делает индекс Google максимально свежим и точным. Если в результатах поиска появляются устаревшие ссылки вашего сайта, убедитесь, что в заголовке страниц возвращается статус 404 (страница не найдена) или 410 (страница удалена). Эти коды статуса извещают робот Googlebot о том, что запрошенный URL-адрес недействителен. Некоторые серверы ошибочно возвращают для несуществующих страниц статус 200 (успешно), из-за чего робот Googlebot индексирует данные URL как действительные. Если при обращении к странице в http-заголовках возвращается ошибка 404, удалить эту страницу из индекса Google может кто угодно. Это позволяет сделать инструмент для создания заявки на удаление веб-страницы. Устаревшие страницы, не возвращающие ошибку 404, обычно исчезают из нашего индекса естественным образом, когда другие страницы перестают на них ссылаться. из гугл хелпа:
Компания Google регулярно обновляет свой индекс полностью. При сканировании Интернета наша система автоматически обнаруживает новые страницы, удаляет устаревшие ссылки и изменяет данные обновленных существующих страниц, что делает индекс Google максимально свежим и точным.

Если в результатах поиска появляются устаревшие ссылки вашего сайта, убедитесь, что в заголовке страниц возвращается статус 404 (страница не найдена) или 410 (страница удалена). Эти коды статуса извещают робот Googlebot о том, что запрошенный URL-адрес недействителен. Некоторые серверы ошибочно возвращают для несуществующих страниц статус 200 (успешно), из-за чего робот Googlebot индексирует данные URL как действительные. Если при обращении к странице в http-заголовках возвращается ошибка 404, удалить эту страницу из индекса Google может кто угодно. Это позволяет сделать инструмент для создания заявки на удаление веб-страницы. Устаревшие страницы, не возвращающие ошибку 404, обычно исчезают из нашего индекса естественным образом, когда другие страницы перестают на них ссылаться.

]]> By: Alex http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174378 Alex Thu, 18 Feb 2010 07:34:02 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174378 Алекс прав. Давно заметил, что гугл и компания забивают на правила, прописанные в robots.txt, хотя в долгосрочном периоде они все таки работает. Сам недавно столкнулся с аналогичной задачей. Решил все из google.com/webmasters/tool/ Алекс прав. Давно заметил, что гугл и компания забивают на правила, прописанные в robots.txt, хотя в долгосрочном периоде они все таки работает. Сам недавно столкнулся с аналогичной задачей. Решил все из google.com/webmasters/tool/

]]> By: Ippi http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174377 Ippi Wed, 17 Feb 2010 23:26:56 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174377 Я там на searchengines.ru в форуме ответил, продублирую вкратце и тут: - блокировку в robots.txt нужно убрать; - на запросы несуществующих страниц возвращать 410 (или через mod_alias (Redirect), или через mod_rewrite (RewriteCond/RewriteRule)); - в существующих страницах, которые не нужно индексировать, оставить meta noindex. Я там на searchengines.ru в форуме ответил, продублирую вкратце и тут:

- блокировку в robots.txt нужно убрать;
- на запросы несуществующих страниц возвращать 410 (или через mod_alias (Redirect), или через mod_rewrite (RewriteCond/RewriteRule));
- в существующих страницах, которые не нужно индексировать, оставить meta noindex.

]]> By: kass http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174376 kass Wed, 17 Feb 2010 21:58:48 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174376 в том то и фикус, что через валидатор он пишет что запрещен к индексации. А с шаблонами удалялся не дружит. Тут мне на серче предложили удалять все по одному урлу :) Можно конечно написать робота, благо дел там на 5 минут с зенно. Но жесть какая то, удалять по одному 300к урлов :) в том то и фикус, что через валидатор он пишет что запрещен к индексации.

А с шаблонами удалялся не дружит. Тут мне на серче предложили удалять все по одному урлу :) Можно конечно написать робота, благо дел там на 5 минут с зенно. Но жесть какая то, удалять по одному 300к урлов :)

]]> By: Alex http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174375 Alex Wed, 17 Feb 2010 21:37:19 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174375 В гугле для вебмастеров есть форма для удаления УРЛов. Правда, не знаю, дружит ли она с шаблонами УРЛов... Почему индексуруются фильтры непонятно, прогони robots.txt через валидатор, может там что-то не то. В самом гугле есть форма для проверки ссылок по robots.txt, попробуй там прогнать некоторые, может гугль каких-то строк не воспринимает... В гугле для вебмастеров есть форма для удаления УРЛов. Правда, не знаю, дружит ли она с шаблонами УРЛов…
Почему индексуруются фильтры непонятно, прогони robots.txt через валидатор, может там что-то не то. В самом гугле есть форма для проверки ссылок по robots.txt, попробуй там прогнать некоторые, может гугль каких-то строк не воспринимает…

]]> By: Grut http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174365 Grut Tue, 16 Feb 2010 22:19:25 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174365 Таки да, нестандартная ситуация. Как правило, роботс.тхт всегда хорошо делал свое дело. Тоже подписываюсь, чтоб узнать рецепт... Таки да, нестандартная ситуация. Как правило, роботс.тхт всегда хорошо делал свое дело. Тоже подписываюсь, чтоб узнать рецепт…

]]> By: DimaX http://www.kass.ws/2010/02/16/kak-vykinut-stranicy-iz-indeksa-treb/comment-page-1/#comment-174363 DimaX Tue, 16 Feb 2010 17:11:23 +0000 http://www.kass.ws/2010/02/16/%d0%ba%d0%b0%d0%ba-%d0%b2%d1%8b%d0%ba%d0%b8%d0%bd%d1%83%d1%82%d1%8c-%d1%81%d1%82%d1%80%d0%b0%d0%bd%d0%b8%d1%86%d1%8b-%d0%b8%d0%b7-%d0%b8%d0%bd%d0%b4%d0%b5%d0%ba%d1%81%d0%b0-%d1%82%d1%80%d0%b5%d0%b1/#comment-174363 Подпишусь на комменты, чтоб узнать, если чего дельного напишут :) Не то, чтобы сильно, но надо для некоторых сайтов удалить левое, запрета в роботсе ему явно мало. Подпишусь на комменты, чтоб узнать, если чего дельного напишут :) Не то, чтобы сильно, но надо для некоторых сайтов удалить левое, запрета в роботсе ему явно мало.

]]>