Открыв утром газету RSS-читалку увидел пестрые заголовки сообщений вроде : “Google забанил Dmoz”. Как то стало не по себе, конечно понятна борьба Google с каталогами, но ведь не так давно поисковик импортировал к себе свежие данные из Dmoz. И так, что же произошло на самом деле.
Поводом ко всем слухам послужило удаление из кеша Google главной страницы сайта, по запросу dmoz главной страницы также не было найдено в индексе. Пришлось пойти и почитать буржуйские сайты, и закрытый форум редакторов dmoz.org (редактором которого я сам являюсь). В англоязычной среде данная новость как оказалось была более бурно подхвачена к обсуждению, чему способствовал преведущий скандал раздутый известным блогером Shoemoney. Если в кратце то месяц владелец блога получил письмо от некоего человека представившегося редактором каталога Dmoz, в письмо содержалась просьба оплатить $5k, в противном случаем блог будет удален из каталога. Shoemoney угрозу проигнорировал, и через несколько дней его блог действительно пропал из каталога. Чем сей скандал закончился я сказать не могу, но в ту категорию из которой блог был удален, он так и не вернулся. Все это дало пищу для спекуляций на тему, что DMOZ насквозь корумпированная система, и ссылки уже чуть ли не на каждом углу продаются и поэтому его и забанили.
В действительности же этому есть другое объяснение. ODP (open directory project) запущен на нескольких десятках серверов использующих squid cache system, что в свою очередь не позволяет сделать простой domain canonicalization. То есть выбрать один URL с домена как основную версию домена, подробнее почитать об этом можно тут.
Несколько лет назад, каталог был доступен по dmoz.com, dmoz.org, www.dmoz.com, www.dmoz.org как разные зеркала. До кучи у Google присутствовала так же пресловутая “302 hijack problem” и по запросу site:dmoz.com отдавались десятки миллионов страниц, большинство из которых вообще не имели отношения к ODP. Google это дело все пофиксил и в данный момент site:dmoz.com имеет выдачу в несколько десятков тысяч страниц.
В ходе последнего апгрейда железа, руководство ODP решило наконец то навести порядок и определится какая из версий сайта будет основной. На версии без www был проставлен 301 редирект, это было сделано в последних числах августа. Поисковику пришлось сделать полный пересчет значений для всех страниц (многие страницы с www имели отличный PR , чем без www) и заново раздать вес 5 миллионам ссылок.
И то, что мы наблюдаем и есть тот момент когда даже такому монстру как Google оказалось не так просто переварить столько данных без сучка и задоринки. В итоге пока идет полная переиндексация ODP, индексная страница вообще выпала из google, но несомненно туда вернется. Это мое видиние ситуации, если у вас есть мысли по этому поводу приглашаюв комменты.
Хм. может и не в тему, но какой прок от участия в администрировании разделов? Другими словами, почему ты редактор dmoz? Смотрю, многие в этом деле участвуют…
А с каких пор Гугля не кушает инфу с дмоза? какой тогда в нем прок вообще? говорят за 300 долларов можно редактора подкупить, совсем опустился дмоз.
Renoir – скорее как социальная нагрузка, ведь пишут же люди Linux некоммерческий, вот так и тут.
Марцис, имортирует Google себе в каталог данные Dmoz. Вот последний раз в августе это было. А говорят, да много чего говорят
Спасибо, а то я уж было подумал, что редактора и вправду какие материальные ценности получают…
ну вот вы kass как редактор dmoz скажите, я вот взялся сайтец двигать в dmoz пытался я всунуть несколько раз чет мне не дается это никак, впринципе все двигается замечательно и без него, но ни один из моих сайтов так в dmoz и не попал, мож я туплю канешна, может все же некую комерческую основу можно б было и сделать чтоб редактора ускорить, а вообще для меня dmoz пока загадка, но все же б хотелось чтоб сайт там был. Как человек который имеет непосредственное к каталогу этому загадочному отношение напишите статью по dmoz, что это такое и с чем его едят и какая концепция у сайта должна быть чтоб редакторы его как то воспринимали.
сорри за офтоп.
Kiev, ок возму на заметку.
[...] Возвращаясь к теме прошлого поста о Dmoz, в коментах, меня как редактора этого каталога, попросили дать советы как же туда попасть. [...]
А насколько реально стать редактором dmoz?
А сколько времени нужно чтобы сайт появился в каталоге? Я уже месяц назад как подавал и тишина… Kass ты можешь быстро сайт поставить в каталог? )
>Как человек который имеет непосредственное к каталогу этому
> загадочному отношение напишите статью по dmoz
Я то-то не обнаружил в списках dmoz (http://www.dmoz.org/edoc/editall.html) имя “kass”. Может афтар блога и не имеет непосредственного отношения к этому каталогу?
вообще то я ниже не писал о том что у меня там ник такой же, эт раз.
и список что тут приведен по сылке это катмоды, а не простые редактора.