Новое начало или тотальный копипаст ч.2
 

На сохранение 1 000 000 страниц. с различных сайтов требуется около 20 Gb жесткого пространства. Подсчет не точный.

Вот подумалось, а как лучше пройтись по всему рунету?

Задумался я тут надысь над созданием своего поисковика. Так как для меня такая задача не совсем тривиальная, то решил посоветоваться.
Как его можно организовать?

Первое что пришло в голову это подсчитать требуемое место для контента страниц.

Второе база, есть ли смысл использовать mysql или искать что-то другое?

В каком порядке обходить сайты?

первое что пришло в голову последовательный перебор.

Как сложить все в базу я понимаю, а вот как организовать потом быстрый поиск не до конца. Если брать mysql то в одну таблицу все не влезет, да и поиск по ней будет утопией.

Если есть у кого какие мысли, поделитесь?

разумеется нет.
SQL-базы хороши до тех пор, пока вам не надо их расширять более чем на один сервер, из-за высокой нагрузки.
с добавлением новых серверов, служебный траффик между ними значительно растет, и достаточно быстро превысит какие-либо разумные рамки.
google к примеру использует свою собственную не-SQL базу.
благодаря этому они могут держать сотни тысяч серверов в одном дата-центре.
в качестве альтернативы SQL обычно приводятся key-value базы.
они практически безболезнено могут быть расширены до кластера из любого количества серверов.
PS а вообще, идею нахожу бредовой. Это слишком науко- и финансово- емкий проект, чтобы на голом энтузиазме что-нибудь стоящее сделать.я уж не говорю о конкуренции.

Клепать "одинаковые" проекты или сидеть и плевать в потолок скучно. Наука меня не смущает, а финансы они не всегда нужны огромные. Главное начать, а там посмотрим ;)

вот именно!!!
чем ваш поисковик будет отличатся от остальных?
почему кому-то будет более интересно пользоваться именно вашим поисковиком?
рынок поисковиков, ИМХО вполне достаточно заполнен.
для чего вы это затеваете?
если вы хотите просто научится чему-то новому, и вас не смущает необходимость каждый месяц платить из своего кармана за выделенный сервер, то тогда все ок.
если же вы хотите сделать серьезный проект, которым бы пользовалось достаточно большое количество людей, и зарабатывать на этом, то вам придется в это дело вложить немало денег. в частности на рекламу. и в таком случае рекомендую снять розовые очки,и трезво глянуть на ситуацию

Я всегда с удовольствием учусь чему-то новому и я готов тратить на это деньги, если они конечно есть :)

Gozar, положа руку на сердце: Вы будете пользоватся своим поисковиком? Я точно не буду :) Есть гугл, в качестве поискового средства он меня совершенно устраивает, и переходить на что-то иное... а зачем? Существуют всяческие meta.ua, search.qip.ru, ну и что? Кто ими пользуется?

А вот меня он не всегда устраивает. Я уже намекал что не собираюсь вытеснять гугл с российского рынка. И вопрос меня интересует познавательный и я не призываю всех свои поисковики клепать.

Меня интересует как мой вопрос можно решить. Я хочу в нём разобраться.

Начните с изучения лингвистики.

+1
советую для начала пройтись по top-100k алексы, и выбрать оттуда русский сектор
во всяком случае, это будет наиболее полезно
естественно, что весь рунет для вас будет неподъемной ношей

Kolyaj,
Спасибо за совет. Думаю он мне пригодится.

Ну, с квипом понятно -- не все снимают чекбокс в инсталляторе, и потом не знают, где убрать. :) А вот кто пользуется метой -- интересно...

e1f,
Меня альтернатива никогда не смущает, меня смущает её отсутствие.

сделай лучше паука, умеющего индексировать аяксовые сайты ;-)

уже ;-)

дык показывай! *о*

С какого это вдруг? о_О

показать хочешь мне потому что ты

Gozar,
я бы советовал Вам обратить внимание на проект Dublin Core. Это стандарт метаданных, который, вроде как, рассчитан на то, чтобы вернуть тегу <meta> его изначальный смысл — помогать в исполнении дьявольского плана Тима Бернерса Ли построить семантическую паутину.

Сайтов с такими метаданными очень немного, а индексирующие это краулеры мне лично неизвестны.

Работал я больше года программистом одной такой базы (MSM). Для поиска самое оно. И очень гибкие, правда из недостатков - все надо ручками, ничего наподобие SQL нет. Если интересно "из прошлого знания" существует для таких целей СУБД - GTM. На русском инфы вряд ли найти. Но зато мне говорили, что показывает просто чудеса скорости.
В кратце - называются базы "иерархическими": данные хранятся также как и в разреженных массивах php, отличие - в узел можно записать и значение и поддерево.

С такими взглядами рынок никогда не будет развиваться:)

PS Сейчас я принимаю участие в разработке новой социальной сети:D

первые два моих вопроса, как раз главные факторы развития рынка.
для того чтобы рынок развивался, конкурирующие продукты должны иметь какую-то изюминку, отличие от других. что-то что привлечет покупателя
а последний тезис, является лишь моим личным взглядом на конкретный сектор рынка

У него есть парсер AJAX-сайтов:)

а у меня есть философский камень :yes:

У меня философских камней нет, хотя есть фиолетовый. Когда на него смотрю, какая-то мысль проскакивает, но не уверен что философская. Если бы я не знал точно что бывают солнечные затмения, то наверное принял бы за психа того, кто сказал бы мне что луна может закрыть солнце днем.

Gozar, прекращай смотреть на фиолетовый камень;)

А у меня нет фиолетового камня. Но зато есть визуальные новеллы. И я на них смотрю. И, вот, когда я на них не смотрю, у меня проскакивает мысль, что надо бы что-нибудь сделать для этого мира эдакое полезное и гуманистическое. А когда смотрю — не проскакивает.

Главное чтобы не проскакивало в неподходящий момент. ;)