Javascript.RU

Создать новую тему Ответ
 
Опции темы Искать в теме
  #1 (permalink)  
Старый 18.03.2010, 09:54
Аватар для Gozar
Отправить личное сообщение для Gozar Посмотреть профиль Найти все сообщения от Gozar
 
Регистрация: 07.06.2007
Сообщений: 7,504

Новое начало или тотальный копипаст ч.2
На сохранение 1 000 000 страниц. с различных сайтов требуется около 20 Gb жесткого пространства. Подсчет не точный.

Вот подумалось, а как лучше пройтись по всему рунету?

Задумался я тут надысь над созданием своего поисковика. Так как для меня такая задача не совсем тривиальная, то решил посоветоваться.
Как его можно организовать?

Первое что пришло в голову это подсчитать требуемое место для контента страниц.

Второе база, есть ли смысл использовать mysql или искать что-то другое?

В каком порядке обходить сайты?

первое что пришло в голову последовательный перебор.

Как сложить все в базу я понимаю, а вот как организовать потом быстрый поиск не до конца. Если брать mysql то в одну таблицу все не влезет, да и поиск по ней будет утопией.

Если есть у кого какие мысли, поделитесь?
Ответить с цитированием
  #2 (permalink)  
Старый 18.03.2010, 11:09
Аватар для Gvozd
Матрос
Отправить личное сообщение для Gvozd Посмотреть профиль Найти все сообщения от Gvozd
 
Регистрация: 04.04.2008
Сообщений: 6,246

Сообщение от Gozar
Второе база, есть ли смысл использовать mysql или искать что-то другое?
разумеется нет.
SQL-базы хороши до тех пор, пока вам не надо их расширять более чем на один сервер, из-за высокой нагрузки.
с добавлением новых серверов, служебный траффик между ними значительно растет, и достаточно быстро превысит какие-либо разумные рамки.
google к примеру использует свою собственную не-SQL базу.
благодаря этому они могут держать сотни тысяч серверов в одном дата-центре.
в качестве альтернативы SQL обычно приводятся key-value базы.
они практически безболезнено могут быть расширены до кластера из любого количества серверов.
PS а вообще, идею нахожу бредовой. Это слишком науко- и финансово- емкий проект, чтобы на голом энтузиазме что-нибудь стоящее сделать.я уж не говорю о конкуренции.
Ответить с цитированием
  #3 (permalink)  
Старый 18.03.2010, 11:28
Аватар для Gozar
Отправить личное сообщение для Gozar Посмотреть профиль Найти все сообщения от Gozar
 
Регистрация: 07.06.2007
Сообщений: 7,504

Сообщение от Gvozd Посмотреть сообщение
Это слишком науко- и финансово- емкий проект, чтобы на голом энтузиазме что-нибудь стоящее сделать.
Клепать "одинаковые" проекты или сидеть и плевать в потолок скучно. Наука меня не смущает, а финансы они не всегда нужны огромные. Главное начать, а там посмотрим
Ответить с цитированием
  #4 (permalink)  
Старый 18.03.2010, 11:40
Аватар для Gvozd
Матрос
Отправить личное сообщение для Gvozd Посмотреть профиль Найти все сообщения от Gvozd
 
Регистрация: 04.04.2008
Сообщений: 6,246

Сообщение от Gozar
Клепать "одинаковые" проекты
вот именно!!!
чем ваш поисковик будет отличатся от остальных?
почему кому-то будет более интересно пользоваться именно вашим поисковиком?
рынок поисковиков, ИМХО вполне достаточно заполнен.
Сообщение от Gozar
а финансы они не всегда нужны огромные
для чего вы это затеваете?
если вы хотите просто научится чему-то новому, и вас не смущает необходимость каждый месяц платить из своего кармана за выделенный сервер, то тогда все ок.
если же вы хотите сделать серьезный проект, которым бы пользовалось достаточно большое количество людей, и зарабатывать на этом, то вам придется в это дело вложить немало денег. в частности на рекламу. и в таком случае рекомендую снять розовые очки,и трезво глянуть на ситуацию
Ответить с цитированием
  #5 (permalink)  
Старый 18.03.2010, 11:52
Аватар для Gozar
Отправить личное сообщение для Gozar Посмотреть профиль Найти все сообщения от Gozar
 
Регистрация: 07.06.2007
Сообщений: 7,504

Я всегда с удовольствием учусь чему-то новому и я готов тратить на это деньги, если они конечно есть
Ответить с цитированием
  #6 (permalink)  
Старый 18.03.2010, 12:08
Аватар для e1f
e1f e1f вне форума
Профессор
Отправить личное сообщение для e1f Посмотреть профиль Найти все сообщения от e1f
 
Регистрация: 03.04.2009
Сообщений: 1,263

Gozar, положа руку на сердце: Вы будете пользоватся своим поисковиком? Я точно не буду Есть гугл, в качестве поискового средства он меня совершенно устраивает, и переходить на что-то иное... а зачем? Существуют всяческие meta.ua, search.qip.ru, ну и что? Кто ими пользуется?
Ответить с цитированием
  #7 (permalink)  
Старый 18.03.2010, 12:19
Аватар для Gozar
Отправить личное сообщение для Gozar Посмотреть профиль Найти все сообщения от Gozar
 
Регистрация: 07.06.2007
Сообщений: 7,504

Сообщение от e1f Посмотреть сообщение
Есть гугл, в качестве поискового средства он меня совершенно устраивает
А вот меня он не всегда устраивает. Я уже намекал что не собираюсь вытеснять гугл с российского рынка. И вопрос меня интересует познавательный и я не призываю всех свои поисковики клепать.

Меня интересует как мой вопрос можно решить. Я хочу в нём разобраться.
Ответить с цитированием
  #8 (permalink)  
Старый 18.03.2010, 12:20
Новичок на форуме
Отправить личное сообщение для Kolyaj Посмотреть профиль Найти все сообщения от Kolyaj
 
Регистрация: 19.02.2008
Сообщений: 9,177

Сообщение от e1f
Существуют всяческие meta.ua, search.qip.ru, ну и что? Кто ими пользуется?
http://www.liveinternet.ru/stat/ru/s...=searches.html
Ответить с цитированием
  #9 (permalink)  
Старый 18.03.2010, 12:21
Новичок на форуме
Отправить личное сообщение для Kolyaj Посмотреть профиль Найти все сообщения от Kolyaj
 
Регистрация: 19.02.2008
Сообщений: 9,177

Сообщение от Gozar
Меня интересует как мой вопрос можно решить.
Начните с изучения лингвистики.
Ответить с цитированием
  #10 (permalink)  
Старый 18.03.2010, 12:29
Аватар для Gvozd
Матрос
Отправить личное сообщение для Gvozd Посмотреть профиль Найти все сообщения от Gvozd
 
Регистрация: 04.04.2008
Сообщений: 6,246

Сообщение от Kolyaj
Начните с изучения лингвистики.
+1
Сообщение от Gozar
Вот подумалось, а как лучше пройтись по всему рунету?
советую для начала пройтись по top-100k алексы, и выбрать оттуда русский сектор
во всяком случае, это будет наиболее полезно
естественно, что весь рунет для вас будет неподъемной ношей
Ответить с цитированием
Ответ



Опции темы Искать в теме
Искать в теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Ящик Пандоры или тотальный копипаст Gozar Оффтопик 92 13.03.2010 12:47
Как переместиться в начало страницы или к закладке? f_gor Общие вопросы Javascript 2 03.09.2008 23:00