Ящик Пандоры или тотальный копипаст

[Gvozd]

Страница копируется целиком, без разбора, что контент, а что просто оформление.

вы говорите о тотальном копипасте.
обычно делать полный клон не имеет смысла.хоть и такое делается частенько.

чаще же имеет смысл тырить не сайт, а инфу на нем.
то есть если это сайт с курсами НБУ, то обычно требуется небольшой массив курсовы, или же пара строк в БД.
и для этого приходится копать HTML-код страницы

Увидел, что у него тырят, поменял разметку в шаблоне и уже временно "не тырят".

для готового парсера незначительные изменения HTML-кода несут лишь незначительные изменения парсера.
в большинстве случае на пять минут работы для автора парсера.
единственно, что обычно такое обслуживание парсера не включается в стоимость заказа, и посему заказчику приходится таки платить за доработку

[Gozar]

Говоря парсер, мы урезаем себя в возможностях. Я бы сказал синтаксический анализатор на основе дерева документа. Хотя возможно на четко определенных проектах четко заточенный парсер работать будет быстрее, но без привязки к определенному проекту синтаксический анализатор даст более правильную картину страницы.

[Gozar]

писать парсер под каждый проект я считаю непозволительной роскошью

[Gvozd]

синтаксический анализатор на основе дерева документа

можете привести пример такого ПО?
платного, бесплатного, десктопных программ, скриптовых, или библиотек?
хотелось бы глянуть на них

писать парсер под каждый проект я считаю непозволительной роскошью

ну, если бы я заказывал парсеры у самого себя, я бы наверно разорился бы))))

[Gozar]

можете привести пример такого ПО?
платного, бесплатного, десктопных программ, скриптовых, или библиотек?
хотелось бы глянуть на них

думаю не один Вы хотели бы на них взглянуть

[micscr]

На данный момент единственная вещь из попавшихся мне, которую я не смог преодолеть - это была капча гугла.

Это какие-то хакерские методы? Или программированием? А то я что-то не пойму как даже теоретически обходится каптча, когда на клиенте нет данных о верной комбинации(кроме символов на картинке), а данные на сервере и без них требуемая страница не загрузится.

[Tim]

не пойму как даже теоретически обходится каптча

Распознавание текста можно применить попробовать
http://www.anti-captcha.com/

[Gvozd]

Сообщение от micscr

не пойму как даже теоретически обходится каптча

Распознавание текста можно применить попробовать
http://www.anti-captcha.com/

именно
я не преуспел в сохранении сесии тогда.
о глюке CURL-а с сохранением кукисов я узнал позже

[micscr]

да, век живи, век удивляйся.
Это уже полностью автоматизировано, я так понимаю?
Т.е. зашел бот на сайт, получил капчу, отправил на тот сервис(где он получается зарегистрирован), получил текст и зарегался?

[micscr]

А если эту картинку предварительно разбить на 10 частей и уже на странице собирать, что тогда?