| АВТОР | СООБЩЕНИЕ |
|---|
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 881
Откуда: Н-Серги(эт Урал,Свердловщина) |
| Доброго времени суток уважаемые форумчане.Есть цель-написать своего паука который будет ползать по интернету и анализировать странички на предмет той инфы что меня интересует.Начал с парсера. Он должен сдирать главную страницу с сайта.Потом анализатор будет разбирать ее,и возможно будет приниматься дальнейшее решение по более глубокому анализу сайта.
Ниже приведен код на Питоне с использованием модуля Grab
Код-в приложеном файле.В чистом виде-слетает читаемость
Данный код выполняет вход на этот сайт.Предоставлен для ознакомления и последствия от его использования-только на вашей совести))
Все конечно хорошо...но как бы придумать анализатор?Как подойти к этому?Какие критерии и принципы?Алгоритмы и стратегии? | |
|
|
Имя: Артур
Сейчас нет на сайте
Репутация: 0
Регистрация: 9.06.2007
Всего сообщений: 126
Откуда: кавказ, домбай. |
| Автоматизация обворовывания или каталогизации сайтов давно решена, только вот не у всех поисковиков она хорошо решена.
В одиночку такие вещи не пишутся, если тебе интересно скинь мне на мыло свои контакты, я перезвоню.
Цель моего интереса твои познания в питоне для веб. Ищу программиста. | |
|
|
Имя: Артур
Сейчас нет на сайте
Репутация: 0
Регистрация: 9.06.2007
Всего сообщений: 126
Откуда: кавказ, домбай. |
| Хрюн, почти все современные сайты пишутся на ajax, по этой причине выложенный парсер мало что сможет сделать даже с одной страницей.
Над эnой проблемой думает Google, и кое что придумал, но мало толку для свободного написания динамического контента. | |
|
|
Сейчас нет на сайте
Репутация: 0
Регистрация: 2.12.2011
Всего сообщений: 67 |
| | Понять бы вас xD. Очень круто разговариваете | |
|
|
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 881
Откуда: Н-Серги(эт Урал,Свердловщина) |
| Rajder,я как бы не собираюсь обворовывать сайты с аяксом.Там сайты промышленые,и гламура+экстраординарных примочек-ноль целых и одна десятая.Просто буду парсить их на предмет появления нужной инфы.А потом выдирать ее.
Грубо говоря-ждать на сайте одного определеного товара(причем каждый день-может быть случайного),а потом получать уведомления о его продаже.Авторизация придумана для сайтов которые не дают просто так смотреть свой контент.
----
Контакты-в профиле,только мыло там---ну для спама в основном же))).Знаний кот наплакал.Учу по возможности.Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании | |
|
|
Имя: Владимир
Сейчас нет на сайте
Репутация: 1
Регистрация: 21.08.2006
Всего сообщений: 899
Откуда: Воркута |
| Хрюн, привет старина  ну если Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании то может проще заказать нужное у кодера?
По поводу парсера - не изобретай лисапед - ну всилу ценности времени, скачай зенопостер, посиди над ним вечерок и накропаешь себе шаб на свой вкус - с расписанием, авторизацией и т.п. | |
|
|
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 881
Откуда: Н-Серги(эт Урал,Свердловщина) |
| Dedof, трям.Пыхыпе был послан лесом.Нехочеца руки марать ибо.Взял питон и фреймворк Джанго.Опыт гораздо полезнее,язык-приятнее и понятнее.
А лисапеды нужны.Они дают возможность понять некоторые вещи.
По поводу парсера,я его еще напишу.Только в этом месяце релизну сперва сайт сделаный с нуля. | |
|
