29 апреля 2013, 11:38
Доброго времени суток уважаемые форумчане.Есть цель-написать своего паука который будет ползать по интернету и анализировать странички на предмет той инфы что меня интересует.Начал с парсера. Он должен сдирать главную страницу с сайта.Потом анализатор будет разбирать ее,и возможно будет приниматься дальнейшее решение по более глубокому анализу сайта.
Ниже приведен код на Питоне с использованием модуля Grab
Код-в приложеном файле.В чистом виде-слетает читаемость
Данный код выполняет вход на этот сайт.Предоставлен для ознакомления и последствия от его использования-только на вашей совести))
Все конечно хорошо...но как бы придумать анализатор?Как подойти к этому?Какие критерии и принципы?Алгоритмы и стратегии?
---
parser.7z
Размер файла: 636 Байт
-------
Rajder (off) [126]
3 мая 2013, 00:19
Автоматизация обворовывания или каталогизации сайтов давно решена, только вот не у всех поисковиков она хорошо решена.
В одиночку такие вещи не пишутся, если тебе интересно скинь мне на мыло свои контакты, я перезвоню.
Цель моего интереса твои познания в питоне для веб. Ищу программиста.
-------
Rajder (off) [126]
3 мая 2013, 01:22
Хрюн, почти все современные сайты пишутся на ajax, по этой причине выложенный парсер мало что сможет сделать даже с одной страницей.
Над эnой проблемой думает Google, и кое что придумал, но мало толку для свободного написания динамического контента.
-------
Lordeath (off) [67]
7 мая 2013, 10:25
Понять бы вас xD. Очень круто разговариваете
-------
Хрюн (off) VIP [881]
7 мая 2013, 11:23
Rajder,я как бы не собираюсь обворовывать сайты с аяксом.Там сайты промышленые,и гламура+экстраординарных примочек-ноль целых и одна десятая.Просто буду парсить их на предмет появления нужной инфы.А потом выдирать ее.
Грубо говоря-ждать на сайте одного определеного товара(причем каждый день-может быть случайного),а потом получать уведомления о его продаже.Авторизация придумана для сайтов которые не дают просто так смотреть свой контент.
----
Контакты-в профиле,только мыло там---ну для спама в основном же))).Знаний кот наплакал.Учу по возможности.Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании
-------
Dedof (off) [899]
15 июня 2013, 02:25
Хрюн, привет старина
ну если Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании то может проще заказать нужное у кодера? По поводу парсера - не изобретай лисапед - ну всилу ценности времени, скачай зенопостер, посиди над ним вечерок и накропаешь себе шаб на свой вкус - с расписанием, авторизацией и т.п.
-------
Хрюн (off) VIP [881]
22 июня 2013, 18:43
Dedof, трям.Пыхыпе был послан лесом.Нехочеца руки марать ибо.Взял питон и фреймворк Джанго.Опыт гораздо полезнее,язык-приятнее и понятнее.
А лисапеды нужны.Они дают возможность понять некоторые вещи.
По поводу парсера,я его еще напишу.Только в этом месяце релизну сперва сайт сделаный с нуля.
-------