ПравилаРегистрацияВход
НАВИГАЦИЯ

Паук(Парсер+анализатор)

Модераторы: нет
Список форумов » Вэб-разработка
АВТОРСООБЩЕНИЕ
Хрюн
VIP
Avatar
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 888
Откуда: Н-Серги(эт Урал,Свердловщина)
29 апреля 2013, 11:38
Доброго времени суток уважаемые форумчане.Есть цель-написать своего паука который будет ползать по интернету и анализировать странички на предмет той инфы что меня интересует.Начал с парсера. Он должен сдирать главную страницу с сайта.Потом анализатор будет разбирать ее,и возможно будет приниматься дальнейшее решение по более глубокому анализу сайта.
Ниже приведен код на Питоне с использованием модуля Grab

Код-в приложеном файле.В чистом виде-слетает читаемость

Данный код выполняет вход на этот сайт.Предоставлен для ознакомления и последствия от его использования-только на вашей совести))
Все конечно хорошо...но как бы придумать анализатор?Как подойти к этому?Какие критерии и принципы?Алгоритмы и стратегии?
parser.7z
Размер файла: 636 Байт
Rajder
Avatar
Имя: Артур
Сейчас нет на сайте
Репутация: 0
Регистрация: 9.06.2007
Всего сообщений: 126
Откуда: кавказ, домбай.
3 мая 2013, 00:19
Автоматизация обворовывания или каталогизации сайтов давно решена, только вот не у всех поисковиков она хорошо решена.
В одиночку такие вещи не пишутся, если тебе интересно скинь мне на мыло свои контакты, я перезвоню.
Цель моего интереса твои познания в питоне для веб. Ищу программиста.
Rajder
Avatar
Имя: Артур
Сейчас нет на сайте
Репутация: 0
Регистрация: 9.06.2007
Всего сообщений: 126
Откуда: кавказ, домбай.
3 мая 2013, 01:22
Хрюн, почти все современные сайты пишутся на ajax, по этой причине выложенный парсер мало что сможет сделать даже с одной страницей.
Над эnой проблемой думает Google, и кое что придумал, но мало толку для свободного написания динамического контента.
Lordeath
Avatar
Сейчас нет на сайте
Репутация: 0
Регистрация: 2.12.2011
Всего сообщений: 67
7 мая 2013, 10:25
Понять бы вас xD. Очень круто разговариваете
Хрюн
VIP
Avatar
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 888
Откуда: Н-Серги(эт Урал,Свердловщина)
7 мая 2013, 11:23
Rajder,я как бы не собираюсь обворовывать сайты с аяксом.Там сайты промышленые,и гламура+экстраординарных примочек-ноль целых и одна десятая.Просто буду парсить их на предмет появления нужной инфы.А потом выдирать ее.
Грубо говоря-ждать на сайте одного определеного товара(причем каждый день-может быть случайного),а потом получать уведомления о его продаже.Авторизация придумана для сайтов которые не дают просто так смотреть свой контент.
----
Контакты-в профиле,только мыло там---ну для спама в основном же))).Знаний кот наплакал.Учу по возможности.Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании
Dedof
Avatar
Имя: Владимир
Сейчас нет на сайте
Репутация: 1
Регистрация: 21.08.2006
Всего сообщений: 899
Откуда: Воркута
15 июня 2013, 02:25
Хрюн, привет старина :) ну если Сейчас бодаюсь с пыхом ввиду надобности сделать сайт для компании то может проще заказать нужное у кодера?

По поводу парсера - не изобретай лисапед - ну всилу ценности времени, скачай зенопостер, посиди над ним вечерок и накропаешь себе шаб на свой вкус - с расписанием, авторизацией и т.п.
Хрюн
VIP
Avatar
Имя: Скрываю)))
Сейчас нет на сайте
Репутация: 7
Регистрация: 9.12.2006
Всего сообщений: 888
Откуда: Н-Серги(эт Урал,Свердловщина)
22 июня 2013, 18:43
Dedof, трям.Пыхыпе был послан лесом.Нехочеца руки марать ибо.Взял питон и фреймворк Джанго.Опыт гораздо полезнее,язык-приятнее и понятнее.
А лисапеды нужны.Они дают возможность понять некоторые вещи.
По поводу парсера,я его еще напишу.Только в этом месяце релизну сперва сайт сделаный с нуля.
Список форумов » Вэб-разработка
  
Страница 1 из 1
Часовой пояс: GMT + 4
Мобильный портал, Profi © 2005-2016
Время генерации страницы: 0.018 сек
Общая загрузка процессора: 4%
SQL-запросов: 6
Rambler's Top100