Друзья, подскажите реально ли воплотить в жизнь вот какую штуку:
хочу чтобы умная прога собирала такую инфу по сайтам, которая мне надо и складывала ее в единую базу! Приведу пример с авто - мне нужны параметры:
- марка
- модель
- год
- объем двигателя
- количество дверей/кузов
- пробег
- цена
параметров будет больше, но допустим только эти, которые эта прога будет собирать с сайтов по продаже авто, а может и не только с них, а и со всего остального нета, допустим чье-то частное объявление на доске или на своем сайте/блоге/городском портале..., но важное условие - ТОЛЬКО С УКРАИНСКИХ сайтов, забугорье мне не надо!
Все это складироваться должно в одну базу данных! естественно сортироваться по общим характеристикам - форды к фордам, ламборджини к ламборджиням, а дальше понятно сортировка по иным существенным отличиям, как двигатель, кол-во дверей, кузов и т.п.
Но это еще не все, дальше начинается самое интересное
Эту прогу нужно объединить с другой прогой - во-первых, она должна выполнять функции статиста, т.е. отбрасывать те варианты которые выпрыгивают за рамки нормального, например кто-то написал цену 1 грн (т.е. цена договорная) или наоборот ошибся и добавил машине стоимостью 10 тыс .у.е. лишний ноль и она "подорожала" до 100 тыс. у.е.
Короче, это называется регрессионный анализ, если кто не знает, то одной из целей этого анализа является определение степени детерминированности вариации критериальной переменной предикторами (это была шутка
поехали дальше
), т.е. обеспечивается чистота выборки.
Во-вторых, полученная цифра, по каждой отдельной марке/модели/комплектации используется далее в расчетах, т.е. попадает на третью часть марлезонского балета!
Это, заключительная фаза, в которой пользователь вводит параметры необходимой ему машины и все предыдущие проги активно скрипя мозгами выдают результат за 10 сек и получаем стоимость той машинки, которую мы своими ручками введем в простецкую форму на сайте.
Прошу не флудить, а писать тем кто знает как это сделать или знает кто это может сделать, ну и конечно же, если идея понятна, принимаются советы по повышению эффективности работы такого сервиса.