Каталог винницких сайтов ("vn.ua") или Как получить список сайтов в заданной зоне
воскресенье, 14 июня 2009,
Александр Краковецкий
Я уже писал о своей разработке под названием Web Data Extracting and Analyzing Framework.
Здесь буду писать о том, как можно использовать данный фреймворк в реальном мире.
Получение списка сайтов в заданной зоне
Зону я выбрал местную - "vn.ua" (кроме того, всегда было интересно узнать приблизительное количество винницких сайтов [:)]).
Notice. Пример достаточно "грубый" для демонстрации возможностей фреймворка.
Сначала создаем простой клас для хранения данных - Url и Title:
public class WebSite
{
public string Url { get; set; }
public string Title { get; set; }
}
Далее создадим класс ZoneExtractor:
public class ZoneExtractor
{
// Здесь будем хранить список сайтов
public List Websites { get; set; }
// Свойство для хранения зоны
private string Zone { get; set; }
public ZoneExtractor(string zone, WebProxy proxy)
{
this.Zone = zone;
this.Websites = new List();
// Используем GoogleLinksExtractor для получения ссылок
GoogleLinksExtractor g = new GoogleLinksExtractor("Винница \"vn.ua\"", 50);
g.Proxy = proxy; // Используем прокси, если надо
// Добавляем правило, по которому будут извлекаться только сайты в зоне "vn.ua"
g.AddRule("vn.ua", new ZoneCondition());
g.Extract(); // Извлекаем данные
var links = g.LinkInfos; // Получаем результат
foreach (var link in links)
{
try
{
// Используем HtmlProcessorLite для получения Title
HtmlProcessorLite lite = new HtmlProcessorLite(new Uri(this.GetCleaned(link.Href)), proxy);
this.AddWebsite(link.Href, lite.Title); // Добавляем сайт в коллекцию
}
catch(Exception ex)
{
// Обрабоатываем ошибки если надо
}
}
}
}
Метод для получения "чистой" ссылки:
private string GetCleaned(string link)
{
Uri uri = new Uri(link);
return "http://" + uri.Host;
}
Метод для добавления сайта в коллекцию с проверкой на уникальность:
private void AddWebsite(string url, string title)
{
WebSite site = new WebSite{Title = title, Url = this.GetCleaned(url)};
if (this.Websites.Where(l => l.Url == this.GetCleaned(url)).Count() == 0)
{
this.Websites.Add(site);
Console.WriteLine(site.Url + " added.");
}
else
{
Console.WriteLine(site.Url + " skipped.");
}
}
Клиентский код:
ZoneExtractor zone = new ZoneExtractor("vn.ua", new WebProxy("localhost", true));
var websites = zone.Websites;
Замеченные проблемы
- кодировка - если кодировка сайта UTF-8, а текст страницы хранится в windows-1251, то на клиент приходит Title в UTF-8 кодировке. Данная проблема отсутсвует для англоязычных сайтов.
- при довольно большом количестве запросов Google начинает проверять на спам, поэтому нужно делать небольшие перерывы между глобальным сканированием сети
Сравнение с аналогами
Для этой же задачи было использовано Google Ajax Search API, а конкретно портированная на C# обертка под названием GAPI .NET.
Преимущество:
- работает более быстро, так как на клиент выдает только результаты поиска
- наш сайт (http://msug.vn.ua/) выдает в списке первым [:)]
Недостаток:
- выдает маленькое количество сайтов (гораздо меньше, чем при использовании WDEAF)
Возможные варианты улучшения
-
использовать несколько разных запросов ("спорт винница", "отели винница", "бизнес винница" и т.д.)
-
использовать глубокий анализ сайтов (т.е. учитывать исходящие ссылки с сайтов на другие сайты)
- сделать дополнительный поиск по related сайтам
Данные варианты легко реализуемые, единственное, на что это повлияет - на время выполнения.
Результаты
И вот, что мы получаем в итоге (главное ведь результат, не так ведь?):
| Название сайта | Адрес |
|---|---|
| VIP - Винницкий информационный портал - Новости | http://www.vip.vn.ua |
| Все для проведения свадьбы в Виннице | http://www.svadba.vn.ua |
| VinNest - Провайдер сети Интернет в Виннице. Украина. | http://www.vn.ua |
| Katran-Shop интернет-магазин компьютерной техники комплектующих Винница купить доставка домой цифровая техника периферия компьютерные прайсы винница - Винницкий интернет магазин Katran-Shop компьютерная техника комплектующие Винница, купить бесплатная доставка по Виннице компьютерные прайсы Винницы компьютеры ноутбуки Винница комплектующие | http://katran-shop.vn.ua |
| Винница и Винницкая область: Интернет-каталог | http://www.karta.vn.ua |
| ВАТ Керамик - кирпич керамический, майоликовые изделия, кафели, камни, Винница, Украина | http://www.keramik.vn.ua |
| Производство полиэтиленовой продукции: пленка, пакеты полиэтиленовые, мешки-вкладыши. Флексопечать. Винница. | http://www.polimer.vn.ua |
| Винницкий Клуб Веселых и Находчивых | http://www.kvn.vn.ua |
| Сантехническое оборудование. ТВД. Украина, Винница. | http://www.tvd.vn.ua |
| Духовные и священные писания Востока. Даттатрея, Амма, Сатья Саи Баба. Фото Индии | http://sss.vn.ua |
| Доска объявлений Винницы | http://www.obyava.vn.ua |
| Виндор - строительная компания. Винница, Украина. | http://www.vindor.vn.ua |
| goldenpages.vn.ua Винница- рекламно-информационный каталог(справочник) фирм и предприятий Украины. | http://goldenpages.vn.ua |
| Aqua-Sauna.vn.ua - Сауна в Виннице на Кирова 1. Бассейн, бильярд. Работаем круглосуточно | http://aqua-sauna.vn.ua |
| Сенс - продажа технических газов, сеть АГЗС, установка ГБО. Винница, Украина. | http://www.sens.vn.ua |
| БУДМАШ. Винница, Украина. | http://www.budmash.vn.ua |
| Джерман-Центр: официальный дилер Volkswagen (Винница, Украина) | http://german.vn.ua |
| ДАІ Вінницької області(офіційна веб-сторінка) | http://www.dai.vn.ua |
| Sano в Украине - ЧП АСТОРИЯ ХХІ - Винница - премиксы, концентраты, добавки | http://www.sano.vn.ua |
| Агентство недвижимости "C I T I" г. Винница, Украина. | http://www.citi.vn.ua |
| Питомник декоративных культур Гуменюка Мирослава Степановича | http://www.miroslav.vn.ua |
| VIP портал города Винница | http://www.vip-life.vn.ua |
| job.Emarket.vn.ua – Бесплатные объявления по трудоустройству Винницы, вакансии и резюме | http://job.emarket.vn.ua |
| Освітній портал фізико-математичної гімназії № 17 м.Вінниці | http://www.edu.vn.ua |
| Магазин интимных товаров №1 в Виннице - Насолода тiльки для дорослих... - Главная | http://www.nasoloda.vn.ua |
| Экспорт продуктов питания из Украины, Винница. ООО НПП Гамма. | http://www.gamma.vn.ua |
| Шиншиллы в Виннице | http://www.chinchilla.vn.ua |
| Монтаж отопления, кондиционирования, вентиляции - ЕККА, Винница, Украина. | http://www.ekka.vn.ua |
| Пенетрон-Украина, Винница - Главная | http://www.penetron.vn.ua |
| expedition.vn.ua Экспедиция - Главная | http://www.expedition.vn.ua |
| Emarket.vn.ua – Частные бесплатные объявления Винницы, доска объявлений | http://emarket.vn.ua |
| Спорт-Тайм ночной клуб, бар, кафе, диско-клуб, ресторан (г. Винница). | http://www.sporttime.vn.ua |
| Бассейны и аксессуары - Твой Бассейн - Винница - О компании | http://www.tvoybassein.vn.ua |
| Офіційний сайт УМВС України у Вінницькій області - Головна | http://umvs.vn.ua |
| Вінницька обласна універсальна наукова бібліотека ім.К.А.Тімірязєва | http://www.library.vn.ua |
| Катран Винница - компьютеры, комплектующие, ноутбуки | http://katran.vn.ua |
| ВелоВинница - Главная | http://www.velo.vn.ua |
| Работа в Виннице | http://job2.vn.ua |
| Декоративный бетон, заборы, столы, цветники, тротуарная плитка, памятники, Винница | http://www.beton.vn.ua |
| Интернет магазин по продаже компьютеров, ноутбуков, КПК, мульти-медиа, комплектующих, (Винница) | http://flashmarket.vn.ua |
| Главная страница | Винницкий трамвай | http://depo.vn.ua |
| Добро пожаловать - Afisha.vn.ua - информационно-развлекательный портал города Винница. | http://afisha.vn.ua |
| Реализация строительных и отделочных материалов, Винница, Украина | http://www.novobud.vn.ua |
| Главная страница | ООО Интерсервис - авторизованный сервисный центр в Виннице | http://interservis.vn.ua |
| Home - Microsoft User Group Винница | http://msug.vn.ua |
| WBS.VN.UA - Реклама и раскрутка Вашего сайта | http://wbs.vn.ua |
| На главную - Винницкая федерация рыболовного спорта | http://fishing.vn.ua |
| Рекламная Барахолка | http://www.baraholka.vn.ua |
| Главная - Студия Мираж, г. Винница, Украина. | http://mirage.vn.ua |
| О компании | Транспортная компания "РВРЕР КУТ РФР АНС" г. Винница | http://btr.vn.ua |
| Интернет-магазин бытовой техники, электроники, товаров для дома. Винница. | http://tornado.vn.ua |
| autostyle.vn.ua - КАТАЛОГ | http://autostyle.vn.ua |
| Секс шоп интим магазин EroticLand : секс игрушки, сексшоп - Винница | http://eroticland.vn.ua |
| «Форт». Оружие Украины. | http://www.fort.vn.ua |
| Sparta : Главная | http://www.sparta.vn.ua |
| Котельные, автоматика, водоснабжение в Виннице, Украина. | http://www.tk.vn.ua |
| Справочный интернет каталог Винницы - Услуги и товары фирм Винницы и Винницкой области | http://uslugi.vn.ua |
| В.О.К.Л.А. (Powered by Invision Power Board) | http://vokla.vn.ua |
| exTime:локальные сети:Винница:сварка оптики:коммутаторы:оптоволокно:интернет:медиаконвертеры:прокладка сетей:VoIP:Asterisk | Строй сети с нами! Будь на lаг впереди! | http://www.extime.vn.ua |
| Светотехническая продукция Hugo Honsel, Aloys Fischer. СвітлоГрад, Винница. | http://www.svitlograd.vn.ua |
| Викма - кондиционирование, вентиляция, отопление, фильтры для очищения воды, электроводонагреватели | http://www.vikma.vn.ua |
| Сайт СООШ №4 г.Винницы | http://sch4.edu.vn.ua |
| Сайт болельщиков ФК "Нива" Винница | http://niva.vn.ua |
| DRAGRACING.VN.UA / Гонки в Виннице | http://dragracing.vn.ua |
| Питьевая вода "Арктика кристалл" ("Арктика кристал"), Пан Продукт. Винница, Украина. | http://www.voda.vn.ua |
| МУР. Проектирование, строительство, реконструкция. Винница, Украина. | http://www.mur.vn.ua |
| Ноты для хора. Христианская музыка. Sheet music - Главная | http://music.vn.ua |
| МІЖНАРОДНІ ДНІ ДЖАЗОВОЇ МУЗИКИ В ВІННИЦІ | http://www.jazz.vn.ua |
| Аукцион - Купить, продать, распродажи товаров в Киеве, Украине, Москве, Росcии, в мире. | http://auction.da.vn.ua |
| Винницкий флирт - Знакомства в Виннице и Винницкой области | http://flirt.vn.ua |
| Агенство Недвижимости "АЛЬФА" - Главная! | http://www.alpha.vn.ua |
| Шостий відкритий обласний конкурс із Web-дизайну та комп'ютерної анімації серед студентів та учнів | http://www.konkurs.vn.ua |
| Ласкаво просимо до сайту НДЛ ЕДЕМ | http://ndledem.vn.ua |
| Фотосайт: Вінниця й вінничани у світлинах | http://photo.in.vn.ua |
| Каталог фототоваров, фотоцентр "Имидж", Винница. Image.vn.ua Винница - все для фото. Фото на документы, фотоальбомы, фотосъемка свадеб, рекламная фотосъемка, печать и обработка фотографий, визитки, бейджи, таблички, сувениры, подарки, открытки, календари, Фото на этикетке, фото на футболке, фото на кружках, оцифровка видео, дизайн макетов. Оборудование для фотостудий (Фотоаппараты, Фотовспышки, объективы ...). | http://www.image.vn.ua |
| Ландшафтный дизайн, озеленение, благоустройство: Этис, Винница | http://www.etis.vn.ua |
| Интернет-аукцион afisha.vn.ua - купить продать - Винница. | http://auction.afisha.vn.ua |
| Usluga.vn.ua-Каталог фирм Украины | http://usluga.vn.ua |
| Оцинкованная посуда, консервные банки, крышки, резиновые кольца для консервных крышек. | http://www.avesta.vn.ua |
| Винницкий бизнес портал, город Винница, карта Винницы, объявления, описания | http://www.chatnet.vn.ua |
| Тойота Центр Винница «Премиум Моторс» | http://www.toyota.vn.ua |
| Торговое оборудование в Виннице | http://torg.vn.ua |
| Akcent computers | http://akcent.vn.ua |
| SAVOY Hotel - Главная | http://hotel-savoy.vn.ua |
| Каталог вакансий Винницы | http://www.job.vn.ua |
| auto.Emarket.vn.ua – Бесплатные автомобильные объявления Винницы, автобазар, доска авто объявлений | http://auto.emarket.vn.ua |
| Тимур / Винница / Украина | http://www.timur.vn.ua |
| Минеральная вода - Абсолют. | http://www.absolut.vn.ua |
| MUZInfo.vn.ua | http://www.muzinfo.vn.ua |
| Пейнтбольный клуб "Гладиатор" | http://paintball.vn.ua |
| Винница Культтовары-канцтовары, хозтовары, офисная бумага опт | http://www.k-office.vn.ua |
| Добро пожаловать в Винницкий магазин оригинальных подарков | http://dar.vn.ua |
| Всеукраїнський сайт безкоштовної реклами. Безкоштовна реклама. Дошка оголошень. Каталог фірм та підприємств. Розміщення об'яв. | http://reklama.vn.ua |
| Главная - Весь анонс Винницы на одном сайте - Весь анонс Винницы на одном сайте | http://www.anons.vn.ua |
| ООО ТПК Мария, главная | http://www.mariya.vn.ua |
| LovePlanet знакомства в Виннице - love planet Винница | http://loveplanet.vn.ua |
| Конкурс краси Міс Вінниця | http://www.miss.vn.ua |
| Smart Forum | http://forum.vn.ua |
| О нас : Промоушн, BTL в Виннице | http://www.promo.vn.ua |
| lug.vn.ua | http://lug.vn.ua |
| Vinnitsa Counter-Strike Server | http://www.cs.vn.ua |
| Місто - газета кожного вінничанина | http://www.misto.vn.ua |
| СТАРТ. Бизнес Винница | http://biz.vn.ua |
| ColorIT::Главная:: | http://colorit.vn.ua |
| Массажная кровать Серагем Мастер | http://www.ceragem.vn.ua |
| Jump.vn.ua - Дизайн студия JUMP | http://jump.vn.ua |
| Мастерская web-дизайна "BravoStyle" в Виннице. Украина. | http://www.bravostyle.vn.ua |
| О нас : Наружная реклама в Виннице | http://www.naruzhka.vn.ua |
| ТАКСИ CITY г. Винница - Главная | http://www.taxicity.vn.ua |
| pERCHATKA.VN.UA перчатки хб рабочие, перчатки х б | http://www.perchatka.vn.ua |
| Рекламное агентство "Бастион" | http://www.bastion.vn.ua |
| Главная | Кредитный консультант | http://kredit.vn.ua |
| О нас : WEBsite | http://website.vn.ua |
| О компании - евроклимат | http://www.ek.vn.ua |
| МУР. Проектирование, строительство, реконструкция. Винница, Украина. | http://mur.vn.ua |
| vetom.vn.ua - Ветом, Ветом Винница, купить Ветом в Виннице | http://vetom.vn.ua |
| Сити-Мен _ выбор каталога | http://www.cityman.vn.ua |
| Теплосервис - отопление, водоснабжение, канализация, кондиционирование, вентиляция, центральные пылесосы. | http://www.ts.vn.ua |
| LEX.vn.ua - Винницкий юридический портал | http://lex.vn.ua |
| Йога в Виннице | http://www.yoga.vn.ua |
| Flats and apartments in Vinnitsa for a daily rent - www.apartments.vn.ua | http://www.apartments.vn.ua |
| Пенетрон-Украина, Винница - Главная | http://penetron.vn.ua |
| ТРАНСФОРМАТОР СИЛОВОЙ - Силовые трансформаторы, сталь трансформаторная, трансформаторное железо - Втормет Винница - лом трансформаторов, трансформаторное железо, неликвидные трансформаторы силовые | http://www.vtormet.vn.ua |
| Любовь в большом городе! - Знакомства в Виннице и винницкой области - | http://lubov.vn.ua |
| Philosophy.vn.ua • Главная страница | http://philosophy.vn.ua |
| --=< Школьная жизнь физико-математической гимназии №17>=-- | http://student.pmg17.vn.ua |
| Винницкий хостинг / г. Винница, Украина | http://www.hosting.vn.ua |
| Искусственный камень столешницы подоконники производство искусственного камня. | http://decorpro.vn.ua |
| Экспоцентр Винницкой торгово-промышленной палаты. Винница, Украина. | http://www.expo.vn.ua |
| Горный мир - магазин товаров для активного отдыха и спорта » Альпинистское туристическое кемпинговое и горнолыжное снаряжение, автобагажники, надувные лодки... | http://www.gs.vn.ua |
| Винницкий аниме-клуб "Mikado no Ame" | http://animeclub.vn.ua |
| Educational server of Physics & Mathematics High School 17 | http://www.pmg17.vn.ua |
| Цветы в доме | http://www.flower.vn.ua |
| Тематические тренинговые программы и групповая психотерапия | trening@post.vinnica.ua | http://holodova.vn.ua |
| продажа и установка автомобильных стекол переоборудование пассажирских и грузопассажирских микроавтобусов металопластиковые окна, балконы, фурнитура и комплектующие | http://www.kmpblits.vn.ua |
| Свитязь-Винница - продажа семян овощных, цветочных культур, газонных трав. | http://www.svytjaz.vn.ua |
| sleeper.vn.ua | http://sleeper.vn.ua |
| Объявления Винницы — авто, недвижимость, вакансии, работа, реклама, оборудование | http://doska.vn.ua |
| cPanel® | http://www.orient.vn.ua |
| realty.Emarket.vn.ua – Бесплатные объявления недвижимости Винницы, доска обьявлений недвижимости | http://realty.emarket.vn.ua |
| О нас : Полиградия, одсет, жидра, услуги печати в Винниже | http://poligrafia.vn.ua |
| Эко-дом. Строительно-отделочные материалы, ограждающие конструкции, нестандартная мебель. | http://www.ecodom.vn.ua |
| "ЦИФРА"- фотоаппараты, ноутбуки, видеокамеры, компьютеры, электроинструмент, садовая и отопительная техника. Описание, сравнение характеристик, фото | http://cifra.vn.ua |
| ВАТ Керамик - кирпич керамический, майоликовые изделия, кафели, камни, Винница, Украина | http://keramik.vn.ua |
| Недвижимость Винница, "Новосел Винница" , продажа недвижимости в Виннице | http://www.novosel.vn.ua |
| Камеры заднего вида, автозвук, ксенон, датчики парковки, продажа в Украине, Винница. | http://fmc.vn.ua |
| Модель, фотомодель Острадчук Ольга | http://www.olga.vn.ua |
| Рейтинг Винницких Сайтов | http://www.rating.vn.ua |
| Index of / | http://duet.vn.ua |
| Купля - продажа авто в Виннице и Украине - Главная страница | http://autosale.vn.ua |
| П******а - бесплатно скачать п***о, п***о журналы, п***а бесплатно, п***о 3gp, красивое п***о | http://erotic.vn.ua |
* Слова, связанные с п***ографией, заменены звездочкой.
Компании из статьи
| Microsoft Украина |  Украинское подразделение компании Microsoft. |