Делаем свою поисковую систему. Часть 1.
21 Май 2011 // Оставить комментарий! // Поисковая оптимизация и продвижение
Своя поисковая система – А почему бы и нет?
Я думаю, всем было бы интересно как работают Яндекс или Google. Поэтому давайте рассмотрим пример построения своей поисковой системы в интернете. Для кого-то это прольет свет на то, почему используются такие приемы как покупка статей и бэклинков, а так же внутренняя оптимизация.
Первое что нам понадобиться – это паук индексатор, который будет бродить по интернету и индексировать страницы сайтов. Вся проиндексированная информация будет храниться в кластере базы данных.
Принцип работы паука очень прост, заходим на сайт проходим по внутренним страницам сайта, выделяем ссылки на другие сайты, сохраняем нужное в базу.
Помимо паука понадобиться семантический анализатор. Семантический анализатор будет обрабатывать страницу: выделять текст, определять ключевые слова и фразы, смотреть вхождение ключевых слов в заголовок страницы, определять тематику сайта, фильтровать страницы и сайты с недоброкачественным контентом(дорвеи и гс).

В целях разведки конкуренции решил проверить другие сайты о бизнес идеях и о создании сайтов. Зашел в гугл и вбил как заработать в интернете, второй мой запрос был заработок в интернете, третий заработок на сайте. Мамочка моя… Во всех выдачах ссылкопомойки, ни одного нормального сайта, практически нет. Больше всего меня убили форумы о заработке, эти бабушкины рассказы про сереньких козликов и о том как заработать на кликах. Больше всего конешно было бы интересно как они оказались первыми в выдаче, скорее всего биржи ссылок используют. Ничего интересного на первых трех страницах выдачи я не нашел. Ну что ж это будет стимулом для написания новых статей о заработке в интернете и продвижении своего сайта.