Учебная работа. Реферат: Поисковые машины

Учебная работа. Реферат: Поисковые машины

Содержание

Введение………………………………………………………………………….2

1 Поисковые машинки: состав, функции, механизм работы

1.1 Состав поисковых машин………………………………….………………3

1.2 Индивидуальности поисковых систем…………………………………………..4

1.3 Принципы работы поисковых машин……………………………………..4

2 Обзор функционирования поисковых машин

2.1 Забугорные поисковые системы: состав и механизмы работы…………12

2.2 Русские поисковые системы: состав и механизмы работы….…..14

Вывод………………………………………………………………..……………16

Перечень применяемой литературы…………………………………..………….17

Введение

Поисковые системы уже издавна стали неотъемлемой частью русского Веба.В силу того, что они, хотя и разными средствами, без помощи других обеспечивают все этапы обработки инфы от ее получения с узлов-первоисточников до предоставления юзеру способности поиска, их нередко именуют автономными поисковыми
системами
.

Поисковые системы на данный момент – это большие и сложные механизмы, представляющие из себя не только лишь инструмент поиска инфы, да и заманчивые сферы для бизнеса.Эти системы могут различаться по принципу отбора инфы, который в той либо другой степени находится и в методе сканирующей программки автоматического индекса, и в регламенте поведения служащих каталога, отвечающих за регистрацию. Как правило, сравниваются два главных показателя:

• пространственный масштаб, в каком работает ИПС,

• и ее специализация.

Большая часть юзеров поисковых машин никогда не думали (или думали, но не отыскали ответа) о принципе работы поисковых машин, о схеме обработки запросов юзеров, о том, из чего же эти системы состоят и как работают… Поисковые машины можно сопоставить со справочной службой, агенты которой обходят компании, собирая информацию в базу данных. При воззвании в службу информация выдается из данной базы. Данные в базе устаревают, потому агенты их временами обновляют. Некие компании сами присылают данные о для себя, и к ним агентам приезжать не приходится. Другими словами, справочная служба имеет две функции: создание и неизменное обновление данных в базе и поиск инфы в базе по запросу клиента.

1 Поисковые машинки: состав, функции, механизм работы

1.1 Состав поисковых машин

Поисковая машина — это программно-аппаратный комплекс, созданный для воплощения поиска в сети веб и реагирующий на запрос юзера, задаваемый в виде текстовой фразы (запроса в поисковике), выдачей перечня ссылок на источники инфы, в порядке релевантности (в согласовании запросу). Более большие международные поисковые системы: «Гугл», «Яху», «MSN». В российском Вебе это – «Yandex», «Rambler», «Aport».

Аналогично, поисковая машинка состоит из 2-ух частей: так именуемого бота (либо паука), который обходит серверы Сети и сформировывает базу данных поискового механизма.

база бота в главном формируется им самим (бот сам находит ссылки на новейшие ресурсы) и в еще наименьшей степени — обладателями ресурсов, которые регистрируют свои веб-сайты в поисковой системе. Кроме бота (сетевого агента, паука, червя), формирующего базу данных, существует программка, определяющая рейтинг отысканных ссылок.

Принцип работы поисковой машинки сводится к тому, что она опрашивает собственный внутренний каталог (базу данных) по главным словам, которые юзер показывает в поле запроса, и выдает перечень ссылок, ранжированный по релевантности.

Необходимо подчеркнуть, что, отрабатывая определенный запрос юзера, поисковая машина оперирует конкретно внутренними ресурсами (а не пускается в путешествие по Сети, как нередко считают неискушенные юзеры), а внутренние ресурсы, естественно, ограниченны. Невзирая на то что база данных поисковой машинки повсевременно обновляется, поисковая машинка не может проиндексировать все Web-документы: их число очень велико. Потому постоянно существует возможность, что разыскиваемый ресурс просто неизвестен определенной поисковой машине.

1.2 Индивидуальности поисковых машин

В работе поисковый процесс представлен 4-мя стадиями: формулировка (происходит до начала поиска); действие (начинающийся поиск); обзор результатов (итог, который юзер лицезреет опосля поиска); и усовершенствование (опосля обзора результатов и перед возвращением к поиску с другой формулировкой той же потребности). Наиболее комфортная нелинейная схема поиска инфы состоит из последующих шагов:

— фиксация информационной потребности на естественном языке;

— выбор подходящих поисковых сервисов сети и четкая формализация записи информационной потребности на определенных информационно-поисковых языках (ИПЯ);

— выполнение сделанных запросов;

— подготовительная обработка и подборка приобретенных списков ссылок на документы;

— воззвание по избранным адресам за разыскиваемыми документами;

— подготовительный просмотр содержимого отысканных документов;

— сохранение релевантных документов для следующего исследования;

— извлечение из релевантных документов ссылок для расширения запроса;

— исследование всего массива сохраненных документов;

— если информационная потребность не стопроцентно удовлетворена, то возврат к первому шагу.

1.3 Принципы работы поисковых машин

Задачка хоть какой поисковой системы – доставлять людям ту информацию, которую они отыскивают. Обучить людей созодать “правильные” запросы, т.е. запросы, надлежащие принципам работы поисковых машин нереально. Потому создатели делают такие методы и принципы работы поисковых машин, которые бы дозволяли отыскивать юзерам конкретно ту информацию, которую они отыскивают. Это значит, поисковая машина обязана “мыслить” также как задумывается юзер при поиске инфы.

Поисковые машины в большинстве собственном работает по принципу подготовительного индексирования. По такому же принципу работают база данных большинства поисковых машин.

Есть и иной принцип построения. Прямой поиск. Он состоит в том, что вы в поиске главного слова перелистываете книжку страничку за страничкой. естественно, этот метод еще мене эффективен.

В варианте с инвертированным индексом поисковые системы сталкиваются с неувязкой величины файлов. Как правило, они существенно значительны. Эту делему обычно решают 2-мя способами. 1-ый состоит в том, что из файлов удаляется все избыточное, а остается только то, что вправду необходимо для поиска. 2-ой способ состоит в том, что для каждой позиции запоминается не абсолютный адресок, а относительный т.е. разница адресов меж текущей и предшествующей позициями.

Таковым образом, два основных процесса, выполняемых поисковой машиной – это индексирование веб-сайтов, страничек и поиск. В общем, процесс индексирования для поисковиков заморочек не вызывает. Неувязкой является обработка миллиона запросов в день. Это соединено с большенными размерами инфы, которая подвергается обработке огромных компьютерных комплексов. Основной фактор, определяющий количество участвующих в поиске серверов, — поисковая перегрузка. Это разъясняет некие странности возникающие при поиске инфы.

Поисковые машины состоят из 5 отдельных программных компонент:

spider (паук):
браузероподобная программка, которая закачивает Интернет-страницы.

crawler :
«путешествующий» паук, который автоматом идет по всем ссылкам, отысканным на страничке.

indexer (индексатор):
«слепая» программка, которая анализирует Интернет-страницы, скаченные пауками.

the database (база данных):
хранилище скаченных и обработанных страничек.

search engine results engine (система выдачи результатов):
извлекает поисковые результаты из базы данных.

Spider:
Паук – это программка, которая закачивает Интернет-страницы. Он работает буквально как ваш браузер, когда вы соединяетесь с сайтом и загружаете страничку. Паук не имеет никаких зрительных компонент. То же действие (скачка) вы сможете следить, когда просматриваете некую страничку и когда выбираете «просмотр html-кода» в собственном браузере.

Crawler:
Как и паук закачивает странички, он может «раздеть» страничку и отыскать все ссылки. Это его задачка – определять, куда далее должен идти паук, основываясь на ссылках либо исходя из заблаговременно данного перечня адресов.

Indexer:
Индексатор разбирает страничку на разные ее части и анализирует их. Элементы типа заголовков страничек, заголовков, ссылок, текста, структурных частей, частей BOLD, ITALIC и остальных стилевых частей странички вычленяются и анализируются.

Database:
база данных – это хранилище всех данных, которые поисковая машина закачивает и анализирует. Это нередко просит больших ресурсов.

Search
Engine
Results:
Система выдачи результатов занимается ранжированием страничек. Она решает, какие странички удовлетворяют запросу юзера, и в котором порядке они должны быть отсортированы. Это происходит согласно методам ранжирования поисковой системы. Эта информация является более ценной и увлекательной для нас – конкретно с сиим компонентом поисковой системы ведет взаимодействие оптимизатор, пытаясь сделать лучше позиции веб-сайта в выдаче, потому в предстоящем мы тщательно разглядим все причины, действующие на ранжирование результатов.

Работа поискового указателя происходит в три шага, из кото­рых два первых являются предварительными и неприметны для юзера. Поначалу поисковый указатель собирает инфор­мацию из World
Wide
Web
.
Для этого употребляют особые программки, подобные браузеры. Они способны скопи­ровать заданную Web-страницу на поискового указателя, просмотреть ее, отыскать все гипетэссылки, которые на ней имеютте ресурсы, которые найдены там, опять разыскать имеющиеся в их гиперссылки и т. д. Подобные программки именуют червями, пауками, гусеницами, краулерами, спайдерами
и иными схожими именами. Любой поисковый указатель эксплуатирует для данной цели свою неповторимую программку, которую часто сам и разрабатывает. Почти все современные поисковые системы родились из экспериментальных проектов, связанных с разработкой и внедрением автоматических про­гр, занимающихся мониторингом Сети. На теоретическом уровне, при успешном входе спайдер
способен прочесать все Web-простран­ство за одно погружение, но на это нужно весьма много времени, а ему еще нужно временами ворачиваться к ранее посе­щенным ресурсам, чтоб надзирать происходящие там конфигурации и выявлять «мертвые» ссылки, т. е. потерявшие актуальность.

Опосля копирования разысканных Web-ресурсов на поис­ковой системы начинается 2-ой шаг работы — индексация. Индексирование страничек делается специальной программкой именуемой роботом. У каждой поисковой машинки таковых ботов весьма много. Все это служит целью параллельного скачки документов из разных мест сети. Закачивать документы по очереди не имеет смысла, так малоэффективно. Представьте для себя повсевременно растущее дерево. На стволах которого вновь и вновь возникают лепесточки (странички веб-сайтов). Естественно же, вновь появляющиеся веб-сайты будет проиндексированы существенно резвее, если ботов пустить по любому ответвлению дерева, а не созодать это поочередно.

На техническом уровне модуль скачки бывает или мультимедийным (Altavista Merkator), или употребляется асинхронный ввод-вывод (GoogleBot). Также разрабам повсевременно приходится решать задачку многопоточного DNS-сервера.

В мультитредовой схеме скачивающие треды именуются червяками (worms), а их Менеджер– погоняльщиком червяков (wormboy).

Не почти все серверы выдержат перегрузки нескольких сотен червяков, потому Менеджерсмотрит потом, чтоб не перегружать серверы.

Для скачки страничек боты употребляют протоколы HTTP. Работает он последующим образом. Бот на передает запрос “get/path/document” и остальные полезные строчки, относящиеся в HTTP запросу. В ответ бот получает текстовый поток, содержащий служебную информацию и конкретно сам документ.

Целью скачки является уменьшение сетевого трафика при наибольшей полноте.

Полностью все поисковые боты подчиняются файлу robots.txt, где web мастер может ограничить индексацию страничек роботом.Также у ботов есть и свои фильтры.

к примеру, некие боты боятся регистрировать динамические странички. Хотя на данный момент web мастеры без заморочек обходят эти места. Ну и таковых ботов остается меньше.

Также у всякого бота есть перечень ресурсов, отнесенных к мусору. Соответственно, эти ресурсы посещаются ботами существенно меньше, или совершенно игнорируются в течение определенного времени, при всем этом поисковые машины не фильтруют информацию

У моделей скачки в поддержке есть остальные модули, выполняющие вспомогательные функции. Они помогают уменьшать трафик, наращивать глубину поиска, обрабатывают нередко обновляемые ресурсы, хранят URL и ссылки, чтоб повторно не закачивать ресурсы.

Есть модули отслеживания дубликатов. Они помогают отсеивать странички с повторной информацией. Т.е. если бот находит дубликат уже имеющейся странички либо со слегка модифицированной информацией, то он просто не идет далее по ссылкам странички.Есть отдельный модуль определения шифровки и языка документа.

Опосля того как страничка было скачена, она обрабатывается html-парсером. Он оставляет только ту информацию от документа, которая вправду принципиальна для поиска: текст, шрифты, ссылки и т.д. Хотя на данный момент боты индексируют практически все. И JavaScript и Вебе встречалось, то либо другое слово. Считайте, что индексированная база данных — это собственного рода словарь. Она нужна для того, чтоб поисковая машина могла весьма стремительно отвечать на запросы юзеров. Современные системы способны выда­вать ответы за толики секунды, но если не приготовить индексы заблаговременно, то обработка 1-го запроса будет длиться часами.

На 3-ем шаге происходит обработка запроса клиента и выдача ему поисковых результатов в виде перечня гиперссылок. Допустим, клиент желает выяснить, где в Вебе имеются Web-страницы, на которых упоминается узнаваемый голландский механик, оптик и математик Христиан Гюйгенс. Он вводит слово Гюйгенс в поле набора главных слов и надавливает клавишу. Отыскать (Search). По своим базам указателей поисковая машина в толики секунды разыскивает пригодные Web-ресурсы и фор­мирует страничку поисковых результатов, на которой советы представлены в виде гиперссылок. Дальше клиент может воспользоваться этими ссылками для перехода к интересующим его ресурсам.

Все это смотрится довольно просто, но по сути тут есть трудности. Основная неувязка современного Веба связана с обилием Web-страниц. Довольно ввести в поле поиска такое обычное слово, как, к примеру, футбол, и русская поис­ковая система выдаст несколько тыщ ссылок, сгруппировав их по 10-20 штук на отображаемой страничке.

несколько тыщ — это еще не так много, поэтому что зарубеж­ная поисковая машина в аналогичной ситуации выдала бы сотки тыщ ссылок. Попытайтесь отыскать посреди их подходящую! Вообщем, для рядового пользователя совсем все равно, выдадут ему тыщу поисковых результатов либо миллион. Как правило, кли­енты просматривают не наиболее 50 ссылок, стоящих первыми, и что там делается далее, не много кого волнует. Но клиен­тов весьма и весьма волнует свойство самых первых
ссылок. Клиенты не обожают, когда в первом 10-ке встречаются ссылки, утратившие актуальность, их раздражает, когда попорядку идут ссылки на примыкающие файлы 1-го и такого же сервера. Самый же нехороший вариант — когда попорядку идут несколько ссылок, веду­щих к одному и тому же ресурсу, но находящемуся на различных серверах.

клиент вправе ждать, что самыми первыми будут стоять наи­наиболее полезные ссылки. Вот тут и возникает неувязка. Чело­век просто различает нужный ресурс от никчемного, но как разъяснить это программке?! Потому наилучшие поисковые сис­темы проявляют чудеса искусственного ума в попытке отсортировать отысканные ссылки по качественности их ресур­сов. И созодать это они должны стремительно — клиент не любит ожидать.

Строго говоря, все поисковые системы черпают начальную информацию из 1-го и такого же Web-пространства, потому начальные базы данных у их могут быть относительно похожи. И только на 3-ем шаге, при выдаче поисковых результатов, каж­дая поисковая машина начинает проявлять свои наилучшие (либо худшие) личные черты. Операция сортировки полу­ченных результатов именуется ранжированием.
Каждой най­денной Web-странице система присваивает некий рейтинг, который должен отражать свойство материала. Но свойство — понятие личное, а программке необходимы конкретные аспекты, которые можно выразить числами, подходящими для сопоставления.

Высочайшие рейтинги получают Web-страницы, у каких клю­чевое слово, использованное в, запросе, заходит в заголовок. Уровень рейтинга увеличивается, если это слово встречается на Web-странице пару раз, но не очень нередко. Благопри­ятно влияет на рейтинг вхождение подходящего слова в первый раз 5-6 абзацев текста — они числятся самыми необходимыми при индек­сации. По данной причине бывалые Web-мастера избегают давать сначала собственных страничек таблицы. Для поисковой системы каж­дая ячейка таблицы смотрится, как абзац, и поэтому содержательный главный текст вроде бы далековато отодвигается вспять (хотя на дисплее это и не приметно) и перестает играться решающую роль для поисковой системы.

Весьма отлично, если главные слова, использованные в запросе, входят в другой текст, провождающий иллюстра­ции. Для поисковой машины это верный признак того, что дан­ная страничка буквально соответствует запросу. Еще одним призна­ком свойства Web-страницы является тот факт, что на нее есть ссылки с каких-либо остальных Web-страниц. Чем их больше, тем лучше. Означает, эта Web-страница популярна и владеет высо­ким показателем цитирования.
Самые совершенные поиско­вые системы смотрят за уровнем цитирования зарегистрирован­ных ими Web-страниц и учитывают его при ранжировании.

Создатели Web-страниц постоянно заинтересованы в том, чтоб их просматривало больше людей, потому они специально гото­вят странички так, чтоб поисковые системы давали им высо­кий рейтинг. Не плохая, грамотная работа Web-мастера метод­на существенно поднять посещаемость Web-страницы, но есть и такие «мастера», которые пробуют одурачить поиско­вые системы и придать своим Web-страницам значимость, кото­рой в их по сути нет. Они неоднократно повторяют на Web-странице какие-то слова либо группы слов, а для того чтоб те не попадались на глаза читателю, или делают их исключи­тельно маленьким шрифтом, или используют цвет текста, сов­падающий с цветом фона. За такие «хитрости» поисковая сис­тема может и наказать Web-страницу, присвоив ей штрафной отрицательный рейтинг.

2 Обзор функционирования поисковых систем

2.1 Забугорные поисковые системы: состав и механизмы работы

К числу самых общепризнанных принадлежит AltaVista
, мощный аппаратный и программный потенциал, которой дозволяет проводить поиск по хоть какому слову из текста Web-страницы либо статьи в телеконференции (данные 1998 г.). AltaVista содержит сведения о 30 миллионах Web-страниц и статьях из 14 тыщ телеконференций.

Данная система употребляет достаточно непростой механизм составления запроса, включающий композиции отдельных слов, словосочетаний и символов пунктуации: кавычек, точек с запятой, двоеточия, скобок, плюса и минуса либо обычных булевых операторов AND, OR, NOT и NEAR (крайние в рамках усложненного поиска — Advanced search). Их сочетание дает возможность более буквально составить поисковое предписание.

Так, символ плюс, стоящий перед словом значит, что этот термин непременно должен находиться в документе, символ минус, напротив, — отсевает все материалы, содержащие это понятие. Система допускает поиск по целой фразе (в этом случае все словосочетание заключается в кавычки), также поиск с усечением окончаний, при всем этом в конце слова ставится «*». К примеру, для получения сведений обо всех русских документах, имеющих отношение к библиотечному делу, довольно ввести «библиот*».

Юзерам также предоставлена возможность ограничивать запрос по дате сотворения/крайнего обновления документа.

Поиск по всем словам текста декларирован и в HotBot
, который на сей день является самым массивным поисковым средством конкретно для World Wide Web (содержит сведения о 54 миллионах документов). Углубленный поиск — Expert Search в HotBot дает поразительно широкие способности для детализации запроса.

Это получается из-за использования многоступенчатого меню, предлагающего разные варианты составления поискового предписания.

Можно выполнить поиск по сочетанию в документе нескольких разных определений, поиск по отдельной фразе, поиск определенного лица либо электрического адреса. Для детализации запроса может быть применение критерий SHOULD — «может содержать», MUST -«должен непременно содержать», MUST NOT — «не должен содержать» по отношению к любым понятиям.

Увлекательным поисковым средством является Excite
, также обеспечивающий полнотекстовый поиск на наиболее чем 50 миллионах Web-страниц.

Изюминка работы с ним состоит в том, что запросы в эту систему водятся на естественном языке (естественно же на британском) так, как если б мы спрашивали человека.

Особая система, сконструированная на базе Умственного извлечения понятий (Intelligent Concept Extraction) анализирует запрос и выдает ссылки на релевантные, по ее компьютерному воззрению, документы.

Практика, но, указывает, что Excite корректно обрабатывает лишь односложные запросы. Для получения инфы по многосложной теме лучше воспользоваться иными поисковыми средствами.

одной из современных систем, обеспечивающих поиск по всем словам текста является OpenText
.

Юзер, но, может по желанию ограничить рамки поиска лишь главными и более важными фрагментами Web-страницы: заглавием, первым заголовком, резюме, электрическим адресом (URL).

Это весьма комфортно, если требуется отыскать только главные работы по какой-нибудь широкой теме. Как и в прошлых вариантах более трудные запросы производятся при помощи усложненного поиска — Power Search.

Его интерфейс дозволяет достаточно просто составить поисковое предписание, используя многоступенчатое меню.

Это меню представляет собой строчки для ввода определений с указанием того в которых полях должны содержаться разыскиваемые данные в сочетании с обычными операторами AND (и), OR (либо), BUT NOT (но не), NEAR ( с) и FOLLOWED BY (следует за).

2.2 Русские поисковые системы: состав и механизмы работы

В крайние годы сложилась и практика коммерческого рейтингования. На техническом уровне они обустроены самыми современными средствами, надлежащими уровню 2000 года, а общий размер Руинтернета (русского сектора Интер­нета) сейчас приблизительно такой, каким был западный сектор в 1994-1995 гг. Потому сейчас в Рф особенных заморочек с поис­ком инфы нет, и в наиблежайшее время они не предвидятся. А в западном секторе трудности с поиском весьма огромные, и различные поисковые системы пробуют по-разному их преодо­леть. О том, как это происходит, мы и поведаем.

Из поисковых указателей в Рф сейчас действуют три «кита» (есть и наиболее маленькие системы, но мы останавливаться на их не будем). Это «Rambler» (www.Rambler.ru), «Yandex» (www.yandex.ru) и «Aport2000» (www.aport.ru).

Исторически более пользующейся популярностью поисковой машиной явля­ется «Rambler». Она начала работать ранее остальных и длительное время лидировала по размеру поискового указателя и качеству услуг поиска. Как досадно бы это не звучало, сейчас эти заслуги в прошедшем. Несмо­тря на то, что размер поискового указателя «Rambler» приблизительно равен 12 миллионам Web-страниц, он издавна толком не обнов­лялся и выдает устаревшие результаты. сейчас «Rambler» -это пользующийся популярностью портал, наилучшая в Рф классификационно-рейтинговая система (о том, что же все-таки это такое, мы поведаем ниже) плюс пространство в Рф по посещаемости и имеет отличные доходы от рекламы. Но в развитие средств поиска средства, как мы покажем ниже, не вкладываются.Самый большенный указатель лежит в базе системы «Yandex» -примерно 27 миллионов Web-страниц, но дело не только лишь в раз­мере. Это не попросту указатель на ресурсы, а указатель на самые животрепещущие ресурсы. По уровню актуальности «Yandex» этого­денька — бесспорный фаворит. Система «Aport» выигрывает на 3-ем шаге: в момент представления инфы клиенту. Она не стремится к созда­нию самого огромного указателя автоматическими средствами, а заместо этого обширно употребляет информацию из каталога @Rus, проходящую ручную обработку. Потому система выдает не так много результатов, как ее наиблежайшие соперники, но зато эти результаты, как правило, точны и наглядно представ­елены.

Вывод

Заключение пишется в конце и подразумевает конечность. Но рост инфы нескончаем, а поэтому нет предела совершенствованию поисковых систем. Важной задачей разрабов является улучшение свойства поиска, движение в сторону большей эффективности и удобства в использовании системы. С данной целью повсевременно изменяются поисковые методы, создаются доп сервисы, дорабатывается .

Но для того, чтоб выжить в мире оживленного Веба, при разработке нужно закладывать большенный припас стойкости, повсевременно заглядывать в завтрашний денек и примерять будущую нагрузку на нынешний поиск. Таковой подход дозволяет заниматься не только лишь неизменной борьбой и приспособлением поисковой машинки к возрастающим размерам инфы, да и реализовывать что-то новое, вправду принципиальное и необходимое для увеличения эффективности поиска в сети веб.

Перечень литературы:

1. Е. Колмановская, CompTek International, Яndex: система российского поиска Internet/Intranet.

2. Абросимов А.Г., Абрамов Н.В., Мотовилов Н.В., Корпоративные экономические информационные системы, уч. пос. СГЭА, 2005.

3. Информационно-поисковые системы. – http://www.comptek.ru/yandex/yand_about.html.

4. Троян Г.М. Поиск в русской части Веб: поисковая машина Yandex // Радиолюбитель. Ваш комп. – № 1-3, 2000.

5. Современный самоучитель работы в сети Веб. Самые пользующиеся популярностью программки: Практ. пособ. – Под ред. Комягина В.Б. – М.: Издательство «Триумф», 1999. – 368 с.

]]>