Дмитрий Ландэ
Бурное развитие компьютерной сети Internet в последние годы во всем мире и в Украине привело к зарождению и развитию всемирной информационной инфраструктуры серверов WWW (World Wide Web), давно уже ставшей транснациональной. Наша страна также вошла в эту инфраструктуру, добавив в нее свыше 300 WWW-серверов и около 3000 WWW-страниц.
При этом WWW-серверы, как правило, сосредоточены в узлах сети Internet, предоставляющих сетевые услуги конечнымпользователям или другим узлам сети. Учитывая специфику провайдерской деятельности, можно констатировать, что далеко не каждый сервер в узле сети представляет собой информационную ценность для всего сообщества пользователей Internet. Действительно, информация об узле, расположенном в другом городе, о его коллективе, условиях подключения и обслуживания будет мало интересна большинству пользователей сети Internet. Таким образом, далеко не все WWW-серверы сети Internet можно считать информационными.
Классификация WWW-серверов
В настоящее время существует несколько типов WWW-серверов и отдельных WWW-страниц, которые в зависимости от решаемых задач и наполнения можно классифицировать следующим образом:
1. WWW-серверы узлов сети Internet - на этих серверах провайдеры сетевых услуг размещают информацию не только о себе, своей деятельности и о сети Internet, но и обеспечивают доступ к новостям системы телеконференций Usenet, содержат ссылки на другие серверы и коллекции файлов самого разного содержания. Традиционно обеспечивается высокая посещаемость таких серверов, так как обычно они считаются "домашними" серверами для прямых абонентов.
В качестве примеров можно привести, http://www.lucky.net, http://www.ts.kiev.ua, http://www.freenet.kiev.ua.
2. Имиджные WWW-серверы фирм и организаций - это серверы, на которых приведена информация о фирме, ее деятельности, продукции, персонале, а также серверы многих организаций (в том числе и государственных), на которых представлены цели этих организаций, адресные данные и т. п.
Примеров таких серверов можно привести очень много - http://www.ics-co.kiev.ua ; http://www.kvazar-micro.com ; http://www.noos.kiev.ua/.
3. Рекламные WWW-серверы, на которых размещается реклама заказчиков. Для того, чтобы добиться эффективной рекламы, должна быть обеспечена хорошая посещаемость сервера, для чего он должен быть наполнен достаточно большим объемом качественной открытой информации, содержать "привлекательные" для абонента разделы, например, электронные магазины, выставки и т.п. Для достижения успеха должна быть обеспечена хорошая "видимость" узла в сети Internet, что обеспечивается в первую очередь использованием "качественных" телекоммуникационных каналов.
В качестве примеров таких серверов сегодня в Украине можно привести лишь серверы крупнейших провайдеров сети Internet.
4. Серверы центров генераторов баз данных и информационных агентств. Основная задача таких серверов - продажа информации или обеспечение к ней коммерческого доступа. Как правило, на таких серверах содержится значительный объем открытой информации, которая обеспечивает высокую посещаемость и известность серверов.
Примеры таких серверов http://www.ipri.kiev.ua, http://www.visti.net, http://www.lis.kiev.ua
5. Серверы общественно-политической и государственной направленности. Это серверы, на которых пропагандируются или рекламируются определенные идеи (политические, религиозные, экономические, философские). Они, как правило не используются для коммерческой рекламы, а существуют за счет инвестиций или госбюджета. К этой категории можно отнести также серверы различных благотворительных фондов. Примеры таких серверов http://www.rada.kiev.ua; http://www.ukraine.org; http://www.ugkc.lviv.ua
6. Любительские или персональные WWW-серверы или WWW-страницы создаются, как правило, персоналом узлов Internet, на них содержится разнообразная информация о сети, увлечениях персонала, графика, мультимедиа-информация. На таких страницах содержатся интересные ссылки на профессиональную литературу, а также демонстрируются технологические новинки.
Например, персональная страница автора данной статьи находится по адресу: http://www.visti.net/~dwl; очень интересны WWW-страницы персонала компаний Global Ukraine (http://www.gu.net/GURU) и Luky Net (http://www.lucky.net/staff.shtml).
Приведенная классификация, естественно, не является идеальной и соответствует лишь современному состоянию инфраструктуры в Украине. В настоящее время можно найти очень немного WWW-серверов (и даже WWW-страниц), относящихся только к одному приведенному классу. При достаточно высоком уровне насыщенности WWW-сервера полезной информацией он переходит на качественно новый уровень - становится информационным сервером (ИС). При этом критерии определения уровня информационной насыщенности являются скорее качественными и им всегда присущи элементы субьективизма.
Кто заказывает музыку?
За счет чего же могут существовать Web-сервервы? Ответов несколько:
- за счет сетевой провайдерской деятельности;
- за счет рекламы на WWW-сервере сторонних фирм;
- за счет продажи закрытой части информации;
- за счет инвестиций;
- за счет госбюджета.
Реальность и доступность Web-ресурсов
Всегда тонким является вопрос соотношения закрытой и открытой части информации на информационных серверах. В этом отношении интересна модель, реализованная на одном из американских энергетических серверов Energy Central (http://www.energycentral.com). Все пользователи сети Internet, работающие с этим сервером делятся на три группы: незарегистрированные пользователи, зарегистрированные пользователи и подписчики. Незарегистрированные пользователи имеют доступ к определенной ограниченной части информации, представляющей ежедневные дайджесты сообытий в области энергетики. Пользователи, прошедшие процесс бесплатной регистрации получают дополнительно доступ к 30-50 полнотекстовым документам в день, а подписчики, заплатившие положенный взнос получают право неограниченного доступа к закрытым от остальных ресурсам сервера.
Закрытые информационные серверы можно условно разделить на три группы:
- корпоративные серверы, информация которых должна быть доступна только в пределах одной организации. Зачастую такие серверы устанавливаются в intranet-сетях;
- серверы, предоставляющие исключительно коммерческий доступ к информации;
- серверы, которые могли бы относиться к открытым, но по каким-то причинам не анонсируются, либо доступ к которым временно затруднен по техническим причинам.
При организации открытого информационного сервера одним из важнейших моментов является взаимодействие с информационными источниками: генераторами баз данных, информационными и ценовыми агентствами, прессой, средствами массовой информации.
Предоставление открытой информации источниками сегодня осуществляется в нескольких формах:
1. Предоставление информации в виде рекламы издания, при этом многие газеты и журналы размещают резюме, обложки, некоторые графические материалы, преследуя следующие цели:
- общая реклама издания в сети;
- организация подписки среди посетителей WWW-сервера;
- для привлечения инвестиций.
Примеры WWW-страниц с такими материалами можно найти, например, на серверах http://www.cu.kiev.ua, http://www.ukrainemediabus.kiev.ua.
2. Представления сокращенных версий изданий в электронном виде (электронных версий), при этом преследуются все названные выше цели, но добавляется еще один мотив, заключающийся в попытке заинтересовать читателя в покупке полной бумажной версии. Примеры серверов с такими материалами: http://www.chip.kiev.ua; http://www.visti.net/pcwu; http://www.kp.crimea.ua.
3. Предоставление полных версий, учитывая статистику чтения бумажных и электронных изданий, а также хорошо зная ситуацию на существующем рынке бумажных и электронных изданий. Примеры полных электронных изданий: http://www.visti.net/GUDS - Вестник Государственной Службы Украины; http://www.ukraine.org - Вечерний Киев, Всеукраинские ведомости, Киевские Ведомости, Зеркало недели и др.; http://www.comcentre.nikolaev.ua - Новая николаевская газета.
Сегодня на многих серверах сложились определенные подходы в размещении страниц пользователей. Как правило, WWW-страницы открытых информационных источников, соответствующих тематике сервера фирмы провайдера, размещаются на льготных условиях, на них устанавливаются ссылки, производится обсчет статистики. Фирмы, которые лишь рекламируют себя, свою коммерческую и информационную деятельность, даже являясь потенциальными информационными источниками, размещают свою информацию на общих основаниях. При этом обычно указывается, что ответственность за содержание и достоверность информации ложится на рекламодателя.
Анонсы новых серверов принято публиковать в телеконференциях UseNet ukr.netnews и relcom.www.announce. Списки WWW-серверов собираются и публикуются в соответствующих разделах на многих известных серверах сети Internet (см., например, http://weblist.gu.net, или http://www.visti.net/ua-inet/). Очень подробные списки украинских серверов приведены в Бельгии http://inch.uia.ac.be/u/kindr/ukraine/), меннее подробные на сервере Верховной Рады (http://www.rada.kiev.ua). Не обошли нас вниманием и российские адресные серверы (http://www.weblist.ru и http://www.rambler.ru), кое-какая информация есть на сервере Yahoo! (http://www. yahoo.com). Особо интересные результаты можно получить, указав ключевые слова "Ukraine", "Украина" и "Укра╖на" известному поисковому серверу AltaVista (http://www.altavista.telia.com).
Сегодня существует свыше сотни универсальных поисковых серверов в сети Internet. Они обеспечивают поиск в огромном массиве сетевых ресурсов (свыше 300 тыс. WWW-серверов, 50 млн. WWW-страниц). Наиболее популярные среди них расположены по таким адресам в сети (URL): http://www.altavista.digital.com , http://www.yahoo.com , http://www.infoseek.com . В основном эти сервера универсальны и область их охвата - весь мир. Для украинского пользователя и для лиц, заинтересованных в контактах с Украиной создан новый поисковый сервер по адресу http://el.visti.net , который с большой детализацией и динамикой отражает сетевые ресурсы Украины и позволяет проводить поиск в нескольких специализированных базах данных. При этом язык запросов допускает ввод поисковых предписаний как на русском, так и на украинском языках в кодировках Win 1251 и KOI8, доступных большинству украинских пользователей сети Internet.
Поисковый сервер el.visti.net обеспечивает поиск в трех базах данных: в базе данных украинских Web-серверов; в базе данных реферативных описаний Web-серверов; в базе данных украинских телеконференций Usenet.
Поиск может осуществляться в двух режимах - простом и расширенном. Первый режим предполагает поиск по правой части термина, входящего в записи базы данных. Во втором режиме обеспечивается поиск с использованием логических операторов AND, OR и NOT.
В качестве поискового механизма и средства создания баз данных на сервере используется информационно-поисковая система InfoRes, интегрированная в WWW с помощью механизма CGI.
База данных украинских Web-серверов создается на основе файла, получаемого путем автоматической выгрузки содержания гипертекстовых страниц украинских Web-серверов. В процессе сканирования Web-серверов раскрываются гипертекстовые связи, что приводит к адаптивному расширению начального списка существующих серверов. На сегодняшний день этот список превышает 300 записей о Web-серверах и 3000 записей об украинских Web-страницах. После получения многомегабайтного файла, в котором объединено содержание всех отсканированных Web-серверов, выполняются операции удаления дублирующихся записей и преобразования информации во входной формат информационно-поисковой системы InfoRes.
База данных реферативных описаний Web-серверов строится на основании ретроспективы телеконференции elvisti.info.www, куда в течение года сотрудниками Информационного центра "ЭЛВИСТИ" помещаются как собственные описания WWW-серверов, так и материалы, полученные из различных источников. Обработанные соответствующим образом данные поступают на вход подсистемы формирования баз данных InfoRes.
В базе данных украинских телеконференций Usenet присутствуют записи всех телеконференций, имеющих отношение к Украине (иерархии ukr.*, kiev.*, donbass.*, soc.culture.ukrainian и др.) с ретроспективой в 10 дней. Обновление базы данных происходит несколько раз в сутки.
На сервере el.visti.net у пользователя есть возможность добавления своего URL в базу данных украинских Web-серверов. После анализа достоверности указанного адреса, он помещается в конфигурационный файл - список серверов, который затем используется при автоматическом сканировании.
Информационно-поисковая система InfoRes, разработанная в Информационном центре "ЭЛВИСТИ", обладает архитектурой ИПС с инвертированным индексом. База данных InfoRes состоит из пяти основных файлов:
- текстовый файл, в котором содержатся тексты документов - записей БД;
- текст-индексный файл, с помощью которого осуществляется доступ к записям текстового файла по их номерам;
- файл уникальных слов, содержащий все уникальные слова базы данных и указатели на цепочки их появлений в текстовом файле;
- инверсный файл, содержащий цепочки появлений слов в текстовом файле;
- файл описания базы данных, в котором приведено название базы данных, определены поля, их типы, коды, наименования, уровни доступа.
Механизм поиска при такой архитектуре базы данных следующий. При отработке термина из поискового предписания программа поиска обращается к файлу уникальных слов, находит это слово , определяет указатель на цепочку появлений. После этого проискодит обращение к инверсному файлу и по указателю на цепочку появления определяются номера доументов, содержащие искомый термин. Затем происходит обращение к текст-индексному файлу, который в соответствие номерам документов выдает их позицию в текстовом файле.
Поисковый сервер el.visti.net сегодня позволяет:
- по ключевым словам определять название и непосредственно выходить на украинские Web-ресурсы, что особенно важно, например, при поиске деловых партнеров, контактов, формировании информационных материалов и т.п.
- не используя английского языка находить наиболее интересные украинские и мировые WWW-ресурсы;
- ориентироваться в огромном потоке украинского Usenet, всегда быть в курсе сетевых, политических, экономических и коммерческих новостей Украины.
Проект сервера el.visti.net, созданного на базе Информационного центра "ЭЛВИСТИ", постоянно развивается и открыт для сотрудничества с заинтересованными лицами и организациями.
Сегодня сеть Internet по праву можно считать не знающей границ. Некоторые зарубежные информационные серверы (http://www.tryzub.com, http://www.ukraine.org, http://www.utoronto.ca/cius и т. д.) можно считать в значительной степени более украинскими, чем некоторые из тех, что расположены в городах Украины. Это относится к языку, содержанию, направленности информации. Кроме того, в силу сложившейся топологии сети, зарубежные серверы зачастую более доступны украинскому пользователю, чем отечественные. Поэтому нет большого смысла в графическом изображении контуров Украины для иллюстрации топологии системы информационных серверов. Зачастую географическое положение сервера вообще сложно определить по его адресу.
Строим свой Web-сервер?
При размещении информации на WWW-сервер всегда возникает вопрос, создавать ли новый сервер самому, заказать создание и ведение сервера, либо воспользоваться одним из существующих серверов?
Для создания собственного полноценного WWW-сервера на своих технических средствах в общем случае необходимы три условия:
- наличие выделенного канала связи до узла сети Internet (идеальные условия, например, если узел находится поблизости, - это использование Ethernet);
- наличчие собственного IP-адреса, т.е. постоянного адреса в сети, выделенного Вам предоставителем услуг сети Internet;
- наличие программного обеспечения, реализующего возможности WWW-сервера, так называемого "демона" протокола передачи гипертекстовой информации - HTTPD. Такое программное обеспечение существует для большинства платформ и операционных систем и зачастую распространяется бесплатно.
Такой сервер позволит размещать объемы информации, ограниченные только физическими характеристиками накопителей сервера, создавать в своем окружении WWW-страницы и обеспечивать запуск процедур (CGI-сценариев), инициируемых при определенных условиях пользователем. Затраты на создание и поддержку полноценных WWW-серверов достаточно высоки и оцениваются тысячами долларов США. Эти затраты включают также издержки на программно-технологическую поддержку сервера.
Одной из альтернатив созданию собственного полноценного WWW-сервера является создание виртуального сервера на технических средствах предоставителя услуг сети Internet. При этом автоматически решаются вопросы телекоммуникаций, зачастую для создания такого сервера не требуется выделения собственного IP-адреса (практически на одном IP-адресе могут уживаться несколько WWW-серверов), установку программного обеспечения сервера и его поддержку выполняет предоставитель сетевых услуг. При этом у заказчика имеется возможность размещать на виртуальном WWW-сервере ограниченные объемы информации, информационные разделы других пользователей (WWW-страницы) и обеспечивать выполнение CGI-сценариев. Посетители WWW-серверов практически не могут определить разницы межу реальным и виртуальным WWW-сервером, хотя условия для создания и ведения виртуальных WWW-серверов более ограничены, чем для реальных. При этом затраты на создание и ведение виртуального сервера в общем случае на порядок меньшие, чем на реальный.
Если пользователь хочет разместить ограниченные объемы своей информации на существующем WWW-сервере, при этом его не беспокоит то, что в адресной части его сервера в явном виде будет присутствовать также и название существующего WWW-сервера, ему не требуется обеспечивать выполнение CGI-сценариев, он может довольствоваться созданием WWW-страницы, которая физически ассоциируется с подкатологом на сервере, где размещен ограниченный объем гипертекстовой информации. Затраты на создание и ведение WWW-страниц на порядок меньшие, чем в случае виртуальных WWW-серверов.
Дмитрий Владимирович Ландэ, заместитель директора ИЦ "ЭЛВИСТИ", кандидат технических наук E-mail: dwl@visti.net URL: http://www.visti.net/~dwl