Сетевые средства Linux

Когда пользователь посылает сообщение, сервер добавляет к нему поле заголовка Message-Id, содержащее идентификационный код. Этот код состоит из последовательного номера, генерируемого сервером, и имени сервера. Поскольку идентификатор содержит имя сервера, он является уникальным во всей системе Usenet. Посредством идентификаторов сервер новостей определяет, какие сообщения были просмотрены и какие должны быть переданы клиенту.

Для взаимодействия серверов новостей используются два типа протокола NNTP: протокол передачи (push protocol) и протокол получения (pull protocol). Во время передачи данных один из серверов выступает в роли клиента, а другой — в роли сервера. При использовании протокола передачи клиент сообщает серверу о каждом имеющемся у него сообщении, передавая его идентификатор. Сервер ищет это сообщение в своей базе данных и определяет, нужно ли оно ему. Процесс повторяется для каждого сообщения, которые присутствуют на сервере, выполняющем в процессе взаимодействия роль клиента. При этом производятся многочисленные обращения к базе данных. Альтернативой протоколу передачи является протокол получения, при использовании которого принимающий сервер выступает в роли клиента. Сначала принимающая система получает полный список сообщений, поступивших на сервер с указанного момента, а затем запрашивает конкретные сообщения. Такой протокол работает более эффективно, но при этом необходимо принимать меры предосторожности, чтобы сервер не передал сообщение, предназначенное для внутреннего использования.

Поскольку пользователи постоянно присылают новые сообщения, сервер должен удалять устаревшие статьи, в противном случае жесткий диск быстро переполнится. (На самом деле угроза переполнения диска существует даже тогда, когда старые сообщения периодически удаляются с сервера.) Обычно сообщения удаляются с сервера через определенное время после их поступления. Время хранения сообщений на сервере зависит от многих факторов, например, от имеющегося в наличии дискового пространства, от количества поддерживаемых групп новостей, от трафика, связанного с передачей сообщений в эти группы, и от того, насколько популярна та или иная группа среди пользователей. Серверы новостей позволяют устанавливать для разных групп новостей различное время хранения материалов.

Независимо от используемого протокола и времени хранения сообщений, в передаче материалов групп может участвовать несколько компьютеров. Серверы новостей взаимодействуют друг с другом, образуя сложную структуру. Передача материалов групп от одного сервера другому называется поставкой новостей. Как правило, небольшие серверы, подключенные через линии с относительно невысокой пропускной способностью, получают материалы групп у крупных серверов. Например, сервер, находящийся в небольшом колледже (назовем его условно Tiny College), может получать содержимое групп новостей у сервера большого университета (Pangaea University). Это означает, что основная часть сообщений, находящихся на сервере news.tiny.edu, получена с сервеpa news.pangaea.edu. Однако часть данных может передаваться и в противоположном направлении, так как пользователи news.tiny.edu посылают свои сообщения в группы и эти сообщения должны быть доставлены на сервер news.pangaea.edu. Кроме того, в Tiny College могут поддерживаться свои группы новостей; при передаче этих групп news.tiny.edu станет поставщиком для news.pangaea.edu. Pangaea University, в свою очередь, получает и т.д.

В службе новостей не соблюдается строгая иерархия. Например, не исключено, что на сервере news.pangaea.edu не поддерживаются некоторые группы, в которых испытывают необходимость пользователи news.tiny.edu. В этом случае администратор Tiny College должен принять меры для получения материалов этих групп с другого сервера. То же самое делает администратор Pangaea University для получения групп, необходимых его пользователям. Не все группы, находящиеся у поставщика новостей, должны быть переданы. С целью экономии дискового пространства получатель может отказаться от некоторых групп и даже от целых категорий групп, не требующихся пользователям.

В результате взаимодействия серверов новостей формируется система, в которой несколько крупных серверов являются поставщиками новостей для других серверов меньшего размера. Эти серверы, в свою очередь, поставляют материалы групп другим серверам и т.д. Любой из серверов новостей может обслуживать клиентские программы. Клиентские программы, или программы просмотра новостей, также используют протокол NNTP. Они могут принимать и передавать сообщения, но не могут выступать в качестве поставщиков новостей. Помимо обмена материалами групп, серверы также модифицируют заголовки сообщений, включая в них идентификаторы серверов, а часто и идентификаторы клиентов, с которых были переданы сообщения.

Необходимо помнить, что поток сообщений передается в обоих направлениях. Если бы новые сообщения не передавались от сервера, получающего материалы, серверу, выступающему в роли поставщика, то у поставщика не было бы материалов групп. Крупные серверы выполняют функции "накопителей", на которые стекаются новые сообщения от пользователей. Но следует заметить, что небольшие серверы получают от поставщиков новостей гораздо больший объем материалов, чем они генерируют сами.

Сервер INN

Среди серверов новостей, предназначенных для выполнения в системе Linux, наиболее популярным является InterNetNews, или INN (http://www.isc.org/products/INN). Пакет INN состоит из нескольких программ, работающих совместно. Основная программа, innd, предназначена для обработки новых статей и поддержки соединений. Программа nnrpd обслуживает соединения с программами просмотра новостей. Для инициализации соединений с другими серверами применяется программа innxmit, которая, в свою очередь, использует для решения многих задач nntpsend. Для каждой из указанных программ предусмотрен отдельный конфигурационный файл, некоторые из них используют несколько файлов. Основные конфигурационные файлы находятся в каталоге /etc/news, но некоторые файлы располагаются также в /var/lib/news и других каталогах.

Сервер INN в составе операционной системы Linux обычно поставляется в пакете под названием inn. В этой главе описана версия 2.2.2 INN, но конфигурация остальных реализаций INN 2.x практически не отличается от INN 2.2.2. В некоторых системах INN настраивается для совместной работы с Cleanfeed. Cleanfeed — это дополнительный пакет, автоматически удаляющий с сервера новостей некоторые типы спама. (Спам в составе групп новостей создает большие проблемы для администраторов. Работая с материалами групп, вы не замечаете сообщений, содержащих навязчивую рекламу, лишь потому, что существуют средства, эффективно удаляющие их.)

Получение материалов групп

Если вы устанавливаете на своем компьютере сервер новостей, который должен поддерживать хотя бы часть Usenet, вам необходимо найти поставщика новостей и сконфигурировать свой сервер для работы с ним. Настройка сервера для получения материалов групп будет обсуждаться далее в этой главе, а здесь мы кратко рассмотрим вопросы выбора поставщика. Протокол NNTP позволяет использовать для получения групп любой сервер новостей, однако не следует думать, что вы можете указать в конфигурационном файле произвольные серверы. Вам необходимо найти такой сервер, администратор которого согласился бы предоставлять вам необходимые материалы.

Поиск сервера на роль поставщика новостей лучше всего начать с провайдера. Если быстродействие вашего соединения достаточно для того, чтобы вы могли получать материалы требуемых групп, провайдер предоставит их вам или, по крайней мере, укажет сервер новостей, услугами которого вы могли бы воспользоваться. Многие провайдеры, в особенности те, которые предоставляют услуги Internet небольшим компаниям, не содержат своего сервера новостей, так как пропускная способность их линий не позволяет им этого. В этом случае поставщиком новостей может быть независимый сервер, например NewsGuy (http://www.newsguy.com).

Поддержка групп новостей при наличии ограниченных ресурсов

Если вы хотите поддерживать сервер новостей, имея в своем распоряжении ограниченные аппаратные ресурсы и недостаточно высокую пропускную способность линии, вам следует отказаться от так называемых двоичных групп. Посредством таких групп распространяются двоичные файлы, содержащие звуковые, клипы, оцифрованные фотоснимки коды программ и т.д. Материалы подобных групп создают трафик большого объема, поскольку размеры двоичных файлов существенно превышают средние размеры текстовых сообщений, передаваемых в обычные группы. В именах большинства двоичных групп присутствует имя binary или binaries. Как правило, такие группы находятся в категории alt, но они также встречаются в comp и других категориях.

Если же собираетесь предоставлять пользователям материалы групп в полном объеме, но имеющиеся ресурсы не позволяют сделать это, вы можете организовать получение материалов из внешнего источника (outsourcing). Для этого надо заключить соответствующий договор с поставщиком новостей и создать на своем сервере NDS запись, указав в ней IP-адрес сервера поставщика. У пользователей создастся впечатление, что они работают с вашим сервером новостей, но на самом деле основную работу по их обслуживанию будет выполнять внешний сервер. Так часто поступают провайдеры, предоставляющие услуги небольшим компаниям. Недостаток подобного подхода состоит в том, что администратор внешнего сервера может не согласиться поддерживать группы новостей для локального использования абонентами вашей сети.