Интернет-журнал "Домашняя лаборатория", 2008 №5

Системы кодирования текстовых данных были разработаны и в других странах. Так, например, в СССР в этой области действовала система кодирования КОИ-7 (код обмена информацией, семизначный). Однако поддержка производителей оборудования и программ вывела американский код ASCII на уровень международного стандарта, и национальным системам кодирования пришлось "отступить" во вторую, расширенную часть системы кодирования, определяющую значения кодов со 128 до 255. Отсутствие единого стандарта в этой области привело к множественности одновременно действующих кодировок. Только в России можно указать три действующих стандарта кодировки и еще два устаревших.

Так, например, кодировка символов русского языка, известная как кодировка Windows-1251, была введена "извне" — компанией Microsoft, но учитывая широкое распространение операционных систем и других продуктов этой компании в России она нашла широкое распространение в России. Эта кодировка используется на большинстве локальных компьютеров, работающих на платформе Windows.

Другая распространенная кодировка носит название КОИ-8 (код обмена информацией, восьмизначный) — ее происхождение относится ко времени действий Совета Экономической Взаимопомощи государств Восточной Европы. Сегодня кодировка КОИ-8 имеет широкое распространение в компьютерных сетях на территории России и в российском секторе Интернета.

Международный стандарт, в котором предусмотрена кодировка символов русского алфавита, носит название ISO (International Standard Organization — Международный институт стандартизации). На практике данная кодировка используется редко.

На компьютерах, работающих под операционной системой MS-DOS, могут действовать еще две кодировки (кодировка ГОСТ и кодировка ГОСТ альтернативная). Первая из них считалась устаревшей даже в первые годы появления персональной вычислительной техники, но вторая используется и по сей день.

В связи с изобилием систем кодировки текстовых данных, действующих в России возникает задача межсистемного преобразования данных — это одна из распространенных задач информатики.

Подводя некоторый итог, можно сказать, что текстовый файл — это файл, в котором каждый байт интерпретируется как изображаемый символ в некоторой системе кодировки. Кроме кодов изображаемых символов, текстовые файлы включают также ряд управляющих кодов, например, код возврата каретки, перевода строки, конца файла.

Универсальная система кодирования текстовых данных

Если проанализировать организационные трудности, связанные с созданием единой системы кодирования текстовых данных, то можно прийти к выводу, что они вызваны ограниченным набором кодов (256). В то время, очевидно, что если, например, кодировать символы не восьмиразрядными двоичными числами, а числами с большим количеством разрядов, то и диапазон возможных значений кодов станет намного больше. Такая система, основанная на 16-разрядном кодировании символов, получила название универсальной Unicode. Шестнадцать разрядов позволяют обеспечить уникальные коды для 65536 различных символов — этого поля достаточно для размещения в одной таблице символов большинства языков планеты.

Несмотря на тривиальную очевидность такого подхода, простой механический переход на данную систему долгое время сдерживался из-за недостаточных ресурсов средств вычислительной техники (в системе кодирования UNICODE все тестовые документы автоматически становятся вдвое длиннее). Во второй половине 90-х годов технические средства достигли необходимого уровня обеспеченности ресурсами, и сегодня наблюдается постепенный переход документов и программных средств на универсальную систему кодирования.

Кодировка Unicode

В системе Unicode (другое название ISO — International Standard Organization) для представления любого символа используется уже не один, а два байта. Поскольку в этом случае число возможных символов равно 2¹⁶ или 65536, то могут удовлетворяться практически любые потребности всех национальных языков. В настоящее время система Unicode стала "de facto" мировым стандартом. Тем не менее, вряд ли на этом все и остановится. Несмотря на огромное количество возможных кодов (символов), система Unicode все же не способна удовлетворить всем типографским требованиям. Так что, процесс пошел, но "еще не вечер…"

ASCII-кодировка, однако, не умерла. Она осталась как базовый формат для представления текстовой информации. Тексты, созданные в этом формате:

• не имеют различных начертаний шрифта;

• нет ни курсива, ни полужирного, ни подчеркнутого шрифта — он единый на все случаи жизни;

• отсутствуют понятия отступов, кеглей и гарнитур;

• каждая строка представляет собой самостоятельный абзац.

Тем не менее, у ASCII-формата имеется одно очень важное достоинство — он является стандартным, и его понимают абсолютно все программы, работающие с текстами.

Лекция 5

Текстовые редакторы и процессоры

Во многих видах человеческой деятельности требуется уметь обрабатывать текстовую информацию: писать, компоновать результирующий текст из различных источников, переписывать текст, удалять и вставлять фрагменты текста, делать несколько копий одного и тог же текста и т. д. Для облегчения такого традиционного труда для людей различных специальностей были созданы специальные компьютерные программы: текстовые редакторы и текстовые процессоры.

Первоначально появились текстовые редакторы с очень ограниченным количеством функций. Сами же редакторы делились на две категории:

• Командные редакторы очень сложны для неподготовленного пользователя и сейчас практически не находят применения.

• Экранные редакторы находят свое применение и по сей день. Типичным примером экранного текстового редактора с современным интерфейсом является стандартная программа Windows 95/98 — Notepad, называемая в русифицированной версии — Блокнот. Ограниченное множество функций, компенсируется в этой программе абсолютно прозрачным интерфейсом, т. е. способом взаимодействия пользователя и компьютерной программы. Это дает возможность пользователям полностью прогнозировать свои действия при работе с этой программой за очень небольшой (1–1,5 часа) промежуток времени работы с ней.

Логическим итогом развития текстовых редакторов стало их превращение в текстовые процессоры. Типичным представителем современного текстового процессора является приложение Microsoft Word из пакета Microsoft Office. Текстовые процессоры дают гораздо больше возможностей по редактированию текста, чем текстовые редакторы. Поскольку эти программы значительно сложнее, они требуют большей дисковой памяти и для их загрузки требуется больше времени. Для того, чтобы использовать текстовый процессор, необходимо иметь его жестком диске компьютера и постоянно пользоваться документацией по его применению (это не обязательно печатная продукция, а, скорее всего встроенная справочная система, обычно имеющая содержание, перечень терминов, поиск по словам).