Перенаправление потоков ввода и вывода в операционных системах UNIX и MS-DOS

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

В самых ранних вариантах UNIX коммуникационные средства основывались на символьном вводе/выводе, главным образом потому, что аппаратной основой являлись модемы и терминалы. Поскольку такие устройства являются относительно медленными, в ранних вариантах не требовалось особенно заботиться о модульности и эффективности программного обеспечения. Несколько позже в системе появилась поддержка более развитых устройств, протоколов, операционных режимов и т. д., но программные средства по-прежнему основывались на ограниченных возможностях символьного ввода/вывода.

Общей проблемой ОС UNIX было то, что слабая развитость подсистемы ввода/вывода требовала решения задачи проектирования и включения в систему нового драйвера при каждом подключении нового устройства. Хотя зачастую уже существовал программный код, обладающий хотя бы частью функций, требуемых в новом драйвере, отсутствовала возможность использования этого существующего кода.

Во многом эта проблема была решена компанией AT&T, которая предложила и реализовала механизм потоков (STREAMS), обеспечивающий гибкие и модульные возможности для реализации драйверов устройств и коммуникационных протоколов. Потоки были впервые реализованы Деннисом Ритчи в 1984 году и были включены в пакет Networking Support Facilities (NSU) UNIX System V Release 3. В UNIX System V Release 3 потоки были включены как основа реализации существующего символьного ввода/вывода. Однако в Release 4 в реализацию потоков были включены интерфейс драйвера устройства (DDI - Device Driver Interface) и интерфейс между драйвером и ядром (DKI - Device Kernel Interface), которые в совокупности одновременно обеспечивают возможности по взаимодействию драйвера устройства с ядром системы и простоту повторного использования имеющегося исходного кода драйверов. С использованием механизма потоков были переписаны практически все символьные драйверы, полностью переработаны подсистема управления терминалами и механизм программных каналов (pipes). Если не вдаваться в детали, Streams (Потоки) представляют собой связанный набор средств общего назначения, включающий системные вызовы и подпрограммы, а также ресурсы ядра. В совокупности эти средства обеспечивают стандартный интерфейс символьного ввода/вывода внутри ядра, а также между ядром и соответствующими драйверами устройств, предоставляя гибкие и развитые возможности разработки и реализации коммуникационных сервисов. При этом механизм потоков не навязывает какой-либо конкретной архитектуры сети и/или конкретных протоколов. Как и любой другой драйвер устройства, потоковый драйвер представляется специальным файлом файловой системы со стандартным набором операций: open, close, read, write и т. д. Ввод и вывод в операционных системах (как в MS-DOS, так и в UNIX) может быть организован двумя принципиально разными способами. Первый способ представляет собой прямое программирование устройства ввода и вывода (Экрана, дисковода, принтера, модема, клавиатуры). Также он может быть организован на различных уровнях (непосредственное программирование устройства, использование сервисных средств самой операционной системы, смешанный подход к устройству и т. д.), но суть его при этом не изменяется. Каждая программа, написанная с использованием этого способа, может работать только с этим устройством и ни в коем случае с другим. В настоящее время чаще всего используют именно этот метод. Именно при помощи этого подхода (точнее, путем косвенного программирования периферийного устройства через драйверы этого самого устройства). Но у этих систем есть недостаток: они не могут принять данные с устройств и передать данные устройствам, для работы с которыми они не были созданы. Например, нельзя данные вводить с модема, если работает только с клавиатурой. Что бы осуществить это используют совсем другой способ - ввод и вывод данных при помощи использования потоков. В этом же случае каждое устройство рассматривается операционной системой как файл, куда можно поместить информацию и откуда, потом ее можно взять для дальнейшего использования. Так само, как информация, записанная в файл, рассматривается операционной системой как единое целое, не зависимо от способа его записи на диске, так и физическая реализация процесса ввода и вывода информации или данных устройством никак не влияет или не отражается на работе пользователя. Как правило, эффект, достигаемый прямым программированием устройств, невозможно реализовать на уровне потоков (нельзя поменять даже цвет символов, даже не говоря об использовании графики). Но выигрыш в заключается в том, что унификация процессов иногда оказывается более существенной. Например, при работе с текстовой информацией.

системный файл информация

1. Потоки UNIX и MS-DOS

Стандартные потоки ввода и вывода в UNIX и MS-DOS наряду с файлами являются одним из наиболее распространенных средств для обмена информацией процессов с внешним миром, а перенаправления >, >> и |, одной из самых популярных конструкций командного интерпретатора.

Стандартные потоки - это «псевдофайлы» (воображаемые файлы), которые дают возможность осуществлять взаимодействие пользователя с машиной через запись или чтение «псевдофайла». Это означает, что вывод на экран представляет собой запись файла, а ввод - как чтение файла. Файл, из которого происходит чтение информации, называется стандартным потоком ввода, по аналогии, файл в который осуществляется запись - стандартный поток вывода. Кроме этих потоков ввода и вывода, существует стандартный поток ошибок, который принимает или на который выводятся все сообщения о ошибках работы программы, а также вывод сообщений о ходе работы программы, которые не могут быть выведены на стандартный поток вывода. Стандартные потоки ввода, вывода и ошибок привязаны к файловым дескрипторам (положительное, не нулевое число; с его помощью процесс обращается файлу, открытому окну, элементу управления) с номерами 0, 1, и 2.

1. Стандартный поток ввода (stdin) - 0;

2. Стандартный поток вывода (stdout) - 1;

3. Стандартный поток ошибок (stderr) - 2;

Вывод данных и информации на экран, а также их чтение с клавиатуры пользователя потому, что по умолчанию стандартные потоки ввода, вывода, ошибок ассоциированы или привязаны к терминалу пользователя. При этом это не является обязательным, так как потоки можно подключать, перенаправлять в файлы, программы и даже устройства. Перенаправление потоков можно использовать для быстрой передачи информации от одной программы к другой, также от устройства к устройству, устройства - программы. Это все можно сделать при помощи относительно не большого количества операций и операторов. Поток номер 0 (stdin) зарезервирован для чтения данных или команд пользователя или входных данных с любых устройств и программ. При интерактивном запуске программы на компьютере поток по умолчанию нацелен или установлен на чтение с устройства текстового интерфейса пользователя (Клавиатуры). Командная оболочка UNIX и MS-DOS (также оболочки других систем) позволяют изменять цель этого самого потока при помощи символа «<». Системные программы (демоны и т. п.), как правило, не пользуются этим потоком.

Поток номер 1 (stdout) зарезервирован для вывода данный, как правило текстовых данных (хотя и не обязательно). В этом случае при интерактивном запуске программ по умолчанию нацелен на запись устройства отображения (обычно монитор). Командная оболочка UNIX и MS-DOS (также оболочки других систем) позволяет перенаправлять этот самый поток при помощи символа «>». Средства для выполнения программ в фоновом режиме (например, nohup) обычно переназначают поток в файл. Поток номер 2 (stderr) зарезервирован для вывода диагностических и отладочных сообщений в текстовом виде. Чаще всего цель этого потока совпадают с stdout, однако, в отличие от него, цель потока stderr не меняется при «>» и создания конвейеров («|»). То есть, отладочные сообщения процесса, вывод которого перенаправлен, все равно попадут пользователю. Командная оболочка UNIX позволяет изменять цель этого потока с помощью конструкции «2>». Например, для подавления вывода этого потока обычно пишется «2>/dev/null» (отправка данных с потока в «корзину»). В системе MS DOS также используется потоки с номерами 4 (stdprn) и 5 (stdaux). В первом случае поток под номером 4 выводит данные на печать, а поток с номером 5 считывает данные с вспомогательного устройства. Аналогом такого потока в UNIX используются команды ” >lpr” и “>com” Обычными средствами операционная система MS-DOS не может перенаправлять стандартный поток ошибок, в отличие от UNIX в котором используются вышеприведенные команды.

2. Перенаправление потоков

В информатике перенаправлением, называют возможность командной оболочки (например, в UNIX) перенаправлять стандартные потоки (которые описанные выше) в определенное пользователем место, например файл или устройство. Стандартными способами, которыми пользуется большинство пользователей, являются несколько символов или команд перечисленных ниже:

1. <”File” - использовать файл как источник данных для стандартного потока ввода.

2. >”File” - направить стандартный поток ошибок в указанный файл. В том случае, если файла не существует, он будет создан; если же он существует, он будет перезаписан сверху.

3. 2>”File” - Эта команда перенаправляет стандартный поток ошибок в указанный файл. В этом случае если файла не существует, он будет создан, если существует - перезаписан сверху.

4. >>”File” - Направляет стандартный поток вывода в файл. В этом случае если файла не существует, он опять же будет создан, если же существует - необходимые данные будут дописаны в конец указанного файла.

5. 2>>”File” - Направляет стандартный поток ошибок в указанный файл. Если же указанный файл не существует, он будет создан; если же файл существует - необходимые данные будут дописаны в конец файла.

6. &>”File” или >&”File” - Эти команды направят стандартный поток вывода и стандартный поток ошибок в указанный файл. Другая форма записи: >”File” 2>&1.

7. >&- - Закрывает стандартный поток вывода перед вызовом команды.

8. 2>&- - Соответственно закрывает стандартный поток ошибок перед вызовом указанной команды.

Пример. Эта команда объединяет три файла: head, body, footer в один файл letter:

· %$ cat header body footer > letter

Команда “cat” по очереди выводит содержимое файлов, перечисленных выше, в качестве параметров на стандартный поток вывода. В свою очередь стандартный поток вывода перенаправлен на файл letter.

Здесь используется сразу перенаправление стандартного потока ввода и стандартного потока вывода:

· %$ sort < unsortedwords > sortedwords

Здесь программа “sort” сортирует данные, поступившие в стандартный поток ввода, и выводит их на стандартный поток вывода. Стандартный поток ввода подключен к файлу unsortedwords , а выход записывается в sortedwords.

Здесь перенаправлены потоки вывода и потоки ошибок:

· %$ find / home -name `*.gz' > gzlist 2> / dev/null.

Программа “find” ищет в / home файлы с суффиксом .gz. Список найденных файлов записывается в файл gzlist. Все сообщения об ошибках отправляются в файл / null - специальный файл означающий ничто. Данные, отправленные туда, просто безвозвратно исчезают. Если же прочитать содержимое этого файла, то он окажется абсолютно пустым.

Для того, чтобы лучше понять, что потоки работают как файлы, стоит рассмотреть такой пример:

· %$ cat > /tmp/file1 &

[1] 28377

[1]+ Stopped cat > /tmp/file1

%$ ls - l /proc/28377/fd/

total 0

lrwx------ 1 alex alex 64 2013-12-20 14:24 0 -> /dev/pts/1

l-wx------ 1 alex alex 64 2013-12-20 14:24 0 -> /tmp/file1

lrwx------ 1 alex alex 64 2013-12-20 14:24 0 -> /dev/pts/1

l-wx------ 1 alex alex 64 2013-12-20 14:24 0 -> pipe:[13325]

lr-x------ 1 alex alex 64 2013-12-20 14:24 0 -> pipe:[13328]

Программа cat запускается для записи данных в файл / tmp/fff. Он запускается в фоне (&), и получает номер работы 1. Процесс этой программы имеет номер 28378.Информация о процессе 28738 находится в каталоге /proc/28738 специальной псевдофайловой системы /proc. В частности, в подкаталоге /proc/28738/fd/ находится список файловых дескрипторов для открытых процессом файлов. Здесь видно, что стандартный поток ввода (0), и стандартный поток ошибок (2) процесса подключены на терминал, а вот стандартный поток вывода (1) перенаправлен в файл. Завершить работу программы cat можно командой kill %1. Командный интерпретатор -- это тоже процесс. И у него есть стандартные потоки ввода и вывода. Если интерпретатор работает в интерактивном режиме, то они подключены на консоль (вывода на экран; чтение с клавиатуры). Можно обратиться напрямую к этим потокам изнутри интерпретатора:

1. /dev/stdin - стандартный поток ввода.

2. /dev/stdout - стандартный поток вывода.

3. /dev/stderr - стандартный поток ошибок.

Например, здесь видно, что потоки ссылаются в конечном итоге на файл - устройство с которым работает интерпретатор:

· %$ ls -l /dev/std*

lrwxrwxrwx 1 root root 15 2009-06-17 23:54 /dev/stderr -> /proc/self/fd/2

lrwxrwxrwx 1 root root 15 2009-06-17 23:54 /dev/stdin -> /proc/self/fd/0

lrwxrwxrwx 1 root root 15 2009-06-17 23:54 /dev/stdout -> /proc/self/fd/1

· %$ ls -l /proc/self/fd/[012]

lrwx------ 1 igor igor 64 2009-06-24 18:16 /proc/self/fd/0 -> /dev/pts/1

lrwx------ 1 igor igor 64 2009-06-24 18:16 /proc/self/fd/1 -> /dev/pts/1

lrwx------ 1 igor igor 64 2009-06-24 18:16 /proc/self/fd/2 -> /dev/pts/1

· %$ tty

/dev/pts/1

3. Каналы. Свойства каналов

Стандартные потоки можно перенаправлять не только в файлы, но и на вход других программ. Если поток вывода одной программы соединить с потоком ввода другой программы, получится конструкция, называемая каналом, конвейером или пайпом англ. Pipe - труба.В bash канал выглядит как последовательность команд, отделенных друг от друга символом “ | ”:

· Команда1 | Команда2 | Команда 3

Стандартный поток вывода команды подключается к стандартному потоку ввода команды, стандартный поток вывода команды 2 в свою очередь соответственно подключается к потоку ввода команды 3 и т. д. В UNIX присутствует целый класс команд, предназначенных для преобразования стандартных и нестандартных потоков данных в каналы. Такие программы, как известно, называют - фильтры. Программа-фильтр прочитывает данные, поступающие со стандартного потока ввода (на вход) одной программы, преобразовывает их необходимым образом и выводит на стандартный поток вывода (на выход) другой программы. Существует множество очень хорошо известных фильтров, призванных решать определенные задачи, и являются незаменимым инструментом в руках, как опытного пользователя, так и не очень опытного пользователя ОС. Каналы в UNIX подобных ОС представляют собой одной из наиболее часто применяемых конструкций, а фильтры -- наиболее часто применяемых программ. Большинство повседневных задач в UNIX подобных ОС легко решаются при помощи конструкций построенных на основе нескольких фильтров. Программы, образующие канал или каналы, выполняются параллельно как независимые процессы. Можно создавать ответвление в каналах, тем самым, добавляя больше производительности процессу. Команда ”tee” позволяет или дают возможность пользователю, сохранять/копировать информацию, передающиеся в канале:

· tee [флаги/опции] файл

Программа “tee” копирует данные, поступающие на стандартный поток ввода, в указанные в качестве аргументов команды файлы, и одновременно передает данные на стандартный поток вывода. Рассмотренный ниже пример: сортируется файл unsortedlines и результат записывается в sortedlines.

· %$ cat unsorted | sort > sortlines

Этот канал или команда выполняет те же действия, но запись является более наглядной.Вот пример посложнее. Вывести название и размер пользовательского каталога, занимающее наибольшее место на диске.

· $ du -s /home/* | sort -nr | head -l

Программа du, при вызове ее с ключом -s, сообщает суммарный объем каждого каталога или файла, перечисленного в ее параметрах. Ключ -n команды sort означает, что сортировка должна быть арифметической, т.е. строки должны рассматриваться как числа, а не как последовательности символов (Например, 12>5 в то время как строка '12'<'5' т. к. сравнение строк производится посимвольно и '1'<'5'). Ключ -r означает изменения порядка сортировки -- с возрастающего на убывающий. Команда head выводит несколько первых строк поступающего на ее вход потока, отбрасывая все остальные. Ключ -1 означает, что надо вывести только одну строку. Таким образом, список пользовательских каталогов с их суммарным объемом арифметически сортируется по убыванию, и из полученного списка берется первая строка, т. е. строка с наибольшим числом, соответствующая самому объемному каталогу. Еще один пример использования команды tee:

· $ sort text | tee sorted_text | head -n 1

Содержимое файла text сортируется, и результат сортировки перезаписывается в файл sorted_text.

4. Программы - фильтры

В UNIX существует целый класс команд, которые принимают данные или информацию со стандартного потока ввода, некоторым образом обрабатывают их, и выдают результат на стандартный поток вывода, после чего мы видим результат. Такие программы обычно называются программами-фильтрами. Как правило, все эти программы работают как фильтры, если у них нет аргументов, значений, которые задают особые параметры (опции, могут быть). Но как только им в качестве аргумента передаётся файл, они берут и считывают данные из этого файла, а не со стандартного потока ввода (существуют и исключения, например, программа “tr”, которая обрабатывает данные, поступающие исключительно через стандартный поток ввода).

· cat

Считывает данные со стандартного потока ввода и передаёт их на стандартный поток вывода. Без опций работает как простой повторитель. С опциями может фильтровать пустые строки, нумеровать строки и делать другую подобную работу.

· head

Показывает первые 10 строк (или другое заданное количество), считанных со стандартного потока ввода.

· tail

Показывает последние 10 строк (или другое заданное количество), считанные со стандартного потока ввода. Важный частный случай tail -f, который в режиме слежения показывает концовку файла. Это используется, в частности, для просмотра файлов журнальных сообщений.

· cut

Вырезает столбец (по символам или полям) из потока ввода и передаёт на поток вывода. В качестве разделителей полей могут использоваться любые символы.

· sort

Отсортировать данные в соответствии с какими-либо критериями, правилам или то подобному, что позволяет осуществлять разные виды сортировки для файлов, а также разнообразных текстов, например, арифметически по второму столбцу.

· uniq

Удалить повторяющиеся строки. Или (с ключом -с) не просто удалить, а написать сколько таких строк было. Учитываются только подряд идущие одинаковые строки, поэтому часто данные сортируются, перед тем как отправить их на вход программе.

· tee

Ответвить данные в файл. Используется для сохранения промежуточных данных, передающихся в потоке, в файл.

· bc

Вычислить каждую отдельную строку потока и записать вместо неё результат вычисления.

· Hexdump

Показать шестнадцатеричное представление данных, поступающих на стандартный поток ввода.

· String

вычленить и показать в стандартном потоке (или файле) то, что напоминает строки. Всё что не похоже на строковые последовательности, игнорировать. Полезно в сочетании с grep для поиска интересующих строковых последовательностей в бинарных файлах.

· Grep

Отфильтровать поток, и показать только строки, содержащие (или не содержащие) заданное регулярное выражение.

· Tr

Посимвольная замена текста в потоке. Например, trA-Z a-z меняет регистр символов с большого на маленький.

· Sed

Обработать текст в соответствии с заданным скриптом. Наиболее часто используется для замены текста в потоке: sed s/было/стало/g.

· Awk

Обработать текст в соответствии с заданным скриптом. Как правило, используется для обработки текстовых таблиц, например, таких как вывод ps aux и тому подобных, но не только.

· Perl

Обработать текст в соответствии с заданным скриптом. Возможности языка Perl выходят далеко за рамки однострочников для командной строки, но с однострочниками он справляется особенно виртуозно. В Perl существует оператор <> (diamond operator) и конструкция while(<>) {...}, которая предполагает обработку данных со стандартного потока ввода (или из файлов, если они переданы в качестве аргументов). При написании однострочников можно использовать ключи -n (равносильный оборачиванию кода в while(<>) {...}) или -p (равносильный while(<>) {...}).

· Sh -s

Текст, который передаётся на стандартный поток ввода sh -s может интерпретироваться как последовательность команд shell. На выход передаётся результат их исполнения.

· Ssh

Средство удалённого доступа ssh может работать как фильтр.

ssh подхватывая данные, переданные ему на стандартный поток ввода, передаёт их на удалённый хост и подаёт на вход процессу программы, имя которой было передано ему в качестве аргумента. Результат выполнения программы (то есть то, что она выдала на стандартный поток вывода) передаётся со стандартного вывода ssh.

Размещено на Allbest.ru