Файловая система Ext4

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

«Московский государственный технический университет

имени Н.Э. Баумана»

(МГТУ им. Н.Э. Баумана)

Факультет «Информатика и системы управления»

Кафедра «Компьютерные системы и сети»

Группа ИУ6-62

КУРСОВАЯ РАБОТА

на тему: «Файловая система Ext4»

Студент: Порядин И.А.

Преподаватель: Пугачев Е.К.

Москва 2011

Оглавление

Введение

1. Новые возможности ext4 (в сравнении с ext3)

2. Структура группы блоков

2.1 Суперблок

2.2 Блок описания группы

2.3 Битовые карты

2.4 Таблица индексных дескрипторов

3. Совместимость

Вывод

Список использованных источников

Введение

Ext4 -- это результат эволюции Ext3, наиболее популярной файловой системы в Linux. Впервые экспериментальная поддержка ext4 была выпущена в виде патча для Linux версий 2.6.19-rc1-mm1 и 2.6.19-rc1-git8 10 октября 2006 года программистом Эндрю Мортоном. В настоящее время по умолчанию используется в следующих ОС:

- Ubuntu начиная с версии 9.1

- openSuse 11.2

- Mandriva Linux 2010

- Fedora 11

- Red Hat Enterprise Linuх начиная с версии 6

- PCLinux 2010

Кроме этого, поддерживается в Ubuntu 9.04, Debian 6.0, Fedora 9.

В системах Windows доступ к томам с ext4 возможен посредством использования технологии coLinux. Поддержка Просмотра/Чтения реализована в программе Ext2read. Частичный функционал работы с ext4 на уровне драйвера Windows реализован в Ext2Fsd Project.

1. Новые возможности ext4 (в сравнении с ext3)

Использование экстентов

Традиционные файловые системы, произошедшие от Unix, такие как Ext3, используют схему непрямого отображения блоков для отслеживания каждого блока, отвечающего за хранение данных файла. Такой подход неэффективен для больших файлов, особенно при операциях удаления и усечения таких файлов, поскольку карта соответствия содержит по одной записи на каждый отдельный блок. В больших файлах блоков много, их карты соответствия большие, и обрабатываются они медленно.

В современных файловых системах применяется иной подход, основанный на так называемых экстентах. Экстент -- это в общем-то набор последовательных физических блоков. Он как бы говорит нам: «Эти данные находятся в следующих n блоках». Например, файл размером в 100 мегабайт может храниться в единственном экстенте такого же размера, вместо того, чтобы быть разбитым на 25600 4-килобайтных блоков, адресуемых путём непрямого отображения. Экстенты позволяют адресовать большое количество (до 128 MB) последовательно идущих блоков одним дескриптором. До 4х указателей на экстенты может размещаться непосредственно в индексном дескрипторе, что достаточно для файлов маленького и среднего размера.

48-битные номера блоков

На сегодняшний день максимальный размер файловой системы Ext3 равен 16 терабайтам, а размер файла ограничен 2 терабайтами. В Ext4 добавлена 48-битная адресация блоков, что означает, что максимальный размер этой файловой системы равен одному экзабайту

Выделение блоков группами (multiblock allocation)

Если в Ext3 нужно записать на диск новые данные, специальный механизм распределения блоков определяет, какие блоки из числа свободных будут для этого использованы. Проблема в том, что в Ext3 этот механизм распределяет за один подход только один блок (4 килобайта). Это означает, что, если нужно записать, скажем, 100 мегабайт данных, нужно будет обратиться к механизму распределения 25600 раз. Мало того, что это неэффективно, это к тому же не позволяет оптимизировать политику распределения, поскольку соответствующий механизм не имеет понятия о реальном объёме данных, подлежащем записи, а знает только об одном-единственном блоке.

Ext4 использует механизм многоблочного распределения (multiblock allocator, mballoc) который позволяет распределить любое количество блоков с помощью единственного вызова и избежать огромных накладных расходов. Файловая система хранит не только информацию о местоположении свободных блоков, но и количество свободных блоков, идущих друг за другом. При выделении места файловая система находит такой фрагмент, в который данные могут быть записаны без фрагментации. Это снижает уровень фрагментации файловой системы в целом. Благодаря этому производительность существенно вырастает, что особенно заметно при отложенном распределении с использованием экстентов. Эта возможность никак не влияет на формат данных.

Отложенное выделение блоков (delayed allocation)

Суть этого метода состоит в отсрочке выделения блоков насколько это возможно -- по контрасту с подходом, применямым в традиционных файловых системах (таких как Ext3, reiser3 и т. д.): распределять блоки сразу, при первой возможности. Например, если процесс осуществляет запись вызовом write(), файловая система распределит блоки под запись немедленно -- даже если данные пока не будут записываться на диск, а будут находиться какое-то время в кэше. Недостатки такого подхода, например, в том, что, если процесс непрерывно осуществляет запись в растущий файл, последовательные вызовы write() постоянно распределяют блоки данных, и при этом неизвестно, будет ли файл расти далее.

При использовании отложенного распределения блоки сразу не выделяются при обращении к write(). Вместо этого распределение откладывается до момента, когда файл будет записан из кэша на диск. Благодаря этому механизм получает возможность оптимизировать процесс распределения - операции выделения блоков можно делать не по одной, а группами, что в свою очередь минимизирует фрагментацию и ускоряет процесс выделения блоков. С другой стороны, увеличивает риск потери данных в случае внезапного пропадания питания.

Превышен лимит в 32000 каталогов.

В ext3, если не использовать специальные патчи, в одном каталоге можно было создать не более 32000 подкаталогов (или, если быть совсем точным, до 65535 каталогов, но только изменяя константы ядра). Ext4 снимает это ограничение и позволяет создавать неограниченное количество подкаталогов.

Резервирование индексных дескрипторов при создании каталога (directory inodes reservation)

При создании каталога резервируется несколько индексных дескрипторов. Впоследствии, при создании файлов в этом каталоге сначала используются зарезервированные индексные дескрипторы, и если таких не осталось, выполняется обычная процедура.

Увеличенный размер индексного дескриптора

Размер (по умолчанию) увеличен с 128 до 256 байтов. Это дало возможность реализовать те преимущества, которые перечислены ниже.

Временные метки с наносекундной точностью (nanosecond timestamps)

Более высокая точность времён, хранящихся в индексных дескрипторах. Диапазон хранящихся времён тоже расширен: если раньше верхней границей хранимого времени было 18 января 2038 года, то теперь это 25 апреля 2514 года

Версия индексного дескриптора

В индексном дескрипторе появился номер, который увеличивается при каждом изменении файла. Это будет использоваться, например, в NFSv4, для того чтобы узнавать, изменился ли файл.

Хранение расширенных атрибутов в индексном дескрипторе (EA in inode)

Хранение расширенных атрибутов, таких как ACL, атрибутов SELinux и прочих, позволяет повысить производительность. Атрибуты, для которых недостаточно места в индексном дескрипторе, хранятся в отдельном блоке размером 4KB. Предполагается снять это ограничение в будущем.

Контрольное суммирование в журнале (Journal checksumming)

Журнал является наиболее часто используемой частью диска, вследствие чего блоки, из которых он состоит, становятся особенно чувствительными к отказам оборудования. Более того, попытка восстановления при повреждённом журнале может привести к ещё более массовым повреждениям в данных. Ext4 подсчитывает контрольные суммы журнальных данных, что позволяет определить факт их повреждения. У этого есть и ещё одно преимущество: благодаря контрольным суммам можно превратить систему двухфазной фиксации журнала Ext3 в однофазную, что ускоряет файловые операции в отдельных случаях до 20 %, таким образом, улучшаются одновременно и надёжность, и производительность.

Режим без журналирования

Журналирование обеспечивает целостность файловой системы путём протоколирования всех происходящих на диске изменений. Но оно также вводит дополнительные накладные расходы на дисковые операции. В некоторых особых ситуациях журналирование и предоставляемые им преимущества могут оказаться излишними. Ext4 позволяет отключить журналирование, что приводит к небольшому приросту производительности.

Предварительное выделение (persistent preallocation)

Сейчас для того, чтобы приложению гарантированно занять место в файловой системе, оно заполняет его нулями. В ext4 появилась возможность зарезервировать множество блоков для записи и не тратить на инициализацию лишнее время. Если приложение попробует прочитать данные, оно получит сообщение о том, что они не проинициализированы. Таким образом, несанкционированно прочитать удалённые данные не получится. Плюсы предварительного выделения:

- предотвращение выполнение того же самого приложениями, неэффективно заполняющими файлы нулями -- нужные блоки будут выделены разом

- снижение фрагментации -- опять же потому, что блоки выделяются однократно, настолько непрерывно, насколько это возможно.

- приложение будет иметь столько места, сколько ему требуется, что особенно важно для приложений, работающих в реальном времени, поскольку файловая система может вдруг переполниться в процессе выполнения важной операции.

Дефрагментация без размонтирования (online Defragmentation)

Хотя отложенное и многоблочное распределение и экстенты помогают уменьшить фрагментированность файловой системы, со временем она всё-таки может вырасти. Например, вы создаёте три файла в одном каталоге и они расположены на диске друг за другом. Потом, однажды вы решаете обновить второй файл, и при этом файл становится несколько больше -- так, что места для него становится недостаточно. При этом нет никаких других решений, кроме как отделить не вмещающийся фрагмент файла и положить его на другое место диска или выделить файлу последовательную область диска большего размера в другом месте, вдалеке от первых двух файлов, что приведёт к перемещениям головки диска, если приложению потребуется считать все файлы в каталоге (скажем, менеджер файлов будет создавать эскизы для файлов изображений). Помимо этого, файловая система может заботиться только об определённых типах фрагментации и она не может знать, например, что она должна хранить все файлы, требуемые при загрузке, рядом друг с другом, поскольку она просто не знает, какие из них требуются при загрузке. Чтобы решить эту проблему, Ext4 будет поддерживать онлайн-дефрагментацию. файловая система битовая карта индексный дескриптор

Также имеется утилита e4defrag, которая позволяет дефрагментировать как отдельные файлы, так и всю файловую систему.

Неинициализированные блоки (uninitialised groups)

Пока не реализовано. Позволяет ускорить проверку файловой системы с помощью процедуры fsck. Блоки, отмеченные как неиспользуемые, проверяются группами, и детальная проверка производится, только если проверка группы показала, что внутри есть повреждения. Предполагается, что эта возможность может очень сильно ускорить процесс проверки целостности файловой системы; в зависимости от способа размещения данных время проверки будет составлять от 1/2 до 1/10 от нынешнего.

Механизм «шлагбаумов» по умолчанию включен

Это опция, обеспечивающая целостность файловой системы ценой некоторой потери производительности (её можно отключить). Код файловой системы обязан перед созданием записи фиксации журнала быть абсолютно уверенным, что вся информация о транзакции помещена в журнал. Просто делать запись в правильном порядке недостаточно; современные диски имеют кэш большого объёма и меняют порядок записи для оптимизации производительности. Поэтому файловая система обязана явно сообщить диску о необходимости записать все журнальные данные на носитель перед созданием записи фиксации; если сначала будет создана запись фиксации, журнал может быть повреждён. Блокирующая система ввода-вывода ядра предоставляет такую возможность благодаря использованию механизма «шлагбаумов» (barriers); проще говоря, «шлагбаум» запрещает запись любых блоков, посланных после него, до того момента, как всё, что было прислано перед «шлагбаумом», будет перенесено на носитель. При использовании «шлагбаумов» файловая система может гарантировать, что всё, что находится на диске, целостно в любой момент времени.

2. Структура группы блоков

Каждая группа блоков состоит из следующих частей: суперблок, описание группы, резервные блоки, битовая карта блоков, битовая карты индексных дескрипторов, таблица индексных дескрипторов, блоки данных (таблица 1).

Таблица 1 - Структура группы блоков

2.1 Суперблок

Первый элемент этой структуры суперблок, который одинаков для всех групп, а все остальные - индивидуальны для каждой группы. Он хранится в первом блоке каждой группы блоков (за исключением группы 1, в которой в первом блоке расположена загрузочная запись). Суперблок является начальной точкой файловой системы. Он имеет размер 1024 байта и всегда располагается по смещению 1024 байта от начала файловой системы.

Информация, хранимая в суперблоке, используется для организации доступа к остальным данным на диске: определяется размер файловой системы, максимальное число файлов в разделе, объем свободного пространства и содержится информация о том, где искать незанятые участки и многое другое Структура суперблока приведена в таблице 2.

При запуске ОС суперблок считывается в память и все изменения файловой системы вначале находят отображение в копии суперблока, находящейся в ОП, и записываются на диск только периодически. Это позволяет повысить производительность системы, так как многие пользователи и процессы постоянно обновляют файлы. С другой стороны, при выключении системы суперблок обязательно должен быть записан на диск, что не позволяет выключать компьютер простым выключением питания. Размер суперблока - 1024 байта.

Таблица 2 - Структура суперблока

2.2 Блок описания группы

Вслед за суперблоком расположен блок описания группы (Group Descriptors). Это описание представляет собой массив, содержащий: адрес блока, содержащего битовую карту блоков (block bitmap) данной группы, адрес блока, содержащего битовую карту индексных дескрипторов (inode bitmap) данной группы, адрес блока, содержащего таблицу индексных дескрипторов (inode table) и т.д. (более подробная структура приведена в таблице 3)

Общий размер блока - 64 байта.

Таблица 3 - Структура блока описания группы

2.3 Битовые карты

Битовые карты отделяются от блока описания группы несколькими резервными блоками, выделяемыми при форматировании, предназначенными для дальнейшего расширения файловой системы.

Битовая карта блоков (Data Block Bitmap) - это структура, каждый бит которой показывает, отведен ли соответствующий ему блок какому- либо файлу. Если бит равен 1, то блок занят. Эта карта служит для поиска свободных блоков в тех случаях, когда надо выделить место под файл.

Битовая карта индексных дескрипторов (inode Bitmap) - выполняет аналогичную функцию по отношению к таблице индексных дескрипторов: показывает какие именно дескрипторы заняты.

2.4 Таблица индексных дескрипторов

Служит для хранения таблицы индексных дескрипторов файлов. Подробнее в таблице 4. Блока - 156 байтов, в дальнейшем возможно расширение до 256.

Таблица 4 - Структура индексного дескриптора

3. Совместимость

Любая имеющаяся файловая система типа Ext3 может быть конвертирована в Ext4 путём простой процедуры, состоящей из запуска пары команд в режиме «только чтение». Это означает, что вы можете повысить производительность и вместимость и улучшить возможности вашей имеющейся файловой системы без переформатирования и без переустановки ОС и программ. Если вы хотите получить преимущества Ext4 в production-системе, вы также можете обновить файловую систему. Эта процедура безопасна и не подвергает риску ваши данные (при этом, само собой, рекомендуется сделать резервную копию важных данных. Впрочем, это нужно делать, даже если вы не собираетесь менять файловую систему).

Ext4 будет использовать новые структуры только для новых данных, а старые при этом останутся неизменными. При необходимости их можно будет читать и изменять. Это безусловно означает, что, единожды сменив файловую систему на Ext4, вернуть Ext3 будет уже невозможно.

Также имеется возможность смонтировать файловую систему Ext3 как Ext4 без использования нового формата данных, что позволит впоследствии смонтировать её опять как Ext3. При этом, само собой, вы не сможете воспользоваться многочисленными преимуществами Ext4.

Вывод

Во многих аспектах Ext4 представляет собой больший шаг вперёд по сравнению с Ext3, чем Ext3 была по отношению к Ext2. Наиболее значительным усовершенствованием Ext3 по сравнению с Ext2 было журналирование, в то время как Ext4 предполагает изменения в важных структурах данных, таких как, например, предназначенных для хранения данных файлов.

Ext4 работает быстрее, особенно хорошо это заметно при работе с большими файлами. Достигается это за счет эффективного использования дискового пространства. Увеличена скорость проверки и восстановления данных путем добавлением списка неиспользованных индексных дескрипторов, которые не будут проверяться, а также использованием контрольных сумм.

В целом, файловая система стала стабильнее, производительнее и дополнилась рядом новых функций и возможностей.

Список использованных источников

1. Пугачев Е.К. Методические указания по выполнению домашнего задания по дисциплине "Операционные системы".- М.: МГТУ им. Н.Э. Баумана, 2007. - 4 с. - В электронном виде.

2. https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout.

3. Пугачев Е.К. Курс лекций. 2011.

4. http://habrahabr.ru/blogs/linux/58183.

Размещено на Allbest.ru