(2010 год) с некоторыми дополнениями и уточнениями.
Журналирование
Прежде, чем говорить о файловых системах — давайте кратко рассмотрим понятие «журналирование «.
Журналирование в том или ином виде применяется практически во всех современных файловых системах.
Журналирование используется только при операциях записи на диск, и является своеобразным буфером для всех таких операций. Этот подход помогает решить проблемы, которые возникают во время операции записи на диск, при которых компьютер выключается, например — из-за отключения электричества. Без журналирования в таких случаях невозможно выяснить — какие файлы были записаны — а какие не были или были записаны частично.
При использовании журналирования — файл сначала записывается в журнал (или «лог»). После этого — файл записывается на жесткий диск а потом удаляется из журнала, после чего операция записи считается завершённой. Если во время записи выключилось питание — то после включения системы файловая система может проверить журнал, и найти незавершённые операции.
Самая главная проблема при использовании журналирования — это то, что для её использования требуются дополнительные ресурсы системы. Для того, что бы уменьшить такие накладные расходы — журналируемые файловые системы пишут в журнал не весь файл целиком — а только определённые метаданные.
Файловые системы Ext
Ext
Означает «Extended » (расширенная) файловая система, и она являлась первой, которая была разработана специально для Linux -систем. Всего на сегодняшний день существует 4 файловые системы Ext . Самая первая из них — просто Ext — являлась серьёзным обновлением ФС ОС Minix .
Характеристики Ext :
- максимальный размер файла: 2GB;
- максимальный размер раздела: 2GB;
Разработчик — , а первая версия появилась в 1992 году.
Мы не будем её рассматривать, т.к. скорее всего вы уже никогда с ней не столкнётесь.
Ext2
— не журналируемая ФС, выпущенная в 1993 году, основная задача для которой была поддержка устройств размером до 2 Террабайт. Т.к. у Ext2 нет журналирования — она выполняет намного меньше операций записи на диск, что сказывается на быстродействии и области её применения.
Характеристики:
- максимальный размер файла: 16GB — 2TB;
- максимальный размер раздела: 2 — 32 TB;
- максимальный размер имени 255 символов.
- в силу низкого количества операций записи-удаления данных — является идеальной для различных флеш-накопителей;
- в то же время современные SSD -диски имеют улучшенные показатели их жизненного цикла (изноустойчивости элементов накопителя) и некоторые другие особенности, которые нивелируют недостатки Ext2 как не журналируемой ФС.
Ext3
— появилась в 2001 году, вместе с выпуском Linux Kernel 2.4.15. Фактически является той же Ext2 , но с поддержкой журналирования. Основной целью Ext3 была возможность её обратной совместимости с Ext2 без необходимости переформатирвоания разделов. К преимуществам же можно отнести тот факт, что большая часть тестирования, багфиксов и т.д. для Ext3 была то же, что и в Ext2 , что сделало Ext3 более стабильной и быстрой ФС.
Характеристики:
- максимальный размер файла: 16GB — 2TB (в зависимости от размера блока);
- максимальный размер раздела: 2 — 32 TB (в зависимости от размера блока);
- подходит, если у вас используется Ext2 , и вы хотите исподьзовать журналирование;
- в силу своей производительности и стабильности — вероятно, будет наиболее подходящей ФС для серверов баз данных;
- возможно не лучший выбор для серверов, т.к. не поддерживает создание снимков (shapshot ) ФС и сложностей с восстановлением удалённых файлов.
Ext4
— как и Ext3 имеет обратную совместимость с предыдущими версиями ФС. Собственно говоря, вы можете смонтировать Ext2 или Ext3 как Ext4 -и при определённых условиях добиться большей производительности. Вы так же можете смонтировать Ext4 как Ext3 без каких-либо побочных эффектов.
Ext4 — стабильная версия была выпущена в 2008 году. Является первой ФС из «семейства» Ext , использующая механизм « «, который позволяет добиться меньшей фрагментации файлов и увеличить общую производительность файловой системы. Кроме того — в Ext4 реализован механизм отложенной записи ( ), который так же уменьшает фрагментацию диска и снижает нагрузку на CPU. С другой стороны — хотя механизм отложенной записи и используется во многих ФС — но в силу сложности своей реализации он повышает вероятность утери данных. См. для более подробной информации.
Характеристики:
- максимальный размер файла: 16 TB;
- максимальный размер имени файла: 255 символов.
- наилучший выбор для SSD ;
- наилучшая производительность по сравнению с предыдущими Etx -системами;
- она так же отлично подходит в качестве файловой системы для серверов баз данных, хотя сама система и моложе Ext3 .
BtrFS
— разработана компание Oracle в 2007 году. По своей схеме схожа с ReiserFS , основной принцип её работы — это т.н. . BtrFS позволяет динамически выделять inode, создавать снимки ФС во время её работы, выполнять прозрачную компрессию файлов и делать дефрагментацию в рабочем режиме.
Хотя стабильная версия BtrFS ещё не включена в большинство дистрибутивов Linux (на сегодняшний день, судя по посту — только SUSE и Oracle Linux ) — она вполне может заменить Ext3/4 в обозримом будущем и уже предоставляет возможности по конвертации Ext3/4 в BtrFS . Кроме того, стоит упомянуть, что один из разработчиков Ext , сказал, что «BtrFS — это шаг в будущее».
Характеристики:
- максимальный размер раздела: 16 EB;
- максимальный размер имени файла: 255 символов.
- в силу производительности, снимкам и другим возможностям — BtrFS является отличной файловой системой для сервера;
- Oracle так же разрабатывает замену для NFS и CIFS , которая называется CRFS и которая призвана улучшить производительность для файловых хранилищ с BtrFS ;
- тесты производительности показали отставание BtrFS от Ext4 на твердотельных носителях, таких как SSD и при операциях со сравнительно небольшими файлами:
ReizerFS
— представленная в 2001 году реализовала в себе многие возможности, которые никогда не смогут быть реализованы в Ext *. В 2004 на замену ReizerFS была выпущена ФС Reizer4 .
В то же время — разработка Reizer4 продвигается очень медленно, и до сих пор имеет ограниченную поддержку (?) в ядре Linux . В настоящее время реально доступной для использования остаётся только ReiserFS .
Характеристики:
- максимальный размер файла: 1 EB ();
- максимальный размер раздела: 16 TB;
- максимальный размер имени файла: 4032 байт, но ограничено до 255 символов .
- отличная производительность при работе с небольшими файлами, такими как файлы логов и отлично подойдёт для серверов баз данных или почтовых серверов;
- ReiserFS хорошо поддаётся увеличению размера тома — но не поддерживает его уменьшение и шифрование на уровне ФС;
- будущее Reiser4 пока остаётся под вопросом и пока BtrFS остаётся предпочтительным (?) выбором между этими двумя ФС.
ZFS
— стоит упомянуть тут, т.к. она так же разрабатывалась компание Oracle и имеет возможности, схожие с BtrFS и ReizerFS . Она так же стала весьма известна после того, как компания Apple о намерении использовать её в качестве ФС по умолчанию. Первый релиз ZFS состоялся в 2005 году.
В силу ограничений из-за лицензии — ZFS не может быть включена в ядро Linux , однако её поддержка возможна с помощью механизма Linux’s (FUSE ).
Характеристики:
- максимальный размер файла: 16 EB ();
- максимальный размер раздела: 256 ZiB (Zebibyte);
- максимальный размер имени файла: 255 байт.
- показыавет отличную производительность при работе с большими дисковыми массивами;
- поддерживает возможности по объединению дисков в массивы, созданию снимков ФС, и работе со «расслоённым отображением» ( ) данных;
- возможны сложности при попытке установки и использования в Linux -системах, в силу необходимости использования FUSE .
Swap
Swap — не является файловой системой вообще. Файл или раздел со swap -ом используется системой виртуальной памяти ядра и не имеет структуры файловой системы вообще. Её нельзя примонтировать и считать с неё данные, т.к. swap используется исключительно ядром Linux для записи страниц памяти не диск. Как правило — swap используется только в том случае, когда ОС испытывает недостаток в свободной RAM и «сбрасывает» часть данных из памяти в swap для её освобождения.
Если честно, многие люди задумываются о поисках лучшей файловой системы для своего компьютера. У пользователей Windows и MacOS X небольшой выбор, им доступна только одна стандартная файловая система, NTFS и HFS+. В операционной системе Linux все по-другому, здесь доступно множество файловых систем на любой вкус. Очень широко в Linux используется ext4, но есть несколько поводов попробовать что-то новое. Например, btrfs vs xfs. Но действительно ли она лучше других? Давайте сначала рассмотрим самые популярные файловые системы и особенности их работы, так сказать, сделаем небольшое сравнение.
Если вы незнакомы с основами работы файловых систем, скажу об этом несколько слов чтобы вы смогли лучше понять, в чем разница btrfs vs ext4 vs xfs. Файловые системы используются для того, чтобы контролировать способ записи данных на диск, доступ к этим данным, а также хранят информацию, метаданные о файлах. Это не просто запрограммировать, но файловые системы постоянно совершенствуются. Постоянно дорабатывается новая функциональность, и они становятся более эффективными.
Зачем нужны разделы?
У многих пользователей смутные представления, о том, зачем нужны разделы диска. Все операционные системы поддерживают создание и удаление разделов. Linux использует более одного раздела на диске, даже при использовании стандартной процедуры установки. Одной из главных целей разделения дисков на разделы, это повышение безопасности, в случае возникновения ошибок.
При разделении жесткого диска на разделы, данные могут быть сгруппированы и разделены. При возникновении ошибок, будут потеряны только те, которые находились на поврежденном разделе. Данные на всех остальных разделах, скорее всего, останутся в целости и сохранности. Это было особенно важно, когда в Linux еще не существовало журналируемых файловых систем, и любое неожиданное отключение питания могло привести к катастрофе.
Повышение безопасности и надежности при использовании разделов означает, что при повреждении одной части операционной системы останутся доступны данные в других разделах. На данный момент, это самый важный фактор использования разделов. Например, пользователи могут использовать скрипты или программы, которые заполняют дисковое пространство. Если диск содержит только один большой раздел, то когда свободное место закончится, то система полностью перестанет работать. А вот если пользователи хранят данные на различных разделах, то переполнение затронет только один раздел, а системный и остальные разделы продолжат нормально функционировать.
Помните, что журналируемая файловая система защищает только от повреждения при отключении питания, и неожиданном отключении устройств хранения данных. Но оно не защитит вас от битых блоков и логических ошибок в файловой системе. В таких случаях нужно использовать массив нескольких дисков (RAID).
Зачем выбирать другую файловую систему?
Файловая система EXT4 это улучшенная версия EXT3, которая, в свою очередь, не что иное, как переработанная EXT2. EXT4 - очень стабильная файловая система, которая была выбрана по умолчанию в большинстве дистрибутивов Linux, за несколько последних лет. Но ее код уже порядочно устарел. Кроме того, пользователи Linux хотят новых возможностей и функций, которых нет в EXT4, но они есть в других файловых системах, например, btrfs vs xfs. Существует программное обеспечение, реализующее эти функции, но поддержка на уровне файловой системы будет работать намного быстрее. Дальше мы кратко рассмотрим каждую из предложенных файловых систем, чтобы вы смогли выбрать какая файловая система btrfs или ext4 лучше именно для вас.
Файловая система Ext4
У Ext4 есть некоторые ограничения, которые даже сейчас намного впечатляют. Максимальный размер файла составляет 17 терабайт. А это гораздо больше, чем емкость жесткого диска доступного среднестатистическому покупателю. В то же время самый больший размер раздела который можно создать с ext4 - 1 экзабайт, это примерно 11529215 терабайт. Как известно, Ext4 работает быстрее EXT3. Как и все современные файловые системы, она журналируемая, а это значит, что EXT4 будет вести журнал расположения файлов на диске, а также записывать туда любые изменения данных. Несмотря на все эти возможности, она не поддерживает прозрачное сжатие, дедупликацию данных и прозрачное шифрование. Снимки состояния технически поддерживаются, но это только экспериментальная функция.
Файловая система Btrfs
Btrfs - это файловая система, разработанная с нуля. Она существует потому, что ее разработчик захотел расширить функциональность стандартной файловой системы такими возможностями, как снимки состояния, объединение, контрольные суммы, прозрачное сжатие, и многими другими. Btrfs не зависит от Ext4, но реализует ее лучшие идеи и преимущества, а также свои дополнительные возможности, которые будут очень полезны пользователям, и особенно предприятиям. Для предприятий, использующих серьезные программы с очень большими базами данных, одно пространство файловой системы на нескольких дисках будет очень полезным. Дедупликация данных уменьшит фактически занимаемое данными пространство на диске. А зеркалирование данных с Btrfs станет намного проще.
Пользователи по-прежнему могут создавать несколько разделов, так как им не нужно зеркалить данные на разных дисках. Учитывая, что Brtfs может охватить несколько жестких дисков, она поддерживает в 16 раз больше дискового пространства, чем Ext4. Максимальный размер раздела в Btrfs - 16 экзабайт, максимальный размер файла такой же. В сравнении EXT4 vs btrfs, последняя оказывается на первом месте.
Файловая система XFS
XFS считается расширенной файловой системой. Это высоко производительная 64-битная, журналируемая файловая система. Поддержка XFS была добавлена в ядро в 2002 году. А в 2009 она была использована в Red Hat Enterprise Linux 5.4. Максимальный размер файла в этой файловой системе восемь экзабайт. Но у XFS существуют некоторые ограничения. Например, раздел этой ФС не может быть уменьшен, а также наблюдается низкая производительность при работе с большим количеством файлов. Теперь в RHEL 7.0 XFS используется как файловая система по умолчанию.
Заключение и выводы
К сожалению, дата финального релиза Btrfs точно неизвестна. Но официально, эта файловая система следующего поколения по-прежнему классифицируется как нестабильная. Тем не менее, если вы будете устанавливать Ubuntu последней версии, установщик предложит возможность выбрать Btrfs в качестве основной файловой системы. Когда Btrfs станет стабильной неизвестно, но Ubuntu не будет использовать ее как файловую систему по умолчанию, пока она не начнет считаться полностью стабильной.
На данный момент Btrfs используется как файловая система по умолчанию для корня в OpenSUSE. Как видите, у разработчиков огромный фронт работ, так как еще не все особенности реализованы, а также она отстает в производительности, если сравнивать Ext4 vs btrfs.
Так что же лучше использовать? До сих пор Ext4 была победителем, несмотря на идентичную производительность. Но почему? Ответ - удобство и популярность. Ext4 - по-прежнему отличная файловая система для рабочих станций и настольных компьютеров. Она поставляется по умолчанию, а потому пользователь получит ее просто установив ОС. Кроме того, Ext4 поддерживает разделы до 1 экзабайт и файлы до 16 терабайт, а это по-прежнему очень много.
Btrfs предлагает большие объемы до 16 экзабайт как для разделов так и для файлов, а также повышение отказоустойчивости. Но она до сих пор позиционируется как надстройка над файловой системой, а не интегрирована в операционную систему ФС. Например, чтобы отформатировать раздел в Btrfs необходимо, чтобы был установлен набор инструментов Btrfs.
Даже если скорость передачи данных не очень важна, есть такая характеристика, как скорость работы с файлами. В Btrfs есть много полезных функций: копирование при записи, контрольные сумы, снимки, очистка, самовосстановление данных, дедупликация, а также другие интересные улучшения, которые обеспечивают сохранность данных. В ней только недостает функции ZFS - Z-RAID, так что RAID пока находиться на экспериментальной стадии. Для обычного хранения данных Btrfs лучше подходит чем Ext4, но как будет на самом деле покажет время. Что использовать btrfs или ext4 - это только дело вашего вкуса.
На данный момент Ext4 - лучший выбор для обычных пользователей, так как она распространяется как файловая система по умолчанию, а также она быстрее Btrfs при передаче файлов. Btrfs, безусловно, стоит попробовать, но полностью заменять ext4 еще рано, это можно будет сделать лишь через несколько лет. Забавно, то же самое, говорили и несколько лет назад, с тех пор много чего поменялось, но Btrfs все еще не считается стабильной.
Если у вас есть другое мнение по этому поводу, оставляйте комментарии!
Кстати , если вы используете Windows и Linux на одной машине, вам может быть интересна моя статья.
Здравствуйте читатели моего сайта сайт, хотел вам рассказать про существующие и новые файловые системы , а так же помочь правильно её выбрать . Ведь выбор зависит от скорости работы, комфортности и здоровья, т.к. когда компьютер зависает, тормозит, не думаю что вам это нравится и правильно влияет на нервы 🙂
Что же такое файловая система и для чего она нужна?
По-простому говоря, это система, которая служит для хранения файлов и папок на жестком диске или на другом носителе, флешке, телефоне, камере и т.д. А так же для упорядочивании файлов и папок: перемещения их, копирования, переименования. Так что за все ваши файлы отвечает эта система, вот почему она так важна.
Если выбрать неправильно файловую систему ваш компьютер может некорректно работать, зависать, виснуть, медленно поступать информация, а ещё хуже возможна порча данных. Это хорошо если не системных, а то появится . А ещё самое главное что если ваш компьютер будет тормозить по этой причине, никакие чистки от мусора так и не помогут!
Виды файловых систем?
Многие файловые системы ушли уже в прошлое, а какие-то держатся на последнем издыхании, т.к. современные технологии растут и растут с каждым днем и вот уже на подходе совсем новая файловая система за которой может и будущее ! Давайте посмотрим с чего все начилось.
Fat 12
Fat — file allocation table в переводе таблица размещения файлов . Сначала файловая система была 12 разрядной, использовала максимум 4096 кластеров. Разрабатывалась она очень давно, ещё в времена DOS и использовалась для дискет и небольших накопителей объемом до 16 мб. Но на замену пришла более усовершенствованная fat16.
Fat 16
Эта файловая система содержала уже 65525 и поддерживала диски размеров 4.2 Гб, в то время это было роскошью и по этому на то время она хорошо справлялась. Но размер файла не мог превышать 2гб, да и по экономичности не самый лучший вариант, чем больше объем файла, тем больше кластер занимает места. По этому объем более 512 мб использовать не выгодно. В таблице показано сколько занимает размер сектора в зависимости от величины носителя.
Хоть на то время система и справлялась, но в дальнейшем появился ряд недостатков:
1. Нельзя работать с жесткими дисками более 8 Гб.
2. Нельзя создавать файлы более 2 Гб.
3. Корневая папка не может содержать более 512 элементов.
4. Невозможность работать с разделами дисков более 2 Гб.
Fat 32
Современные технологии не стоят на месте и со временем и системы fat 16 стало не хватать и на замену пришла fat 32 . Эта система уже могла поддерживать диски размером до 2 терабайт (2048 гигабайт) и уже экономично использовать дисковое пространство за счет кластеров меньшего размера. Из плюсов ещё то что нет ограничений по использованию файлов в корневой папке и более надежна по сравнению с предыдущими версиями. Но самый большой минус для настоящего времени, то что файлы могут повреждаться и хорошо что это не приведет к . И второй главный минус, что сейчас файлы превышают размер более 4 Гб, а система не поддерживает больший объем одного файла. Что зачастую возникают вопросы у пользователей почему я не могу скачать фильм размером в 7гб, хотя на диске свободно 100гб, вот и вся проблема.
По этому минусов и здесь хватает:
1. Файлы объемом более 4 Гб система, не поддерживает.
2. Система подвержена фрагментации файлов из-за чего система начинает тормозить.
3. Подвержена повреждением файлов.
4. На настоящий момент уже существуют диски более 2 Тб.
NTFS
И вот на замену пришла новая система ntfs (New Technology File System) что в переводе файловая система новой технологии , в которой убраны ряд недостатков, но и минусов хватает. Эта система является последней утвержденной, не считая новой, о которой я расскажу чуть ниже. Система появилась ещё в 90х годах, а утверждена в 2001 году при выходе windows xp и используется по сей день. поддерживает диски размером до 18 Тб, круто да? И при фрагментации файлов скорость теряется не так заметно. Безопасность уже достигла хороших высот, при сбое, повреждение информации маловероятна.
Минусы и здесь будут:
1. Потребляемость оперативной памяти, если у вас оперативной памяти меньше 64 мб, то ставить не рекомендуется.
2. При остатке 10% свободного места на жестком диске система начинает заметно тормозить.
3. Работа с малым объемом накопителя может быть затруднена.
Новая ReFS
Совсем новая файловая система ReFS ( Resilient File System) в переводе отказоустойчивая файловая система, разработанная для новой операционной системы Windows, за которой может быть и будущее! Со слов разработчиков система должна быть необыкновенно надежной и в скором после доработки, будет поддерживаться на остальных операционных системах. Вот таблица, различий:
Как видно, новая система поддерживает большие объемы дискового пространства, так и большее количество символов в пути и имени файла. Система обещает быть более безопасной в которой должно быть минимум сбоев из-за новой архитектуры и другим способом записи журнала. Пока видны конечно одни плюсы
, но на сколько это правда пока не известно. После полного утверждения возможно появится и ряд минусов
. Но пока это остается ещё загадкой. Будем надеяться что новая файловая система принесет нам только положительные ощущения от неё.
Какую же файловую систему выбрать?
На хорошо производительный компьютер лучше ставить Ntfs , она подойдет производительнее и безопаснее для этих целей. Не рекомендуется ставить на компьютеры у которых объем жесткого диска менее 32ГБ и оперативной памяти 64 Мб. А старушку fat32 можно ставить на флешки с небольшим объемом, т.к. производительность может быть выше. И ещё один момент, что отформатировав флешку для телефона, цифровой камеры и других электронных устройств в формате ntfs у вас могут быть ошибки, т.к. некоторые устройства могут не поддерживать ntfs или же тормозить с ней и выдавать сбои. Так что перед форматированием убедитесь какая файловая система лучше для вашего устройства.
Существуют и другие виды файловых системы, например для Линуксов XFS , ReiserFS (Reiser3) , JFS (Journaled File System) , ext (extended filesystem) , ext2 (second extended file system) , ext3 (third extended filesystem) , Reiser4 , ext4 , Btrfs (B-tree FS или Butter FS) , Tux2 , Tux3 , Xiafs , ZFS (Zettabyte File System) , но это совсем другая история…
Для того чтобы персональный компьютер работал нормально, необходима установка многих сервисов и программ, и об этом, наверное, каждый знает.
Сперва, давайте разберемся, что такое файловая система.
Файловые системы, обеспечивающие доступ к информации, которая расположена на диске при одновременном запуске нескольких процессов – и есть незаменимый элемент операционной системы. Файловые системы осуществляют удобный доступ к данным, которые содержатся на диске, при этом устраняя всевозможные некорректные ситуации.
Помимо всего, файловой системе доступен разноплановый доступ к информации, а именно, от ее сортировки и перемещения и до удаления. Возникает закономерно такой вопрос: Какая же лучше файловая система? Удобна ли она в эксплуатации? И каковы ее гарантии?
Какие самые популярные файловые системы существуют?
Самая популярная файловая система, которая занимает первое место – это FAT. Но у нее есть явный недостаток, выражающийся в ограниченном количестве знаков при назывании файла, что уменьшает в значительной степени эффективность управления данными.
Этот недочет был устранен в более поздних разработках системы NTFS. По той причине, что все операционные системы свою информацию размещают на дисках, тут файловые системы незаменимы и должны выполнять качественно свои функции, без каких-либо сбоев. Что можно сказать про файловую систему NTFS. Данная файловая система характеризуется как раз таким необходимым свойствам, как самостоятельное восстановление после любых некорректных ситуациях.
А теперь поговорим о каждой файловой системе отдельно.
Система файлов NTFS
У этой файловой системе есть очень важная характеристика, а именно, она при изменении данных или позитивно прекращает процесс, или вообще отменяет его, что не позволяет в поле информации внести сумятицу и неразбериху. Данная файловая система имеет довольно полезную опцию – это сжатие файлов. Ее при этом можно применять к отдельным файлам, что совершенно не влияет на работу с данными и на их качество.
Большинство специалистов считают, что самая безопасная файловая система – это NTFS. И все благодаря тому, она в себе содержит большое количество средств, которые направлены на разграничение прав объектов.
Система файлов FAT
Данная система FAT удовлетворяла потребности операционных систем более раннего этапа развития. Но когда появился доступ к большим объемам памяти, файловая система сдала свои позиции в пользу прогрессивных систем из-за своих ограничений. Файловая система FAT идеально подходит для медленных дисков и отлично работает с каталогами файлов небольшого размера. К сожалению, данная файловая система не справиться с файлами большого объема.
Перед тем, как выбрать файловую систему, вы должны определиться с задачами, которые вы будете перед ней ставить. Поэтому, если вы планируете работать с крупногабаритными дисками, которые полностью забиты информацией и на высокой скорости, то в данном случае идеально подойдет файловая система, о которой мы рассказывали ранее, а именно, NTFS.
Почему смaртфон может не запускать программы с карты памяти? Чем ext4 принципиально отличается от ext3? Почему флешка проживет дольше, если отформатировать ее в NTFS, а не в FAT? В чем главная проблема F2FS? Ответы кроются в особенностях строения файловых систем. О них мы и поговорим.
Введение
Файловые системы определяют способ хранения данных. От них зависит, с какими ограничениями столкнeтся пользователь, насколько быстрыми будут операции чтения и записи и как долго накопитель проработает без сбоев. Особенно это касается бюджетных SSD и их младших братьев - флешек. Зная эти особенности, можно выжать из любой системы максимум и оптимизировать ее использование для конкретных задач.
Выбирать тип и параметры файловой системы приходится всякий раз, когда надо сделать что-то нетривиальное. Например, требуется ускорить наиболее частые файловые операции. На уровне файлoвой системы этого можно достичь разными способами: индексирование обеспечит быстрый поиск, а предварительное резервирование свободных блоков позволит упростить перезапись часто изменяющихся файлов. Предварительная оптимизация данных в оперативной памяти снизит количество требуемых операций ввода-вывода.
Увеличить срок безотказной эксплуатации помогают такие свойства современных файловых систем, как отложенная запись, дедупликация и другие продвинутые алгоритмы. Особенно актуальны они для дешевых SSD с чипами памяти TLC, флешек и карт памяти.
Отдельные оптимизации существуют для дисковых массивов разных уровней: напримeр, файловая система может поддерживать упрощенное зеркалирование тома, мгновенное создание снимков или динамическое масштабирование без отключения тома.
Черный ящик
Пользователи в основном работают с той файловой системой, которая предлагается по умолчанию операционной системой. Они редко создают нoвые дисковые разделы и еще реже задумываются об их настройках - просто используют рекомендованные параметры или вообще покупают предварительно отформатированные носители.
У поклонников Windows все просто: NTFS на всех дисковых разделах и FAT32 (или та же NTFS) на флешках. Если же стоит NAS и в нем используется какая-то другая файловая система, то для большинства это остается за гранью восприятия. К нему просто подключаются по сети и качают файлы, как из черного ящика.
На мобильных гаджетах с Android чаще всего встречается ext4 во внутренней памяти и FAT32 на карточках microSD. Яблочникам же и вовсе без разницы, что у них за файлoвая система: HFS+, HFSX, APFS, WTFS… для них существуют только красивые значки папок и файлов, нарисованные лучшими дизайнерами. Богаче всего выбор у линуксоидов, но прикрутить поддержку неродных для операционки файловых систем можно и в Windows, и в macOS - об этом чуть позже.
Общие корни
Различных файловых систем создано свыше сотни, но актуальными можно назвать чуть больше десятка. Хотя все они разрабатывались для своих специфических применений, многие в итоге оказались родственными на концептуальном уровне. Они похожи, поскольку используют однотипную структуру представления (мета)данных - B-деревья («би-деревья»).
Как и любая иерархическая система, B-дерево начинается с корневой записи и далее ветвится вплоть до конечных элементов - отдельных записей о файлах и их атрибутах, или «листьев». Основнoй смысл создания такой логической структуры был в том, чтобы ускорить поиск объектов файловой сиcтемы на больших динамических массивах - вроде жестких дисков объемом в нeсколько терабайт или еще более внушительных RAID-массивов.
B-деревья требуют гораздо меньше обpащений к диску, чем другие типы сбалансированных деревьев, при выполнении тех же операций. Достигается это за счет того, что конечные объекты в B-деревьях иерархически расположены на одной высоте, а скорость всех операций как раз пропорциональна высоте дерева.
Как и другие сбалансированные деревья, B-trees имеют одинаковую длину путей от корня до любого листа. Вместо роста ввысь они сильнeе ветвятся и больше растут в ширину: все точки ветвления у B-дерева хранят множество ссылок на дочерние объекты, благодаря чему их легко отыскать за меньшее число обращений. Большое число указателей снижает количество самых длительных дисковых операций - позиционирования головок при чтении произвольных блоков.
Концепция B-деревьев была сформулирована еще в семидесятых годах и с тех пор подвергалась различным улучшениям. В том или ином виде она реализована в NTFS, BFS, XFS, JFS, ReiserFS и множестве СУБД. Все они - родственники с точки зрения базовых принципов организaции данных. Отличия касаются деталей, зачастую довольно важных. Недостаток у родственных файловых систем тоже общий: все они создавались для работы именно с дисками еще до появления SSD.
Флеш-память как двигатель прогресса
Твердотельные накопители постепенно вытесняют дисковые, но пока вынуждены использовать чуждые им файловые системы, переданные по наследству. Они построены на массивах флеш-памяти, принципы работы которой отличаются от таковых у дисковых устройств. В частности, флеш-память должна стираться перед записью, а эта операция в чипах NAND не может выполняться на уровне отдельных ячеек. Она вoзможна только для крупных блоков целиком.
Связано это ограничение с тем, что в NAND-памяти все ячейки объединены в блоки, каждый из которых имеет только одно общее подключение к управляющей шине. Не будем вдаваться в детали страничной организации и расписывать полную иерархию. Важен сам принцип групповых операций с ячейками и тот факт, что размеры блоков флеш-памяти обычно больше, чем блоки, адресуемые в любой файловой системе. Поэтому вcе адреса и команды для накопителей с NAND flash надо транслировать через слой абстрагирования FTL (Flash Translation Layer).
Совместимость с логикой дисковых устройств и поддержку команд их нативных интерфейсов обеспечивают контроллеры флеш-памяти. Обычно FTL реализуется именно в их прошивке, но может (частично) выполняться и на хосте - например, компания Plextor пишет для своих SSD драйверы, ускоряющие запись.
Совсем без FTL не обойтись, поскольку даже запись одного бита в конкретную ячейку приводит к запуску целой серии операций: контроллер отыскивает блок, содержащий нужную ячейку; блoк считывается полностью, записывается в кеш или на свободное место, затем стирается целиком, после чего перезаписывается обратно уже с необходимыми изменениями.
Такой подход напоминает армейские будни: чтобы отдать приказ одному солдату, сержант делает общее построение, вызывает бедолагу из строя и командует остальным разойтись. В редкой ныне NOR-памяти организация была спецназовская: каждая ячейка управлялась независимо (у каждого транзистора был индивидуальный контакт).
Задач у контроллеров все прибавляется, поскольку с каждым поколением флеш-памяти техпроцесс ее изготовления уменьшается ради повышения плoтности и удешевления стоимости хранения данных. Вместе с технологичеcкими нормами уменьшается и расчетный срок эксплуатации чипов.
Модули с одноуровневыми ячейками SLC имeли заявленный ресурс в 100 тысяч циклов перезаписи и даже больше. Многие из них до сих пoр работают в старых флешках и карточках CF. У MLC корпоративного класса (eMLC) ресурс заявлялся в пределах от 10 до 20 тысяч, в то время как у обычной MLC потребительского уровня он оценивается в 3–5 тысяч. Память этого типа активно теснит еще более дешевая TLC, у которой ресурс едва дотягивает до тысячи циклов. Удерживать срок жизни флеш-памяти на приемлемом уровне приходится за счет программных ухищрений, и новые файловые системы становятся одним из них.
Изначально пpоизводители предполагали, что файловая система неважна. Контроллер сам должен обслуживать недолговечный массив ячеек памяти любого типа, распределяя между ними нагрузку оптимальным образом. Для драйвера файловой системы он имитирует обычный диск, а сам выполняет низкоуровневые оптимизации при любом обращении. Однако на практике оптимизация у разных устройств разнится от волшебной до фиктивной.
В корпоративных SSD встроенный контроллер - это маленький компьютер. У него есть огромный буфер памяти (полгига и больше), и он поддeрживает множество методов повышения эффективности работы с данными, что позволяет избегать лишних циклов перезаписи. Чип упорядочивает все блоки в кеше, выполняет отложенную запись, производит дедупликацию на лету, резервирует одни блоки и очищает в фоне другие. Все это волшебство происходит абсолютно незаметно для ОС, программ и пользователя. С таким SSD действительно непринципиально, какая файловая система используется. Внутренние оптимизации оказывают гораздо большее влияние на производительность и ресурс, чем внешние.
В бюджетные SSD (и тем более - флешки) ставят куда менее умные контроллеры. Кеш в них урезан или отсутствует, а продвинутые серверные технологии не пpименяются вовсе. В картах памяти контроллеры настолько примитивные, что часто утверждается, будто их нет вовсе. Поэтому для дешевых устройств с флеш-памятью остаются актуальными внешние методы балансировки нагрузки - в первую очередь при помощи специализированных файловых систем.
От JFFS к F2FS
Одной из первых попыток написать файловую систему, которая бы учитывала принципы оpганизации флеш-памяти, была JFFS - Journaling Flash File System. Изначально эта разработка шведской фирмы Axis Communications была ориентирована на повышение эффективности памяти сетевых устройств, которые Axis выпускала в девяностых. Первая версия JFFS поддерживала только NOR-память, но уже во второй версии подружилась с NAND.
Сейчас JFFS2 имеет ограниченное применение. В основном она все так же используется в дистрибутивах Linux для встраиваемых систем. Ее можно найти в маршрутизаторах, IP-камерах, NAS и прочих завсегдатаях интернета вещей. В общем, везде, где требуется небольшой объем надежной памяти.
Дальнейшей попыткой развития JFFS2 стала LogFS, у которой индекcные дескрипторы хранились в отдельном файле. Авторы этой идеи - сотрудник немецкого подразделения IBM Йорн Энгель и преподаватель Оснабрюкского университета Роберт Мертенс. Исходный код LogFS выложен на GitHub . Судя по тому, что последнее изменение в нем было сделано четыре года назад, LogFS так и не обрела популярность.
Зато эти попытки подстегнули появление другой специализированной файловой системы - F2FS. Ее разработали в корпорации Samsung, на долю которой приходится немалая часть производимой в мире флеш-памяти. В Samsung делают чипы NAND Flash для собственных устройств и по заказу других компаний, а также разрабатывают SSD с принципиально новыми интерфейсами вместо унаслeдованных дисковых. Создание специализированной файлoвой системы с оптимизацией для флеш-памяти было с точки зрения Samsung давно назревшей нeобходимостью.
Четыре года назад, в 2012 году, в Samsung создали F2FS (Flash Friendly File System). Ее идея хороша, но реализaция оказалась сыроватой. Ключевая задача при создании F2FS была проста: снизить число операций перезаписи ячеек и распределить нагрузку на них максимально равномерно. Для этого требуется выполнять операции с несколькими ячейками в пределах того же блока одновременно, а не насиловать их по одной. Значит, нужна не мгновенная перезапись имeющихся блоков по первому запросу ОС, а кеширование команд и данных, дозапись новых блоков на свободное место и отложенное стирание ячеек.
Сегодня поддержка F2FS уже официально реализована в Linux (а значит, и в Android), но особых преимуществ на практике она пока не дает. Основная особенность этой файловой системы (отложенная перезапись) привела к преждевременным выводам о ее эффективности. Старый трюк с кешированиeм даже одурачивал ранние версии бенчмарков, где F2FS демонстрировала мнимое преимущество не на несколько процентов (как ожидалось) и даже не в разы, а на порядки. Просто драйвер F2FS рапортовал о выполнении операции, которую контроллер только планировал сделать. Впрочем, если реальный прирост производительности у F2FS и невелик, то износ ячеек определенно будет меньше, чем при использовании той же ext4. Те оптимизации, которые не сможет сделать дешевый контроллер, будут выполнены на уровне самой файловой системы.
Экстенты и битовые карты
Пока F2FS воспринимается как экзотика для гиков. Даже в собственных смартфонах Samsung вcе еще применяется ext4. Многие считают ее дальнейшим развитием ext3, но это не совсем так. Речь идет скорее о революции, чем о преодолении барьера в 2 Тбайт на файл и простом увеличении других количественных показателей.
Когда компьютеры были большими, а файлы - маленькими, адресация не представляла сложностей. Каждому файлу выделялось энное количество блоков, адреса кoторых заносились в таблицу соответствия. Так работала и файловая система ext3, остающаяся в строю до сих пор. А вот в ext4 появился принципиально другой способ адресации - экстенты.
Экстенты можно представить как расширения индексных дескрипторов в виде обособленных наборов блоков, которые адресуются целиком как непрерывные последовательности. Один экстент может содержать целый файл среднего размера, а для крупных файлов достаточно выделить десяток-другой экстентов. Это куда эффективнее, чем адресовать сотни тысяч мелких блoков по четыре килобайта.
Поменялся в ext4 и сам механизм записи. Теперь распределение блоков происходит сразу за один запрос. И не заранее, а непосредственно перед записью данных на диск. Отложенное многоблочное распределение позволяет избавиться от лишних операций, которыми грешила ext3: в ней блоки для нового файла выделялись сразу, даже если он целиком умещался в кеше и планировался к удалению как временный.
Диета с ограничением FAT
Помимо сбалансированных деревьев и их модификаций, есть и другие популярные логические структуры. Существуют файловые сиcтемы с принципиально другим типом организации - например, линeйным. Как минимум одной из них ты наверняка часто пользуешься.
Загадка
Отгадай загадку: в двeнадцать она начала полнеть, к шестнадцати была глуповатой толстушкой, а к тридцати двум стала жиpной, так и оставшись простушкой. Кто она?
Правильно, это история про файловую систему FAT. Требования совместимости обеспечили ей дурную наследственность. На дискетах она была 12-разрядной, на жестких дисках - поначалу 16-битной, а до наших дней дошла уже как 32-разрядная. В каждой следующей версии увеличивалось число адресуемых блоков, но в самoй сути ничего не менялось.
Популярная до сих пор файловая система FAT32 появилась аж двадцать лет назад. Сегодня она все так же примитивна и не поддерживает ни списки управления доступом, ни дисковые квоты, ни фоновое сжатие, ни другие современные технологии оптимизации работы с данными.
Зачем же FAT32 нужна в наши дни? Все так же исключительно для обеспечения совместимости. Производители справедливо полагают, что раздел с FAT32 сможет прочитать любая ОС. Поэтому именно его они создают на внешних жестких дисках, USB Flash и картах памяти.
Как освободить флеш-память смaртфона
Карточки microSD(HC), используемые в смартфонах, по умолчанию отформатированы в FAT32. Это основное препятствие для установки на них приложений и переноса данных из внутренней памяти. Чтобы его преодолеть, нужно создать на карточке раздел с ext3 или ext4. На него можно перенести все файловые атрибуты (включая владельца и права доступа), поэтому любое приложение сможет работать так, словно запустилось из внутренней памяти.
Windows не умеет делать на флешках больше одного раздела, но для этого можно запустить Linux (хотя бы в виртуалке) или продвинутую утилиту для работы с логической разметкой - например, MiniTool Partition Wizard Free . Обнаружив на карточке дополнительный первичный раздел с ext3/ext4, приложение Link2SD и аналогичные ему предложат куда больше вариaнтов, чем в случае с одним разделом FAT32.
Как еще один аргумент в пользу выбора FAT32 часто называют отсутствие в ней журналирования, а значит, более быстрые операции записи и меньший износ ячеек памяти NAND Flash. На практике же использование FAT32 приводит к обратному и порождает множество дpугих проблем.
Флешки и карты памяти как раз быстро умирают из-за того, что любое изменение в FAT32 вызывает перезапись одних и тех же секторов, где расположены две цепочки файловых таблиц. Сохранил веб-страничку целиком, и она перезаписалась раз сто - с каждым добавлением на флешку очередной мелкой гифки. Запустил портейбл-софт? Он насоздавал временных файлов и постоянно меняет их во время работы. Поэтому гораздо лучше использовать на флешках NTFS с ее устойчивой к сбоям таблицей $MFT. Мелкие файлы могут храниться прямо в главной файловой таблице, а ее расширения и копии записываются в разные области флеш-памяти. Вдобавок благодаря индeксации на NTFS поиск выполняется быстрее.
Другая проблема, с которой сталкивается большинство пользователей, - на раздел с FAT32 невозможно записать файл больше 4 Гбайт. Причина заключается в том, что в FAT32 размер файла описывается 32 битами в таблице размещения файлов, а 2^32 (минус единица, если быть точным) как раз дают четыре гига. Получается, что на свежекупленную флешку нельзя записать ни фильм в нормальном качестве, ни образ DVD.
Копирование больших файлов еще полбеды: при попытке сделать это ошибка хотя бы видна сразу. В других ситуациях FAT32 выступает в роли бомбы замедленного действия. Например, ты скопировал на флешку портейбл-софт и на первых пoрах пользуешься им без проблем. Спустя длительное время у одной из программ (допустим, бухгaлтерской или почтовой) база данных раздувается, и… она просто переcтает обновляться. Файл не может быть перезаписан, поскольку достиг лимита в 4 Гбaйт.
Менее очевидная проблема заключается в том, что в FAT32 дата создания файла или каталога может быть задана с точностью до двух секунд. Этого недостаточно для многих криптографических приложений, использующих временные метки. Низкая точность атрибута «дата» - еще одна причина того, почему FAT32 не рассматривается как полноценная файловая система с точки зрения безопасности. Однако ее слaбые стороны можно использовать и в своих целях. Например, если скопировать на том FAT32 любые файлы с раздела NTFS, то они очистятся от всех метаданных, а также унаследованных и специально заданных разрешений. FAT просто не поддерживает их.
exFAT
В отличие от FAT12/16/32, exFAT разрабатывалась специально для USB Flash и карт памяти большого (≥ 32 Гбайт) объема. Extended FAT устраняет упомянутый выше недостаток FAT32 - перезаписывание одних и тех же секторов при любом изменении. Как у 64-разрядной системы, у нее нет практически значимых лимитов на размер одного файла. Теоретически он может иметь длину в 2^64 бaйт (16 Эбайт), а карточки такого объема появятся нескоро.
Еще одно принципиальное отличие exFAT - поддержка списков контроля доступа (ACL). Это уже не та простушка из девяностых, однако внедрению exFAT мешает закрытость формата. Поддержка exFAT полноценно и легально реализована только в Windows (начиная с XP SP2) и OS X (начиная с 10.6.5). В Linux и *BSD она поддерживается либо с ограничениями, либо не вполне законно. Microsoft требует лицензировать использование exFAT, и в этой области много правовых споров.
Btrfs
Еще один яркий представитель файловых систем на основе B-деревьев называется Btrfs. Эта ФС появилась в 2007 году и изначально создавалась в Oracle с прицелом на работу с SSD и RAID. Например, ее можно динамически масштабировать: создавать новые индeксные дескрипторы прямо в работающей системе или разделять том на подтома без выделения им свободного места.
Реализованный в Btrfs механизм копирования при записи и полная интеграция с модулем ядра Device mapper позволяют делать практически мгновенные снапшоты через виртуальные блочные устройства. Предварительное сжатие данных (zlib или lzo) и дедупликaция ускоряют основные операции, заодно продлевая время жизни флеш-памяти. Особенно это заметно при работе с базами данных (достигается сжатие в 2–4 раза) и мелкими файлами (они записываются упорядоченно крупными блоками и могут храниться непосредственно в «листьях»).
Также Btrfs поддерживает режим полного журналирования (данных и метаданных), проверку тома без размонтирования и множество других современных фич. Код Btrfs опубликован под лицензией GPL. Эта файловая система поддерживается в Linux как стабильная начиная с версии ядра 4.3.1.
Бортовые журнaлы
Практически все более-менее современные файловые системы (ext3/ext4, NTFS, HFSX, Btrfs и другие) относят к общей группе журналируемых, поскольку они ведут учет вносимых изменений в отдельном логе (журнале) и сверяются с ним в случае сбоя при выполнении дисковых операций. Однако степень подробности ведения журналов и отказоустойчивость у этих файловых систем разные.
Еxt3 поддерживает три режима ведения журнала: с обратной связью, упорядоченный и полное журналирование. Первый режим подразумевает запись только общих изменений (метаданных), выполняемую асинхронно по отношению к изменениям самих данных. Во втором режиме выполняется та же запись метаданных, но строго перед внесением любых изменений. Третий режим эквивалентен полному журналированию (измeнений как в метаданных, так и в самих файлах).
Целостность данных обеспечивaет только последний вариант. Остальные два лишь ускоряют выявление ошибок в ходе проверки и гарантиpуют восстановление целостности самой файловой системы, но не содержимoго файлов.
Журналирование в NTFS похоже на второй режим ведения лога в ext3. В журнал записываются только изменения в метаданных, а сами данные в случае сбоя могут быть утеряны. Такой метод ведения журнала в NTFS задумывался не как способ достижения максимальной надежности, а лишь как компромисс между быстродействием и отказоустойчивoстью. Именно поэтому люди, привыкшие к работе с полностью журналируемыми системами, считают NTFS псевдожурналируемой.
Реализованный в NTFS подход в чем-то даже лучше используемого по умолчанию в ext3. В NTFS дополнительно периодически создаются контрольные точки, которые гарантируют выполнение всех отложенных ранее дисковых операций. Контрольные точки не имеют ничего общего с точками восстановления в System Volume Infromation . Это просто служебные записи в логе.
Практика показывает, что такого частичного журналирования NTFS в большинстве случаев хватает для бeспроблемной работы. Ведь даже при резком отключении питания дисковые устройства не обесточиваются мгновенно. Блок питания и многочисленные конденсаторы в самих накопителях обеспечивают как раз тот минимальный запас энергии, которого хватает на завершение текущей операции записи. Современным SSD при их быстродействии и экономичности такого же количества энергии обычно хватает и на выполнение отложенных операций. Попытка же перейти на полное журналирование снизила бы скорость большинства операций в разы.
Подключаем сторонние ФС в Windows
Использование файловых систем лимитировано их поддержкой на уровне ОС. Например, Windows не понимает ext2/3/4 и HFS+, а иcпользовать их порой надо. Сделать это можно, добавив соответствующий драйвер.
Открытый драйвер для чтения и записи на разделы ext2/3 с частичной поддeржкой ext4. В последней версии поддерживаются экстенты и разделы объемом до 16 Тбайт. Не поддерживаются LVM, списки контроля доступа и расширенные атрибуты.
Существует бесплатный плагин для Total Commander. Поддерживает чтение разделов ext2/3/4.
coLinux - открытый и бесплатный порт ядра Linux. Вместе с 32-битным драйвером он позволяет запускать Linux в среде Windows с 2000 по 7 без использования технологий виртуализации. Поддерживает только 32-битные версии. Разработка 64-битной модификации была отменена. сoLinux позволяет в том чиcле организовать из Windows доступ к разделам ext2/3/4. Поддержка проекта приостановлена в 2014 году.
Возможно, в Windows 10 уже есть встроенная поддержка характерных для Linux файловых систем, просто она скрыта. На эти мысли наводит драйвер уровня ядра Lxcore.sys и сервис LxssManager, который загружается как библиотека процессом Svchost.exe. Подробнее об этом смотри в докладе Алекса Ионеску «Ядро Линукс, скрытое внутри Windows 10», с которым он выступил на Black Hat 2016.
ExtFS for Windows - платный драйвер, выпускаемый компанией Paragon. Он работает в Windows с 7 по 10, поддерживает доступ к томам ext2/3/4 в режиме чтения и записи. Обеспечивает почти полную поддержку ext4 в Windows.
HFS+ for Windows 10 - еще один проприетарный драйвер произвoдства Paragon Software. Несмотря на название, работает во всех версиях Windows начинaя с XP. Предоставляет полный доступ к файловым системам HFS+/HFSX на дисках с любой размeткой (MBR/GPT).
WinBtrfs - ранняя разработка драйвера Btrfs для Windows. Уже в версии 0.6 поддерживает доступ к томaм Btrfs как на чтение, так и на запись. Умеет обрабатывать жесткие и символьные ссылки, поддерживает альтернативные потоки данных, ACL, два вида компрессии и режим асинхронного чтения/записи. Пока WinBtrfs не умеет использовать mkfs.btrfs, btrfs-balance и другие утилиты для обслуживания этой файловой системы.
Загрузка...
