Как сжимать архивы с использованием всех ядер процессора с помощью Tar
Если вам когда-либо приходилось сжимать большие объемы с помощью tar, вы знаете, насколько это может быть неприятно. Часто это происходит очень медленно, и вы нажимаете Ctrl + C, чтобы завершить задачу и просто забыть об этом. Однако есть и другие инструменты, которые может использовать tar, и они – отличный способ использовать современные многопоточные процессоры и ускорить архивирование tar. В этой статье показано, как заставить tar использовать все ядра при сжатии архивов в Linux.
Здесь речь идет о трех основных инструментах: pigz, pbzip2 и pxz. Между инструментами есть некоторые тонкие различия, но различия лежат между gzip, bzip2 и xz. В этом соответствующем порядке уровни сжатия увеличиваются, что означает, что архив, сжатый с помощью gzip, будет больше, чем архив, сжатый с помощью xz, но gzip, естественно, займет меньше времени, чем xz. bzip2 находится где-то посередине.
Буква «p» в начале названия каждого из инструментов означает «параллельный». Распараллеливание – это то, что с годами становится все более актуальным – насколько хорошо что-то охватывает все ядра ЦП. Имея такие процессоры, как AMD Epyc и Threadripper, которые могут достигать 64 ядер и 128 потоков, важно понимать, какие приложения могут это использовать. Эти функции сжатия – главные кандидаты.
Чтобы установить инструменты, вы можете просто обратиться к своим репозиториям.
sudo apt install pigz pbzip2 pxz # Debian / Ubuntu sudo dnf install pigz pbzip2 pxz # Fedora sudo pacman -Sy pigz pbzip2 pxz # Arch Linux
В этой статье основное внимание уделяется pxz для обеспечения единообразия. Вы можете проверить это руководство для pigz.
Сжатие архивов с помощью Tar
Синтаксис tar довольно прост. Чтобы просто сжать каталог, вы можете использовать такую команду:
tar czf linux-5.10-rc3.tar.gz linux / tar cjf linux-5.10-rc3.tar.bz2 linux / tar cJf linux-5.10-rc3.tar.xz linux /
Первый будет использовать gzip, второй – bzip2, а третий – xz. Имя файла и каталог будут различаться в зависимости от того, что вы делаете, но я вытащил ядро Linux из GitHub в свой каталог «/ home», и я буду его использовать. Итак, я начну эту команду с команды времени впереди, чтобы посмотреть, сколько времени это займет. Вы также можете видеть, что xz указан как занимающий самый высокий процент моего процессора в этой системе, но он фиксирует только одно ядро на 100 процентов.
И, как видите, моим стареющим i7-2600 потребовалось очень много времени для сжатия Linux 5.10-rc3 (около 28 минут).
Вот где пригодятся эти инструменты параллельного сжатия. Если вы сжимаете большой файл и хотите сделать это быстрее, я не могу рекомендовать эти инструменты в достаточной степени.
Вы можете либо указать tar использовать программу сжатия с параметром –use-compress-program, либо использовать немного более простой командный флаг -I. Пример синтаксиса любого из этих инструментов будет таким:
tar -I pigz -cf linux-5.10-rc3.tar.gz linux / tar -I pbzip2 -cf linux-5.10-rc3.tar.bz2 linux / tar -I pxz -cf linux-5.10-rc3.tar.xz linux /
Давайте протестируем это и посмотрим, сколько времени потребуется моей системе, чтобы сжать ядро Linux с доступом ко всем восьми потокам моего процессора. Вы можете видеть мои показания htop, показывающие все потоки, закрепленные при 100-процентном использовании из-за pxz.
Вы можете видеть, что сжатие этого архива заняло существенно меньше времени (около семи минут!), И это было при многозадачности. У меня есть виртуальная машина, работающая в фоновом режиме, и сейчас я просматриваю веб-страницы. Планировщик оборудования ядра Linux предоставит вам все, что вам нужно для ваших личных вещей, поэтому, если вы оставите свою команду pxz для работы без каких-либо других работ, запущенных в вашей системе, вы сможете сделать это быстрее.
Регулировка уровней сжатия с помощью pigz, pbzip2 и pxz
Вы также можете передавать уровни сжатия в pxz, чтобы сделать файл еще меньше. Это потребует больше оперативной памяти, процессора и времени, но оно того стоит, если вам действительно нужен небольшой файл. Вот сравнение двух команд и их результатов рядом.
Сжатие не намного больше, и время не обязательно того стоит, но если на счету каждый мегабайт, это все равно отличный вариант.
Надеюсь, вам понравилось это руководство по использованию всех ядер для сжатия архивов с помощью tar. Обязательно ознакомьтесь с некоторыми из других наших материалов по Linux, например, как собрать новый ПК для Linux, освоить Apt и стать гуру Apt, а также как установить Arch Linux на Raspberry Pi.
Связанный:
Эта статья полезна? да нет
