Tarlz è un'implementazione parallela (multi-thread) e multi-membro (multi-blocco) dell'archiviatore tar e del compressore lzip . Tarlz usa la libreria di compressione lzlib .

Tarlz crea archivi tar utilizzando una variante semplificata e più sicura del formato POSIX PAX con compressione in formato lzip, mantenendo l'allineamento tra i membri tar e i membri lzip.

L'archivio tar.lz multimembro risultante è retrocompatibile con gli strumenti tar standard come GNU tar, che lo trattano come qualsiasi altro archivio tar.lz solido, GNU Tar lo decomprimerà in maniera sequenziale.

Tarlz può aggiungere file alla fine di tali archivi compressi.

Note di funzionamento di tarlz

Introduciamo due postulati fondamentali:

• Gli archivi solidi non possono essere creati né decodificati in parallelo.
• Per implementare un archiviatore e compressore parallelo (multi-thread) è necessario che esso funzioni tramite blocchi di dati.

Tarlz non processa il file in ingresso come “intero” (in maniera sequenziale), ma l'intero file di ingresso, sarà diviso in “N” blocchi o porzioni di dati, in modo tale che, il processore multi core della macchina, possa processare più blocchi contemporaneamente e parallelamente; ogni core processerà indipendentemente dagli altri, i blocchi a lui assegnati, diminuendo in questo modo il tempo computazionale dell'operazione, rispetto ad un approccio sequenziale e solido.

Nello specifico, tarlz costruisce un archivio Tar multi-membro e lo allinea in input a lzip, che a sua volta, costruisce un file compresso multi-membro allineato con il Tar di partenza.

file tar allineato
+========+======+=================+===============+========+======+========+
| header | data | extended header | extended data | header | data |   EOA  |
+========+======+=================+===============+========+======+========+

tar.lz allineato multimembro
+===============+=================================================+========+
|     member    |                      member                     | member |
+===============+=================================================+========+

+--+--+--+--+----+----+=============+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| ID string | VN | DS | LZMA stream | CRC32 |   Data size   |  Member size  |
+--+--+--+--+----+----+=============+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Questa accortezza , comporta maggior robustezza in caso di corruzione dell'archivio, buona parte dell'archivio può essere recuperata, l'accesso non sequenziale a porzioni specifiche di dati interessa solo il blocco corrispondente in archivio e la sua eventuale decompressione.

Tarlz può creare archivi tar con cinque livelli di granularità di compressione:

• per file (--no-solid),
• per blocco (--bsolid, predefinito),
• per directory (--dsolid),
• solid appendibile (--asolid)
• solid (--solid).
• Può anche creare archivi tar non compressi.

Naturalmente, comprimendo ogni file (o ogni directory) individualmente non si può raggiungere un rapporto di compressione elevato quanto quello ottenuto comprimendo in modo uniforme l'intero archivio tar, ma si ottengono i seguenti vantaggi:

• L'archivio tar.lz multimembro risultante può essere decompresso parallelamente, moltiplicando la velocità di decompressione.
• Nuovi membri possono essere aggiunti all'archivio (rimuovendo il membro di fine archivio) e i membri indesiderati possono essere eliminati dall'archivio. Proprio come un archivio tar non compresso.
• È un formato di backup sicuro in stile POSIX. In caso di corruzione, tarlz può estrarre tutti i membri non danneggiati dall'archivio tar.lz, saltando i membri danneggiati, proprio come il tar standard (non compresso). Inoltre, l'opzione '—keep-damaged' può essere usata per recuperare quanti più dati possibili da ogni membro danneggiato, e lziprecover può essere usata per recuperare alcuni dei membri danneggiati.

Uso di tarlz

tarlz si invoca in questo modo:

tarlz [options] [files]

OPTIONS
       --help display this help and exit

       -V, --version
              output version information and exit

       -A, --concatenate
              append archives to the end of an archive

       -B, --data-size=<bytes>
              set target size of input data blocks [2x8=16 MiB]

       -c, --create
              create a new archive

       -C, --directory=<dir>
              change to directory <dir>

       -d, --diff
              find differences between archive and file system

       --ignore-ids
              ignore differences in owner and group IDs

       --delete
              delete files/directories from an archive

       --exclude=<pattern>
              exclude files matching a shell pattern

       -f, --file=<archive>
              use archive file <archive>

       -h, --dereference
              follow symlinks; archive the files they point to

       -n, --threads=<n>
              set number of (de)compression threads [2]

       -q, --quiet
              suppress all messages

       -r, --append
              append files to the end of an archive

       -t, --list
              list the contents of an archive

       -v, --verbose
              verbosely list files processed

       -x, --extract
              extract files/directories from an archive

       -0 .. -9
              set compression level [default 6]

       --uncompressed
              don't compress the archive created

       --asolid
              create solidly compressed appendable archive

       --bsolid
              create per block compressed archive (default)

       --dsolid
              create per directory compressed archive

       --no-solid
              create per file compressed archive

       --solid
              create solidly compressed archive

       --anonymous
              equivalent to '--owner=root --group=root'

       --owner=<owner>
              use <owner> name/ID for files added

       --group=<group>
              use <group> name/ID for files added

       --keep-damaged
              don't delete partially extracted files

       --missing-crc
              exit with error status if missing extended CRC

       --out-slots=<n>
              number of 1 MiB output packets buffered [64]

       Exit  status: 0 for a normal exit, 1 for environmental problems (file not found,
       invalid flags, I/O errors, etc), 2 to indicate a corrupt or invalid input  file,
       3 for an internal consistency error (eg, bug) which caused tarlz to panic.

Alcuni esempi di tarlz

Esempio 1: crea un archivio compresso multiplo:

Archive.tar.lz contenente file A ,B ,C.

tarlz -cf archive.tar.lz a b c

tarlz -rf archive.tar.lz d e

tarlz --asolid -cf archive.tar.lz a b c
tarlz --asolid -rf archive.tar.lz d e

tarlz --dsolid -cf archive.tar.lz dir1 dir2 dir3
tarlz --asolid -rf archive.tar.lz a b c d e

tarlz --solid -cf archive.tar.lz a b c

tarlz -xf archive.tar.lz 

tarlz -xf archive.tar.lz a c dir1

tarlz -C sourcedir --uncompressed -cf - . | tarlz -C destdir -xf -

tarlz -z --no-solid archive.tar

tarlz -z -o foo.tar.lz archive.tar

tarlz -A archive1.tar archive2.tar | tarlz -z -o foo.tar.lz

riferimenti e bibliografia

lzip.nongnu.org/

lzip.nongnu.org/manual/lzip_ma…

lzip.nongnu.org/tarlz.html

lzip.nongnu.org/lzlib.html

lzip.nongnu.org/lziprecover.ht…

nongnu.org/zutils/zutils.html

en.wikipedia.org/wiki/Lzip

altri articoli riguardanti lzip, qui su noblogo:

noblogo.org/fenix/lzip-questo-…

noblogo.org/fenix/lzip-guida-r…

#unolinux #lzip #LZMA #tarlz #compressione #compressionedati #opensurce #archivio #tutorial #guidainformatica #linux

noblogo.org/fenix/lzip-guida-r…

fenix

2025-01-26 11:26:33

LZIP GUIDA RAPIDA PARTE 2

Tarlz è un'implementazione parallela (multi-thread) e multi-membro (multi-blocco) dell'archiviatore tar e del compressore lzip . Tarlz usa la libreria di compressione lzlib .

Tarlz crea archivi tar utilizzando una variante semplificata e più sicura del formato POSIX PAX con compressione in formato lzip, mantenendo l'allineamento tra i membri tar e i membri lzip.

L'archivio tar.lz multimembro risultante è retrocompatibile con gli strumenti tar standard come GNU tar, che lo trattano come qualsiasi altro archivio tar.lz solido, GNU Tar lo decomprimerà in maniera sequenziale.

Tarlz può aggiungere file alla fine di tali archivi compressi.

Note di funzionamento di tarlz

Introduciamo due postulati fondamentali:

• Gli archivi solidi non possono essere creati né decodificati in parallelo.
• Per implementare un archiviatore e compressore parallelo (multi-thread) è necessario che esso funzioni tramite blocchi di dati.

Tarlz non processa il file in ingresso come “intero” (in maniera sequenziale), ma l'intero file di ingresso, sarà diviso in “N” blocchi o porzioni di dati, in modo tale che, il processore multi core della macchina, possa processare più blocchi contemporaneamente e parallelamente; ogni core processerà indipendentemente dagli altri, i blocchi a lui assegnati, diminuendo in questo modo il tempo computazionale dell'operazione, rispetto ad un approccio sequenziale e solido.

Nello specifico, tarlz costruisce un archivio Tar multi-membro e lo allinea in input a lzip, che a sua volta, costruisce un file compresso multi-membro allineato con il Tar di partenza.

---

file tar allineato
+========+======+=================+===============+========+======+========+
| header | data | extended header | extended data | header | data |   EOA  |
+========+======+=================+===============+========+======+========+

tar.lz allineato multimembro
+===============+=================================================+========+
|     member    |                      member                     | member |
+===============+=================================================+========+

ogni membro lzip ha la seguente struttura:

+--+--+--+--+----+----+=============+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| ID string | VN | DS | LZMA stream | CRC32 |   Data size   |  Member size  |
+--+--+--+--+----+----+=============+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Mantenere l'allineamento tra i membri tar e i membri lzip ha due vantaggi. Aggiunge un livello lzip indicizzato sopra l'archivio tar, rendendo possibile la decodifica dell'archivio in modo sicuro in parallelo. Inoltre riduce al minimo la quantità di dati persi in caso di danneggiamento. L'accesso ai dati è più veloce.

Questa accortezza , comporta maggior robustezza in caso di corruzione dell'archivio, buona parte dell'archivio può essere recuperata, l'accesso non sequenziale a porzioni specifiche di dati interessa solo il blocco corrispondente in archivio e la sua eventuale decompressione.

Tarlz può creare archivi tar con cinque livelli di granularità di compressione:

• per file (--no-solid),
• per blocco (--bsolid, predefinito),
• per directory (--dsolid),
• solid appendibile (--asolid)
• solid (--solid).
• Può anche creare archivi tar non compressi.

Naturalmente, comprimendo ogni file (o ogni directory) individualmente non si può raggiungere un rapporto di compressione elevato quanto quello ottenuto comprimendo in modo uniforme l'intero archivio tar, ma si ottengono i seguenti vantaggi:

• L'archivio tar.lz multimembro risultante può essere decompresso parallelamente, moltiplicando la velocità di decompressione.
• Nuovi membri possono essere aggiunti all'archivio (rimuovendo il membro di fine archivio) e i membri indesiderati possono essere eliminati dall'archivio. Proprio come un archivio tar non compresso.
• È un formato di backup sicuro in stile POSIX. In caso di corruzione, tarlz può estrarre tutti i membri non danneggiati dall'archivio tar.lz, saltando i membri danneggiati, proprio come il tar standard (non compresso). Inoltre, l'opzione '—keep-damaged' può essere usata per recuperare quanti più dati possibili da ogni membro danneggiato, e lziprecover può essere usata per recuperare alcuni dei membri danneggiati.

---

Uso di tarlz

tarlz si invoca in questo modo:

tarlz [options] [files]

le opzioni sono le seguenti:

OPTIONS
       --help display this help and exit

       -V, --version
              output version information and exit

       -A, --concatenate
              append archives to the end of an archive

       -B, --data-size=<bytes>
              set target size of input data blocks [2x8=16 MiB]

       -c, --create
              create a new archive

       -C, --directory=<dir>
              change to directory <dir>

       -d, --diff
              find differences between archive and file system

       --ignore-ids
              ignore differences in owner and group IDs

       --delete
              delete files/directories from an archive

       --exclude=<pattern>
              exclude files matching a shell pattern

       -f, --file=<archive>
              use archive file <archive>

       -h, --dereference
              follow symlinks; archive the files they point to

       -n, --threads=<n>
              set number of (de)compression threads [2]

       -q, --quiet
              suppress all messages

       -r, --append
              append files to the end of an archive

       -t, --list
              list the contents of an archive

       -v, --verbose
              verbosely list files processed

       -x, --extract
              extract files/directories from an archive

       -0 .. -9
              set compression level [default 6]

       --uncompressed
              don't compress the archive created

       --asolid
              create solidly compressed appendable archive

       --bsolid
              create per block compressed archive (default)

       --dsolid
              create per directory compressed archive

       --no-solid
              create per file compressed archive

       --solid
              create solidly compressed archive

       --anonymous
              equivalent to '--owner=root --group=root'

       --owner=<owner>
              use <owner> name/ID for files added

       --group=<group>
              use <group> name/ID for files added

       --keep-damaged
              don't delete partially extracted files

       --missing-crc
              exit with error status if missing extended CRC

       --out-slots=<n>
              number of 1 MiB output packets buffered [64]

       Exit  status: 0 for a normal exit, 1 for environmental problems (file not found,
       invalid flags, I/O errors, etc), 2 to indicate a corrupt or invalid input  file,
       3 for an internal consistency error (eg, bug) which caused tarlz to panic.

---

Alcuni esempi di tarlz

Esempio 1: crea un archivio compresso multiplo:

Archive.tar.lz contenente file A ,B ,C.

tarlz -cf archive.tar.lz a b c

Esempio 2: Incorpora il file “d” e il file “e” alla fine dell'archivio multi-membro “Archive.tar.lz” .

tarlz -rf archive.tar.lz d e

Esempio 3: creare un archivio (solid appendibile) Archive.tar.lz contenente i file a,b,C . Quindi aggiungi i file “d” ed “e” alla fine dell'archivio.

tarlz --asolid -cf archive.tar.lz a b c
tarlz --asolid -rf archive.tar.lz d e

Esempio 4: creare un archivio (solid appendibile) contenente le directory “dir1”, “dir2”, “dir3” con un membro lzip separato per directory. Quindi aggiungi i file a,b,c,d,e all'archivio, tutti contenuti in un unico membro lzip. L'archivio risultante Archive.tar.lz contiene 5 membri LZIP (incluso il membro di fine archivio).

tarlz --dsolid -cf archive.tar.lz dir1 dir2 dir3
tarlz --asolid -rf archive.tar.lz a b c d e

Esempio 5: creare un archivio solido “archive.tar.lz” contenente i file a,b,c. Nota bene, non si possono aggiungere altri file successivamente all'archivio.

tarlz --solid -cf archive.tar.lz a b c

Esempio 6: estrai tutti i file dall'archivio Archive.tar.lz .

tarlz -xf archive.tar.lz 

Esempio 7: estrazione dei file “a” e “c” con l'intero albero delle sotto directory “dir1” dall'archivio “Archive.tar.lz” .

tarlz -xf archive.tar.lz a c dir1

Esempio 8: copia il contenuto della directory “sourcedir” alla directory “destdir” .

tarlz -C sourcedir --uncompressed -cf - . | tarlz -C destdir -xf -

Esempio 9: comprimere l'archivio Posix esistente “Archive.tar” e scrivi l'output in “Archive.tar.lz . Comprimere ogni membro individualmente per Disponibilità massima. (Se un membro nell'archivio compresso viene danneggiato, gli altri membri possono ancora essere estratti).

tarlz -z --no-solid archive.tar

Esempio 10: comprimere l'archivio “Archive.tar” e scrivi l'output come “foo.tar.lz”.

tarlz -z -o foo.tar.lz archive.tar

Esempio 11: concatenare e comprimere due archivi “archive1.tar” e “archive2.tar” e scrivere l'output come “foo.tar.lz” .

tarlz -A archive1.tar archive2.tar | tarlz -z -o foo.tar.lz

---

riferimenti e bibliografia

lzip.nongnu.org/

lzip.nongnu.org/manual/lzip_ma…

lzip.nongnu.org/tarlz.html

lzip.nongnu.org/lzlib.html

lzip.nongnu.org/lziprecover.ht…

nongnu.org/zutils/zutils.html

en.wikipedia.org/wiki/Lzip

---

altri articoli riguardanti lzip, qui su noblogo:

noblogo.org/fenix/lzip-questo-…

noblogo.org/fenix/lzip-guida-r…

---

#unolinux #lzip #LZMA #tarlz #compressione #compressionedati #opensurce #archivio #tutorial #guidainformatica #linux

compression software

^{Contributors to Wikimedia projects (Wikimedia Foundation, Inc.)}

lzip viene invocato in questo modo

lzip [options] [files]

Se non viene specificato alcun nome di file, lzip comprime (o decomprime) da dall'input standard all'output standard. Un trattino ' – ' utilizzato come file argomento significa input standard. Può essere mescolato con altri file ed è letto solo una volta, la prima volta che appare nella riga di comando. Ricordati di anteporre ./ a qualsiasi nome di file che inizia con un trattino oppure utilizzare ' – – '.

Opzioni più usate:

NB: questa è una lista parziale, per avere la lista estesa di tutte le opzioni disponibile fare riferimento all'help del programma o al manuale.

livello di compressione:

--fast

--best

Alias ​​per la compatibilità comandi simile a GNU gzip.

esempi di utilizzo generico:

Archiviare un file, sostituendolo con una versione compressa:

lzip path/to/file

Archiviare un file, mantenendo il file di input:

lzip -k percorso/del/file

Archiviare un file con la migliore compressione (livello=9) (compressione lenta) :

lzip --best percorso/del/file

Archivia un file alla massima velocità (livello=0):

lzip --fast percorso/del/file

Archivia un file con buona velocità con compressione di livello 4 (dizionario da 3MB):

lzip -4 percorso/del/file

Archivia un file (più lento) con maggiore compressione, livello 7 (dizionario da 16MB):

lzip -7 percorso/del/file

Testare l'integrità del file compresso:

lzip --test path/to/archive.lz

Decomprimere un file, sostituendolo con la versione originale non compressa:

lzip -d path/to/archive.lz

Decomprimere un file, mantenendo l'archivio:

lzip -d -k path/to/archive.lz

Elenca i file che si trovano in un archivio e mostra le statistiche di compressione:

lzip --list path/to/archive.lz

Come comprimere con lzip e GNU Tar una directory in Linux

Come accennato precedentemente lzip opera unicamente su un singolo file per volta, quindi in parole spicce è impossibilitato a comprimere intere directory di file in un unico file compresso, per fare ciò si usa prima archiviare con tar la directory/cartella da comprimere, per poi comprimerla in un secondo momento con lzip.

lzip archivio.tar

avremo un file chiamato:

archivio.tar.lz

questo approccio potrebbe risultare scomodo (comandi archivio tar + comandi lizp), perché effettivamente andremo a scrivere una miriade di comandi, fortunatamente è possibile fare questa operazione direttamente con un unico comando tar simile a questo:

tar --lzip -cvf nome_archivio cartella_da_comprimere

le opzioni del comando tar utilizzato in precedenza hanno il seguente significato:

--lzip dice a tar che deve usare lzip per comprimere il file c dice a tar di creare archivio di file non compresso v modalità dettagliata, mostra quali file vengono elaborati f l'output file x estrae i file dall'archivio

vediamo un esempio, supponiamo che ho una cartella chiamata “documenti” contenente file vari, vorrei comprimerla con lzip in un archivio compresso tar.lz chiamato archivio_documenti:

tar --lzip -cvf archivio_documenti.tar.lz documenti

per estrarlo:

tar --lzip -xvf archivio_documenti.tar.lz

se il file presenta estensione “tar.lz” tar è in grado di riconoscerlo come “archivio compresso lzip” e si può omettere il parametro “--lzip” in fase di estrazione:

tar -xvf archivio_documenti.tar.lz

con GNU TAR è anche possibile passare parametri opzionali al “compressore”, supponiamo ad esempio di voler comprimere e archiviare la solita cartella documenti, questa volta contenente ad esempio solo file di testo semplice (hanno un alto rapporto di compressione) e di voler utilizzare un grado di compressione di lzip di tipo -7 a discapito del tempo, avremo un comando simile a questo:

tar -c -I 'lzip -7' -vf archivio_documenti.tar.lz documenti

le opzioni del comando tar utilizzato in precedenza hanno il seguente significato:

-c dice a tar di creare archivio di file non compresso -I indica il programma di compressione e i parametri da usare -v modalità dettagliata, mostra quali file vengono elaborati -f l'output file

per ulteriori combinazioni di comandi fare riferimento al manuale di GNU TAR.

man tar

riferimenti e bibliografia

lzip.nongnu.org/

lzip.nongnu.org/manual/lzip_ma…

lzip.nongnu.org/lzip_benchmark…

lzip.nongnu.org/xz_inadequate.…

lzip.nongnu.org/tarlz.html

lzip.nongnu.org/lzlib.html

lzip.nongnu.org/lziprecover.ht…

nongnu.org/zutils/zutils.html

en.wikipedia.org/wiki/Lzip

gnu.org/software/automake/manu…

datatracker.ietf.org/doc/html/…

nongnu.org/lzip/manual/lzip_ma…

download.savannah.gnu.org/rele…

lists.gnu.org/mailman/listinfo…

altri articoli riguardanti lzip, qui su noblogo:

noblogo.org/fenix/lzip-questo-…

#unolinux #lzip #LZMA #compressione #compressionedati #opensurce #archivio #tutorial #guidainformatica

noblogo.org/fenix/lzip-guida-r…