Re: Performance von dd/gzip uebers Netz- Klonen von Servern

On Mon, 23 Feb 2004, Peter Wullinger wrote:

> On Sun, Feb 22, 2004 at 06:51:59PM +0100, Olaf Hoyer wrote:
> >
> > -- snip --
> >
> > dd if=/dev/hda bs=1M | ssh ohoyer(at)andereMaschine "gzip > /data/image.gz"
>
> Du hast hier zwei Bremser, die allein auf Rechenzeit basieren:
>
> Das eine ist die SSH, die ziemlich viel CPU Leistung verbrät.

Moin!

also die ssh lag bei max 20%, als ich nachgesehen habe.

> Ansonsten würde ich in dem speziellen Fall eventuell auf rsh
> (ja, ich weiß) umsteigen. Ist einfach schneller, da die
> Verschlüsselung wegfällt.
Kann man auch machen, war in dem Fall wohl aber nicht der Bremser...

>
> Das andere ist der gzip, der hier implizit als "gzip -9" läuft.
> Der nimmt dir auf dem Zielrechner noch zusätzlich Rechenzeit mit weg.
> Vielleicht hilft da ein "gzip -6".

ja, der gzip schluckte ca. 40%.
> > Das Ganze sieht soweit recht gut aus, die Daten laufen ein, aber mit
> > einer Geschwindigkeit von ca. 100-300 kbytes/sec.
> > Beide Maschinen sind P4, Netzwerk ist 100 Mbit fullduplex, an beiden
> > Seiten ueberprueft.
>
> Ein reiner scp von einem Rechner auf dem anderen (P2, 400 Mhz)
> schafft hier etwa 2.0 MB/s.
>
> Kopier ich mir deine Kommandozeile und probiere es damit, geht das
> Ganze etwa auf 1.0 MB/s runter. Ich habe allerdings andere Daten
> (.avi-Datei) die eventuell den notwendigen Kompressionsaufwand ändern.
>
> Deine Zahlen erscheinen mir aber trotzdem als ein wenig zu niedrig.
> Wäre interessant, wenn du dir vielleicht mal die Prozessorlast auf
> beiden Rechnern anschauen würdest. Ansonsten kann ich mir
> allerhöchstens nur noch Überlastung des Netzwerks vorstellen,
> aber das hast du ja schon überprüft.

Auf der Seite von G4U steht auch ein wichtiger Hinweis:
wenn Bereiche noch jungfraeulich sind, werden diese bestenfalls besch...
komprimiert. dort wird vorgeschlagen, das Filesystem mit Nullen zu
fuellen, also dd if=dev/zero of=/mount/nulldatei zu machen, und diese
datei nachher zu loeschen, um den gesamten Platz zum Grossteil mit Nullen
aufzufuellen. Damit soll gzip deutlich bessere Kompression bringen.

>
> Ich nehme für solche Sachen derzeit partimage:
> http://www.partimage.org/.
> Funktioniert aber mit NTFS-Partitionen nicht zuverlässig.
>
schau ich mir mal an, soll FreeBSD/Linux(Knoppix) kompatibel sein...

Danke,
Olaf

-- 
Olaf Hoyer        ohoyer(at)gaff.hhhr.ision.net
Fuerchterliche Erlebniss geben zu raten,
ob der, welcher sie erlebt, nicht etwas Fuerchterliches ist.
(Nietzsche, Jenseits von Gut und Boese)
To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-questions" in the body of the message