Re: Backup über Internet

On 2012-03-01 23:27, Michelle Konzack wrote:
>> 5. Bei überschreiten des Quota sollen alte Versionen entfernt
>> werden, eventuell auch mit einem Script auf dem Backup-Server zu
>> lösen.
>
> Ehhm, - Knoten im Hirn!
>
> Willst Du jetzt Backups zweimal anlegen? Also auf der sende seite und
> auf der Empfangsseite?

Wenn es sich vermeiden lässt, dann nicht.

>> 6. Gelöschte Dateien sollen im Backup auch als solche markiert sein,
>> also nur noch in den alten Archiven erhalten sein.
>
> Ehm, also die Datein sind dann nicht mehr im Backup drin...
> Deswegen Incremental Backup

Einige Programme, die angesehen habe, verfahren so, dass auch gelöschte
Dateien noch erhalten bleiben und bei einem Restore wieder zurückkämen,
auch wenn ich die in der aktuellen Version vielleicht gar nicht mehr
haben will, sondern nur noch im Archiv. Das finde ich nicht so
praktisch, deswegen hatte ich es erwähnt.

> Mit Hardlinks wirste Probleme bekommen...
>
> Selbst rsync und tar knallen die weg, sprich, es werden dann normale
> einzelne Dateien.
...
> Also ich hatte vor ein paar Wochen auf der deutschen Debian Liste
> deswegen angefragt, weil beim Backup mit rsync über das Internet, zuviel
> übertragen wurde, sprich, ich habe jeden tag ein paar dutzend GB Traffic
> gehabt...
>
> War dann in etwa so:
>
> #========> Fullbackup<=============================================
> rsync -v -e ssh -aHS --copy-dest=${LASTBAK}${SOURCE} \
> --exclude /usr/src \
> --exclude=/home \
> --exclude=/var/cache/apt/archives \
> root@${IN_SERVER}:${SOURCE} ${BASEDIR}
>
> #========> Incrementslbackup<======================================
> rsync -v -e ssh -aHS --copy-dest=${LASTBAK}${SOURCE} --delete \
> --exclude=/usr/src \
> --exclude=/home \
> --exclude=/var/cache/apt/archives \
> root@${IN_SERVER}:${SOURCE} ${BASEDIR}
>
> werden dabei die Hardlinks vernichtet obwohl es nicht sein sollte. Ich
> habe über Monate den Fehler nicht gefunden.

Ok, das ist doof. Ich hatte mal lokal damit experimentiert, da konnte
ich die Hardlinks erhalten. Hatte ja schon befürchtet, dass Rsync nicht
so ideal für diesen Zweck ist.

> So, nun gibt es eigentlich nur noch die Möglichkeit, das ganze Backup
> local zu machen und dann zu "tar | bzip2 | gpg"
>
> Ich mache als nun folgendes:
>
> 1) Liste von Dateien erstellen von denen ein Backup gemacht werden muß
>
> 2) von allen Dateien welche zu backupen sind, folgendes ermitteln:
> a) CHAR md5sum
> b) BOL Hardlink
> c) INT Größe in Bytes
> d) CHAR Name
>
> 2) WENN vorhanden, mit alter md5sum.list vergleichen und unter-
> schiedliche Dateien in einer DIFF-Datei speichern.
>
> 3) Nun die 3 md5sum Dateien (ALT, NEU und DIFF) in das Backup-Root nach
> /tmp/backup.RaNdOm/
> kopieren
>
> 4) Alle Dateien aus der DIFF-Datei mit Pfad nach
> /tmp/backup.RaNdOm/
> kopieren
>
> 5) nun das ganze per "tar | bzip2 | gpg" archivieren, kompremieren und
> encrypten.
>
> 6) das ganze in handliche stücke von 5-10 MByte mit "split" zerlegen,
> md5sums angegen (diese mit gpg signieren) und verschlüsselt per scp
> oder rsync übertragen.
>
> 7) Am empfangsort md5sums Datei auf korrekte signatur überpüfen und
> dann die Archive teile und wenn alles OK ist, wieder mit "cat"
> zusammenfügen

Der Ansatz mit dem handgebauten Archiv an Checksummen gefällt mir schon
mal ganz gut. Sowas in der Richtung könnte ich vielleicht auch bauen.

> Auf dem "Sender" behalte ich nun die TAR archive eine Woche als Kopie,
> denn nach dem ersten Vollbackup muß ich ja 6 Incremental machen
>
> Einziger nachteil ist dann allerdings, das wenn eine Datei wiederher-
> estellt werden muß, das gesammte Archiv decrypted, decompremiert und
> ausgepackt.

Ja, das kann ein bisschen nerven. Wenn es mir gelingt, die Archive klein
genug zu halten, sollte das aber noch gehen.

> Ehm wie meinen? Also alle Backup-Programme die ich kenne, machen Full-
> und Incremental-Backup...

Das Problem ist bei mir, dass Full Backups eben gar nicht gehen. Das
scheitert an der Bandbreite und am Traffic. Sorry, das hätte ich vorher
erwähnen sollen.

Aber danke schon mal für die Anregungen.

Till

-- 
Kyon, Till Toenges, tt@kyon.de, http://kyon.de
Obergplatz 14, 47804 Krefeld, +49-2151-3620334
To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-questions" in the body of the message