Re: Backup über Internet

From: Michelle Konzack <bsd4michelle(at)tamay-dogan.net>
Date: Thu, 1 Mar 2012 23:10:44 +0100

Hello Till Toenges,

Am 2012-03-01 20:11:06, hacktest Du folgendes herunter:
> Hallo allerseits,
>
> ich habe hier einige Daten, derzeit etwa 1 TB mit steigender
> Tendenz, die ich auf einen Backup-Server sichern will. Das erste
> Backup kann ich von Hand ins Rechenzentrum bringen, aber das will
> ich in Zukunft vermeiden.

Ich habe ein ähnliches Problem mit den Backups der Server die ich bei
Hetzner/Nürnberg und TeleMaxx/Karlsruhe habe... Die Festplatten haben
insgesammt 1800 TByte Kapazität... und davon Backups machen ist ein
Alptraum, auch wen man bis auf 5% kompremieren kann

> Ich suche daher nach einer Backup-Lösung, die folgende Bedingungen erfüllt:
>
> 1. Kein regelmäßiges Full Backup erforderlich.

Ich mache derzeit von allem, was kleiner als 1 MByte ist folgende
Backupos:

Sonntag: Full Backup
Mo-Sa: Incremental

und das ganze mit: md5sum + rsync + tar + bzip2 + gpg

> 2. Verschlüsselung auf der Versandseite.

Ich dresch das Zeug nach dem rsync und tar durch "gpg"

> 3. Einstellbares Quota.

Was meinst Du damit? Auf der Empfangsseite?

> 4. Alte Versionen sollen erhalten bleiben.

Sicher...

> 5. Bei überschreiten des Quota sollen alte Versionen entfernt
> werden, eventuell auch mit einem Script auf dem Backup-Server zu
> lösen.

Ehhm, - Knoten im Hirn!

Willst Du jetzt Backups zweimal anlegen? Also auf der sende seite und
auf der Empfangsseite?

> 6. Gelöschte Dateien sollen im Backup auch als solche markiert sein,
> also nur noch in den alten Archiven erhalten sein.

Ehm, also die Datein sind dann nicht mehr im Backup drin...
Deswegen Incremental Backup

> 7. Einzelne Dateien müssen wiederhergestellt werden können.

Ja sicher, sonnst macht es ja irgendwie keinen sinn

> 8. Das Backup muss komplett verifiziert werden können, ohne dass die
> Dateien dazu vollständig übertragen werden.

Ehm? Kennste STFW?

> 9. Softlinks, Hardlinks und sonstige Spezialitäten müssen möglichst
> vollständig erhalten bleiben.

Mit Hardlinks wirste Probleme bekommen...

Selbst rsync und tar knallen die weg, sprich, es werden dann normale
einzelne Dateien.

> 10. Muss unter FreeBSD (Client) und Linux (Server) laufen.

Ist kompatibel

> Die meisten Punkte davon konnte ich bereits mit Rsync und einigen
> Scripts auf dem Backup-Server abhandeln. Für die Verschlüsselung
> fällt mir da aber nur encFS mit reverse Option ein. Und da bin ich
> dann schon tiefer im Bastelbereich als mir für meine Daten wirklich
> lieb ist.

Also ich hatte vor ein paar Wochen auf der deutschen Debian Liste
deswegen angefragt, weil beim Backup mit rsync über das Internet, zuviel
übertragen wurde, sprich, ich habe jeden tag ein paar dutzend GB Traffic
gehabt...

War dann in etwa so:

    #========> Fullbackup <=============================================
    rsync -v -e ssh -aHS --copy-dest=${LASTBAK}${SOURCE} \
          --exclude /usr/src \
          --exclude=/home \
          --exclude=/var/cache/apt/archives \
          root@${IN_SERVER}:${SOURCE} ${BASEDIR}

    #========> Incrementslbackup <======================================
    rsync -v -e ssh -aHS --copy-dest=${LASTBAK}${SOURCE} --delete \
          --exclude=/usr/src \
          --exclude=/home \
          --exclude=/var/cache/apt/archives \
          root@${IN_SERVER}:${SOURCE} ${BASEDIR}

werden dabei die Hardlinks vernichtet obwohl es nicht sein sollte. Ich
habe über Monate den Fehler nicht gefunden.

So, nun gibt es eigentlich nur noch die Möglichkeit, das ganze Backup
local zu machen und dann zu "tar | bzip2 | gpg"

Ich mache als nun folgendes:

1) Liste von Dateien erstellen von denen ein Backup gemacht werden muß

2) von allen Dateien welche zu backupen sind, folgendes ermitteln:
      a) CHAR md5sum
      b) BOL Hardlink
      c) INT Größe in Bytes
      d) CHAR Name

2) WENN vorhanden, mit alter md5sum.list vergleichen und unter-
    schiedliche Dateien in einer DIFF-Datei speichern.

3) Nun die 3 md5sum Dateien (ALT, NEU und DIFF) in das Backup-Root nach
      /tmp/backup.RaNdOm/
    kopieren

4) Alle Dateien aus der DIFF-Datei mit Pfad nach
      /tmp/backup.RaNdOm/
    kopieren

5) nun das ganze per "tar | bzip2 | gpg" archivieren, kompremieren und
    encrypten.

6) das ganze in handliche stücke von 5-10 MByte mit "split" zerlegen,
    md5sums angegen (diese mit gpg signieren) und verschlüsselt per scp
    oder rsync übertragen.

7) Am empfangsort md5sums Datei auf korrekte signatur überpüfen und
    dann die Archive teile und wenn alles OK ist, wieder mit "cat"
    zusammenfügen

Auf dem "Sender" behalte ich nun die TAR archive eine Woche als Kopie,
denn nach dem ersten Vollbackup muß ich ja 6 Incremental machen

Einziger nachteil ist dann allerdings, das wenn eine Datei wiederher-
estellt werden muß, das gesammte Archiv decrypted, decompremiert und
ausgepackt.

Optimaler währe es, jede EINZELNE Datei größer als 1 KB zu kompremieren
und dann zu packen... da kann man sich dann beim TAR die kompremierung
sparen und leicht einzelne dateien extrahieren, aber man verliert dann
dabei die Hardlinks

> Die meisten "richtigen" Backup-Programme scheitern bereits an Punkt
> 1.

Ehm wie meinen? Also alle Backup-Programme die ich kenne, machen Full-
und Incremental-Backup...

> Verschlüsselung scheint auch selten unterstützt zu werden. Von
> den restlichen Punkten mal abgesehen.

Kommt darauf an...

> Hat da jemand einen guten Vorschlag? Erfahrungen?
> Till

Thanks, Greetings and nice Day/Evening
    Michelle Konzack

-- 
##################### Debian GNU/Linux Consultant ######################
   Development of Intranet and Embedded Systems with Debian GNU/Linux
               Internet Service Provider, Cloud Computing
                <http://www.itsystems.tamay-dogan.net/>
itsystems(at)tdnet                     Jabber  linux4michelle(at)jabber.ccc.de
Owner Michelle Konzack
Gewerbe Strasse 3                   Tel office: +49-176-86004575
77694 Kehl                          Tel mobil:  +49-177-9351947
Germany                             Tel mobil:  +33-6-61925193  (France)
USt-ID:  DE 278 049 239
Linux-User #280138 with the Linux Counter, http://counter.li.org/

To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-questions" in the body of the message
Received on Thu 01 Mar 2012 - 23:11:44 CET

search this site