Re: komplette cvsup mirrors ?

Hi,

On Wed, 13 Oct 2004, Karsten W. Rohrbach wrote:
> Eberhard Moenkeberg(emoenke(at)gwdg.de)@2004.10.13 00:29:06 +0000:
 
> > Was wuerde denn passieren, wenn Du sie machen lassen wuerdest?
> >
> > Ich habe all meine Limits auf Ultimo gesetzt (http=2048, ftp=8192,
> > rsync=333) und schicke mir eine Mail bei 2/3. Wenn die kommt, gucke ich,
> > was los ist, und reagiere mit /etc/hosts.deny oder gar nicht.
> > Etwas RAM-Reserve und guten Disk-I/O, mehr braucht es doch nicht.
>
> datasink.webmonster.de:
> Pentium 4 2.6GHz auf einem i845PE Board
> 1.5GB RAM
> 36GB U3 SCSI 10kRPM (Main)
> 40GB UDMA100 IDE (Backup)
> 40GB UDMA100 IDE (CVSup, Mirrors)
> 2x fxp
> FreeBSD4
>
> Darauf laufen in etlichen Jails eine Hand voll Web Server, MySQL (legacy),
> PostgreSQL, diverse Zope Instanzen, eine recht umfangreicher
> qmail-Setup, diverse kleinere Services und CVSup. Also nix fuer schwache
> Nerven, wie Du siehst.

Etwas zu wenig Platten-Koepfe...
Wenn Du z.B. noch einen Promise Ultra 100 TX2 reinstecken wuerdest (35
Euro), haettest Du zwei IDE-Kanaele mehr. Dann an jeden eine Platte (eine
zweite am IDE-Kanal wuerde bzgl, "Koepfe" nichts bringen, nur bzgl.
"Platz"). Fuer etwa 150 Euro koenntest Du Deine I/O-Situation ordentlich
entspannen. Dann waere wohl das RAM der naechste Flaschenhals, weil ja
immer ganz schnell alles genommen wird, was geboten wird.

> Der CVSup Service auf datasink ist - wie der Rest der erbrachten
> Services auch - ok in den Antwortzeiten und der Uebertragungsrate.
>
> Ich bin leider nicht die GWDG und muss mit dem was da ist meinen
> Lebensunterhalt bestreiten.

Die GWDG ist oeffentlicher Dienst, "Zuuwendungs-Empfaenger". Das ist
auch nicht das Paradies... Wahrscheinlich ist auch mein Gehalt nur halb so
hoch wie Deins. :-))

> Deshalb reagiere ich in letzer Zeit sehr
> anal gegenueber Resourcehogs. Dennoch erhalte ich den Service aufrecht,
> da er einer offenen und hilfsbereiten Community dient und ich will, dass
> die Community auch von mir profitiert.

Brav.
Das hat mir mal ein Lehrer vor 35 Jahren unter eine Englisch-Arbeit
geschrieben - damals habe ich das niemandem gezeigt. ;-))

> Tacheles: Das Bottleneck ist der IO.
> Ich habe hier zwei 10kRPM U3-Platten und einen Adaptec 29160u3 liegen,
> die als Upgrade vorgesehen sind. Allerdings geht es ob der momentanen
> Situation vor, Dinge zu tun, die meinen Kindern und mir ein Essen auf den
> Tisch zaubern und das Dach ueberm Kopf sichern. Da eine IPFilter-Regel
> weniger von meinem Zeitbudget kostet als der komplette Umbau des Servers
> ist die Nicht-Upgrade-Situation hoffentlich verstaendlich ;-)

Klaro. Das Sein bestimmt das Bewusstsein, aber ab einem gewissen Niveau
gilt das auch andersrum.

Bis zum Sommer 2003 war ftp.gwdg.de ein selbst zusammengeschustertes
System, das 1998 mit 8 SCSI-Platten 18 GB an zwei Kanaelen an den Start
gegangen war. Weil der (ebenfalls selbst gebaute) Vorgaenger gute
Akzeptanz gefunden hatte, wurde mir damals die "Gnade" zuteil, Haushalts-
Mittel zu bekommen. Natuerlich haben die 144 GB Raid-0 nicht lange
gereicht, aber dann war erstmal nichts mehr drin, und ich musste
mit billigen IDE-Platten und mangels PCI-Steckplaetzen sogar mit
Master+Slave erweitern.
End-Zustand: /ftp/pub/ bestand aus 8 SCSI-Platten an 2 Kanaelen (nur
Striping), und /ftp/pub/misc/ war die Erweiterung (separates Filesystem)
aus 4 IDE-Platten 80 GB an 2 Kanaelen, ebenfalls nur Striping.
Damit musste ich Jahre lang immer jonglieren und durch Umkopieren dafuer
sorgen, dass die meist-nachgefragten Teile im SCSI-Teil liegen, weil
/ftp/pub/misc/ wegen Master+Slave nur wie ein 2-Koepfe-Filesystem reagiert
hat. Alles, was stark nachgefragt wurde, musste so schnell wie moeglich in
das 8-Kopf-Filesystem gemovt werden, damit die IDE-Platten nicht nur noch
ihre Koepfe vor und zurueck gerammelt haben ohne richtig Daten zu liefern.
In der Zeit war ich oft am Verzweifeln darueber, dass im oeffentlichen
Dienst Zeit nicht gleich Geld ist...

Inzwischen geht's mir besser, aber nicht wegen des Sisyphus-Kampfes,
sondern wegen der neuen Rolle von OpenSource: alle meinen, das brauchen zu
muessen (ich meine das auch). Der endlich gesehene Nutzen eines zentralen
Distributions-Servers fuer "freie" Software hat mir schliesslich
"ordentliche" Ressourcen beschert.

Inzwischen habe ich genug CPU (2 * 2,8 GHz Xeon), genug RAM (12 GB), genug
Netz (1 GBit bis ins G-WIN), aber nicht etwa keine Probleme, sondern neue:
Der Platten-I/O muss verbessert werden, wenn ich das GBit fuellen will...
In dieser Situation betrachte ich sogar den einzelnen Freak, der jede
Minute einen rsync auf /pub/suse/ startet (oder /pub/FreeBSD/), erstmal
als Pruefstein fuer die Anforderungen von morgen.

Gruss -e

-- 
Eberhard Moenkeberg (emoenke(at)gwdg.de, em(at)kki.org)
To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-hubs" in the body of the message