Re: komplette cvsup mirrors ?

Hi,

On Wed, 13 Oct 2004, Bernd Walter wrote:
> On Wed, Oct 13, 2004 at 12:29:06AM +0200, Eberhard Moenkeberg wrote:
> > On Tue, 12 Oct 2004, Karsten W. Rohrbach wrote:
> > > Bernd Walter(ticso(at)cicely12.cicely.de)@2004.10.12 13:37:25 +0000:
> > > > On Mon, Oct 11, 2004 at 09:49:47PM +0159, Karsten W. Rohrbach wrote:

> > > > > Wer regelmaessig alle Stunde bei mir cvsupt wird allerdings
> > > > > limitiert/geblockt. (ja, ich kann's nicht oft genug wiederholen ;-)
> > > >
> > > > Wie hast du das umgesetzt?
> > > > Ich meine alle Stunde st?rrt mich jetzt nicht besonders, da es legitime
> > > > Gr?nde f?r gibt, aber wer regelm?ssig ?fters kommt...
> > >
> > > ipfilter. Wer nervt geht. Besonders die "alle 20 Minuten" Folks. Fuer
> > > die verschwende ich keinen Augenblick meiner Lebenszeit mehr, als den
> > > Eintrag einer permanenten Filterregel auf meine gesamte Infrastruktur.
> > > Der Netz-Kontakt bekommt noch schnell ne Email mit Doku und einer
> > > Rueckrufnummer. C'est ca.
>
> Ich hatte gehofft, dass da was automatisches wäre.
>
> > Was wuerde denn passieren, wenn Du sie machen lassen wuerdest?
>
> Die Maschine wird belastet aus Kosten derjenigen, die ordentlich
> nutzen und derjenigen die den Service finanzieren.
> Momentan habe ich das Glück, dass die Maschine die ich betreue sehr
> gut ausgestattet ist, aber die nicht allzulange zurückliegende
> Erfahrung mit der 10 Jahre alten alpha hat deutlich gezeigt wie schnell
> die Last zunehmen kann - der CVS Tree wächst stetig und die Userschaft
> wird auch immer mehr.
> Jetzt geht man mit einer großen Maschine sicherlich etwas entspannter
> damit um als mit einer kleinen, aber die Problematik bleibt.
> Auf der letzten Maschine waren solche Aussiebungen einfach Pflicht um
> den Service für die normalen User noch erträglich schnell zu haben.
>
> > Ich habe all meine Limits auf Ultimo gesetzt (http=2048, ftp=8192,
> > rsync=333) und schicke mir eine Mail bei 2/3. Wenn die kommt, gucke ich,
>
> Und die Mails behandelt du sicherlich auch 24/7.

Das kann ich relativ locker angehen - der Abstand zwischen Mail-Schicken
und Limit-Wirkung ist ja ziemlich gross, und in meinem Alter schlaeft man
nicht mehr so lange am Stueck. ;-))

> > was los ist, und reagiere mit /etc/hosts.deny oder gar nicht.
> > Etwas RAM-Reserve und guten Disk-I/O, mehr braucht es doch nicht.
>
> Naja - alles kostet dann auch gutes Geld.

Durchaus, aber ein Server ist sowieso etwas aufwendiger als ein
GHz-Hobel mit grosser IDE-Platte.
Wenn der Server ohnehin schon da ist, macht es meistens weniger Aufwand,
an den internen Flaschenhaelsen zu arbeiten (mehr RAM, mehr Koepfe, mehr
Kanaele), als ihn zu "schuetzen", um ihn nicht verbessern zu muessen.

> Man hat ja letzlich eine bestimmte Maschine zur Verfügung und will
> damit den Service so gut wie möglich anbieten.
> Wenn sich jemand nicht mal die Mühe macht herauszubekommen, dass alle
> 20 Minuten (und ich habe schon deutlich kleinere Zeiten gesehen)
> einen connect zu machen keinen Sinn ergibt, dann she ich auch nicht
> ein mir Mühe damit zu machen.
> Das belegt einfach nur Resourcen für einen äußerst fragwürdigen
> Nutzen der nicht mal existiert.

Natuerlich ist das 100% sauber argumentiert.
Aber wenn Du bedenkst, dass Du immer wieder fragwuerdige Nutzung
bzw. Ressourcen-Missbrauch entdeckst, wenn Du Dir nur die Zeit nimmst,
genauer zu verfolgen, was die fremden Automaten so treiben, kannst Du
auch beschliessen, eine Wange ganz hinzuhalten, damit die andere
unberuehrt bleibt.

> Es ist dokumentiert, dass kein cvsup Server öfters als stündlich
> syncronisiert.
> Ein cvsupd Prozess belegt so um die 4-6MB und die fehlen dann im
> I/O caching - außerdem werden so an die 10MB Daten über Netz
> transportiert - da kommen bei alle 20 Minten pro Monat stolze 21G
> für einen einzelnen User zusammen, ohne das irgendwelche Nutzdaten
> dabei transportiert wurden.

Peanuts. Das waeren keine 0,5 Promille des Monats-Umsatzes von
ftp.gwdg.de.
Devise: was kuemmert es die Eiche, dass sich eine Sau dran scheuert...

> Es kann einfach nicht angehen, dass 95% der Last von 1-2% der Nutzer
> ausgehen ohne das es einen verständlichen Grund dafür gibt.

Ja klar, aber Dein Alltag wird entspannter, wenn das nicht mehr "Last"
im strengen Sinne bedeutet.

> Aleine heute kamen 12 cvsup User gleichzeitig um Punkt 1:00 Uhr rein.
> OK - die Maschine kann das ab, aber Sinn macht es trotzdem nicht.
> 2 davon von aufeinanderfolgenden IPs mit nahezu identischen Hostnamen.
> Ich kann mir nicht vorstellen, dass alle 12 ausgerechnet um 1:00 Uhr
> frische Sourcen brauchen.
> Die Last ist schlichtweg aus Gedankenlosigkeit mit extrem großen
> Spitzen ausgestattet.

Ja klar, bei mir sind 00:00 h und 01:00 h die Extrem-Punkte. Natuerlich
aus Gedankenlosigkeit, aber eben nur aus der Summe von vielen. Dagegen ist
kein Kraut gewachsen, also kann ich das nur als Pruefstein betrachten...

> Auch das eine Sache die in der cvsup Doku eindeutig als Böse deklariert
> ist - lesen sollte man es nur, oder sich zumindest Gedanken machen.
> Vielleicht sollte man zu vollen Stunden überhaupt keine neuen Connects
> entgegennehmen...
> Es kam mir schon in den Sinn die Connectionanzahl nicht nur für
> Einzel-IPs zu begrenzen, sondern für größer Masken um die Sache
> mit User in den Griff zu bekommen, die glauben man könnte eine
> ganze Rechnerfarm zeitgleich syncroniseren lassen.
>
> Es geht einfach darum wie sorglos Anwender mit kostenlosen Dienst-
> leistungen umgehen, das ist kein Verhalten das Unterstützung bedarf.

Mit dieser Einschaetzung gehe ich voellig konform, aber es ist auch klar,
dass ein Server-Admin seine Klientel nicht belehren oder erziehen kann.
Die Preisfrage ist deshalb, wie man den Belaestigungs-Faktor minimieren
kann.

Vielleicht haette ich etwas weniger provokant fragen sollen:

Was muesste denn passieren, damit Du sie machen lassen koenntest?

Gruss -e

-- 
Eberhard Moenkeberg (emoenke(at)gwdg.de, em(at)kki.org)
To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-hubs" in the body of the message