Re: Filesysteme / Datenbank

Marc van Woerkom
19.08.98 12.30

Erstmal vielen Dank fuer Deine sehr ausfuehrliche Antwort!

> Ich sehe drei Ansaetze:
>
> 1) Wie haeufig kommen neue Files dazu? Wenn sich an der Datenbasis nur
> sehr selten was aendert

Neue Files werden regelmaessig, aber in geringer Anzahl zur Gesamtmenge
eingespielt - die kann man IMHO durchaus in eine Queue stellen,
bzw. in ein memory based FS (wie Du weiter andeutest).

> koenntest Du doch mit einem regulaeren UFS mit option noatime
> auskommen. Vorausgesetzt, Du hast ein schnelles OS.

Haette ich gerne - allerdings habe ich nie wirklich grosse
Dateimengen unter UNIX verwaltet und kenne evt. dort lauernde
Tuecken nicht.

> Oder anders gesagt: bei jeder Abfrage so viele Files neu einzulesen
> muss normalerweise verhindert werden, indem man die Applikation so
> implementiert, dass sie nach dem reboot der Maschine einmal alles
> einliesst und im VM hat und das Filesystem nur fuer Aenderungen
> anfasst (die von diesem Programm oder einem externen gemacht werden
koennen).

OK, angenommen ich baue eine 1GB grosse Containerdatei - wie kann ich
die VM (erstmal Solaris, Irix, FreeBSD - spaeter Windows NT) dazu
bringen, dass sie sich des Containers annimmt?

- a[] = malloc(1GB) und dann komplett nach a[] lesen?
- per mmap()?

Oder sind beide Mechanismen gleichwertig?

> Da Ihr dies nicht tut, deutet es darauf hin,...

Es handelt sich um eine "Legacy" Anwendung.. wir koennen nur
versuchen, es besser zu machen.

> Der Knackpunkt an eurer Situation offenbart sich meiner Meinung nach
> daran, dass das, was Ihr von diesen Fileserver verlangt, ganz platt
> ist, *alle* File rueberzujagen.

Nein, die eigentliche Suche/Vergleiche finden auf der Servermachine
statt, Uebermittelt werden nur Suchobjekt und Ergebnisliste.

> Eure Datenmenge duerfte sich am oberen Rand der
> VM-Addressierbarkeit eures Betriebsystems befinden oder sogar
> darueber.

> und ist das ggf. Hardware, die mehr als 2 GB VM addressieren kann?

Wie bekomme ich die VM Limits bei Solaris und Irix, oder schlimmer
Windows NT, heraus?

(Bei FreeBSD kann ich die Entwickler anmailen)

> Bei Datenbank faellt mir Empress ein.

Danke, schaue ich mir mal an.

Gruesse,
Marc
Received on Wed 19 Aug 1998 - 12:30:38 CEST