Re: FreeBSD 9.0 Beta Benchmarks

Colloid.Silver <> wrote:
> http://openbenchmarking.org/result/1108141-LI-1108132LI11
>
> Bitte diesen Link an die FreeBSD Entwickler weiterleiten.
>
> Please forward this link to the FreeBSD developers.

Die Phoronix-"Benchmarks" sind bei den FreeBSD-Entwicklern
bereits dafür bekannt, dass sie stümperhaft angefertigt werden
und praktisch nichtssagend sind. Dies ist nicht der erste.

Dass der Ersteller dieses "Benchmarks" sich nicht besonders
gut mit FreeBSD auskennt, sieht man hier schon allein daran,
dass die Bezeichnung "x86_64" für die Plattform verwendet
wird. Das ist vollkommen unüblich; bei FreeBSD heißt die
Plattform "amd64". Wer den Anspruch hat, professionelle
FreeBSD-Benchmarks anzufertigen, sollte auch die grundlegende
Terminologie beherrschen.

Desweiteren finde ich es verwunderlich, dass er PC-BSD als
Grundlage für einen FreeBSD-Benchmark verwenden will, selbst
wenn der gleiche Kernel darunter steckt.

Der Benchmark selbst ist nur eine Ansammlung von nackten
Zahlenwerten. Für einen seriösen Benchmark fehlen viel zu
viele Informationen, beispielsweise über die Konfigurationen
und das vorgenommenen Tuning. Im Zweifelsfall muss man davon
ausgehen, dass nichts konfiguriert oder getuned wurde, womit
wir beim Thema "Äpfel und Birnen" wären.

Man muss davon ausgehen, dass die jeweiligen GENERIC-Kernel
verwendet wurden. Im Falle von 9.0-BETA1 waren dort noch die
ganzen Debug-Optionen enthalten, die den Kernel-Code deutlich
ausbremsen (diese Optionen wurden erst zwischen BETA3 und RC1
entfernt). Man sieht das auch ganz deutlich in den Zahlen
der Benchmarks: Bei solchen Tests, die hauptsächlich im
Userland ablaufen, sind 8.2-RELEASE und 9.0-BETA1 praktisch
gleichauf. Und je mehr I/O und sonstige Kernel-Aktivitäten
ins Spiel kommen, desto mehr klaffen die Werte auseinander.

Fazit: Dieser "Benchmark" ist vollkommen sinnlos, absurd und
eine einzige Zeitverschwendung. Hätte ich bei Phoronix nicht
anders erwartet, um ehrlich zu sein.

Gruß
   Olli

-- 
Oliver Fromme, secnetix GmbH & Co. KG, Marktplatz 29, 85567 Grafing b. M.
Handelsregister: Registergericht Muenchen, HRA 74606,  Geschäftsfuehrung:
secnetix Verwaltungsgesellsch. mbH, Handelsregister: Registergericht Mün-
chen, HRB 125758,  Geschäftsführer: Maik Bachmann, Olaf Erb, Ralf Gebhart
FreeBSD-Dienstleistungen, -Produkte und mehr:  http://www.secnetix.de/bsd
"C++ is the only current language making COBOL look good."
        -- Bertrand Meyer
To Unsubscribe: send mail to majordomo(at)de.FreeBSD.org
with "unsubscribe de-bsd-questions" in the body of the message