[Forum] Rystende lav NFS ydelse i 'sync' mode?

From: Rune Morling <rune@blueplane.dk>
Date: Sun Mar 09 2003 - 14:24:44 CET

Hej Alle,

Efter at have læst NFS-Howtoen har jeg prøvet at benchmarke lidt på forskellen
imellem at bruge 'sync' og 'async' overførsel til et NFS-share. Resultatet
var temmelig rystende; på min hardware var det hhv. 66 kb/sek vs. 4 Mb/sek
ved vedholdende overførsel (skrive) - det virker meget voldsomt på mig, så
jeg tænkte om der måske sad nogen her i forummet, som har praktisk erfaring
m. NFS kernel server v3 i linux 2.4.18 og frem.

Eftersom det er mit hjemmekatalog der deles, så jeg gerne at delingen var så
sikker som mulig med en bare nogenlunde acceptabel ydelse. Ydelsen er helt
klart bedst ved async, men er den metode sikker nok? Og hvorvor yder synkron
nfs dog så dårligt på mit system?

Serveren bruger 2.4.18 og klienterne bruger 2.4.20. NFS-sharet er tilsluttet
m. indstillingerne rw,{a,}sync,wsize=8k,rsize=8k,hard,intr

Det gør ingen forskel om jeg på klienterne ændrer wsize og rsize til 4, 16,
eller 32k.

Jeg skal forsøge at gøre rede for min opsætning:

Hardware:
Jeg har et setup m. en gammel dual Scumbag ppro server m. 128MB Ram og 2 18GB
7.2k rpm diske. Kernen påstår at kunne køre Fast-wide scsi 20 - 40 MB/S
sammen med controlleren. Netkortet er et intel eepro/100 netkort som kører
100mbit full duplex.

Kerne:
Jeg har inkluderet min dmesg som vedhæftet fil - den fylder næsten for meget
til at blive smidt i beskeden her. Hvis det er dårlig praksis, så undskylder
jeg mange gange.

I/O subsystem:
Systemet booter på software RAID1 /-partitionen og eksporterer mit
hjemmekatalog via både samba og NFS. Hjemmekatalogerne er eksporteret sådan
her:

(/etc/exports):
/home/ermo kurosawa(rw,async)

Nedenfor har jeg inkluderet nogle disk i/o benchmarks (meget uformelle, men
nok til at give en ide om ydelsen). Jeg synes ikke umiddelbart at det ser ud
som om flaskehalsen ligger i disksystemet...

Er der nogen af jer, der kan forklare hvor det er så frygteligt langsomt at gå
med livrem og seler? Eller er det helt normalt at der er en faktor ~60 i
forskel på ydelsen?

/rune

** testresultater for i/o system **

Cache/RAM test:

root@kubrick:~# hdparm -tT /dev/md0

/dev/md0:
 Timing buffer-cache reads: 128 MB in 2.37 seconds = 54.01 MB/sec
 Timing buffered disk reads: 64 MB in 5.39 seconds = 11.87 MB/sec
root@kubrick:~#

Skrivetest (256MB):

root@kubrick:~# time dd if=/dev/zero of=/tmp/test bs=4k count=65536
65536+0 records in
65536+0 records out
268435456 bytes transferred in 37.904028 seconds (7081977 bytes/sec)

real 0m38.023s
user 0m0.420s
sys 0m17.310s
root@kubrick:~#

Læsetest (256MB):

root@kubrick:~# time dd if=/tmp/test of=/dev/null bs=4k
65536+0 records in
65536+0 records out
268435456 bytes transferred in 23.240637 seconds (11550262 bytes/sec)

real 0m23.293s
user 0m0.190s
sys 0m5.350s
root@kubrick:~#

Received on Sun Mar 09 14:24:55 2003

This archive was generated by hypermail 2.1.8 : Tue Jul 19 2005 - 16:04:45 CEST