Performance Issue with NetappFAS2020 (1Head) and ESX 3.5 (on HP DL380G5)

[systemverwalter126]

Hi,

we've got an big performance issue in our SAN config: Perhaps someone can help me??

System config: Hardware: 2x HP380G5 DualCore, Emulux HBA, FC, 2x FAS2020 incl. 12 HDD SATA

Software: ESX 3.5 Enterprise (HA, DRS, Vmotion), Data Ontap 7.2.4L1

The storage performance on the FAS2020 in indiscussiable. Best i can see this when i start an esxtop from one of the esx-servers: (JPeG1). Pleas take a look at DAVG/wr and GAVG/wr. And look: There are only some i/o (CMDS/s). I've take this snapshot in the evening. Sometimes in buisniss time the values of DAVG and GAVG goes over 300 and more!!!

Can someone help me? Thanks for all kind of help!!

Sorry for my bad english

Greetings:

Andreas

[erichpopp]

Hi Andreas,

there are many possible reasons for your problem. Going step by step you should check some topics:

- FAS performance/load during business hours -> sysstat -x 5 (watch for high rates and cache issues)

- FAS FC statistics (port/hba errors -> fcp stats)

- FC-Fabric statistics (line errors -> porterrshow)

- ESX statistics (esxtop -> Queue)

Post your results for further investigation.

During your test a vm named test generates load with approx 23 MB/s written. Depending on your raid group size (amount of disks) a FAS2020 can be easily overcommited on disks (sysstat disk 100%). And in addition SATA drives will not deliver the best performance.

If you like to switch over to german -> i'm german too. And for the rest of the world Andreas hopefully will post the result of course.

regards

Erich Popp

[systemverwalter126]

Hi Erich,

thanks for your offer in communicating in german language . I'll write possible results in english!:

DAs Problem wurde nach langem googeln jetzt darauf festgemacht dass die einzelnen Filer (wie gesagt: wir haben hier zwei FAS2020 im Einsatz) in Ihrem Aggregat einen Füllstand von 83 (netapp1) und 76% (netapp2) aufweisen.

Nachdem ich auf der Netapp2 durch "diverse Aufräumaktionen" auf 56% Füllstand gekommen bin und danach eine "reallocate" des Aggregates durchgeführt hatte ist nunmehr die Performance akzeptabel. Zum Beispiel laufen die I/O der NTTRODAT (s. Attachment esxtop) nunmehr auf akzepabele Antwort/Verarbeitungszeiten(34,90 i/o > ca. 10ms read und 1ms write Zugriff auf die Netapp - so lese ich das auf jeden Fall!!?). Wir fragen uns jedoch: kann denn die Lösung nur darin liegen darauf zu achten dass das Aggregat keinen Füllzustand über 70 oder 75% hat damit ich die Performance nicht beinflusse?

Ich habe hier http://www.oneandonemakesthree.com/?q=node/57 einen interessanten Artikel gefunden (dieser Kollege hat so ungefähr das selbe Performance Problem wie wir!)

Wir verwenden die in der Netapp erstellten LUN's für die Anbindung an unsere ESX 3.5 Landschaft. Gibt es uU dort auch noch etwas zu beachten?? (die BestPractise zu diesem Thema habe ich bereits mehrfach gelesen...aber nichts dergleichen gefunden)

Ich bedanke mich schonmal vorweg für die Hilfe!

Grüße aus dem Rheinland:

Andreas

[BrendonHiggins]

Are you still having problems with your filer?

• How many disks of what type in you aggregate?
• esxtop GAVG latency is not good ~ does 'lun stat -i 5' on the filer show a simular high level of latency?
• Have you run statit on the filer yet?
• Have you extended your VMFS?

Sorry about the list of questions...

Brendon