Flexcache stats analysis

[johncartier]

I'm running a FAS3140 with a 256 GB PAM II card.

This specific 3140 mostly runs VMWare NFS shares and iSCSI LUNs for Exchange 2010.

The Flexcache options with flexscale.lopri_blocks have been turned on and off and below is a sample statistic for each setting.

What I wonder is if the "Disk Reads Replaced" is the most important number to consider.

What are your thoughts?

I put about 100 readings of each into Excel, and found that turning off the lopri_blocks settings gave me a much lower hit percentage, but the "disk reads replaced" average was higher by about 10.

Here are stats for lopri_blocks set to off:

stats show -p flexscale-access -i 4
Cache                                               Reads       Writes      Disk Reads
Usage    Hit   Meta   Miss Hit Evict Inval Insert Chain Blocks Chain Blocks  Replaced
     %     /s     /s     /s   %    /s    /s     /s    /s     /s    /s     /s        /s
    90    581     66   9643   5     0     1     15    88    199     0     15        88
    90    320     48   8852   3     0     6      0    45    124     0      0        45
    90    365     58  11284   3     6     1    509    75    173     7    509        75
    90    206     70   8846   2     2     1    128    64    139     2    128        64
    90   1016     84  12190   7     0     8      0   302    569     0      0       302
    90    804    127  12520   6    36     7   1404   155    394    21   1404       155
    90    319     75   8569   3     0     6      0   108    210     0      0       108
    90    426    141   9220   4    16     6    799   128    269    12    799       128
    90    395     50   9931   3     7     1    255    88    228     3    255        88
    90    199     45  10401   1     0     4      0    47    118     0      0        47
    90    347     61   9870   3     0     0      0    69    152     0      0        69
    90    333    113   7005   4     2  1050    127   107    226     1    127       107
    90    296     34   8622   3     0     1      0    68    191     0      0        68
    90    437     56  11550   3     0   924     15    74    185     0     15        74

Here are stats for lopri_blocks set to on:

Cache                                               Reads       Writes      Disk Reads
Usage    Hit   Meta   Miss Hit Evict Inval Insert Chain Blocks Chain Blocks  Replaced
     %     /s     /s     /s   %    /s    /s     /s    /s     /s    /s     /s        /s
    94     21     19     11  65     0     0      0    19     21     0      0        19
    94     27     22     10  71     0     0      0    25     27     0      0        25
    94    147    140     90  62   234  4008   4064   131    145    63   4064       131
    94     27      4      9  74    50  3977   2288    10     27    35   2288        10
    94     36     12    217  14     0     3      0    15     34     0      0        15
    94     22     12     72  23     0     0      0    15     22     0      0        15
    94    128     98    116  52    58    56   2976   109    127    46   2976       109
    94     11     10      7  60    39  3979   2144    11     11    33   2144        11
    94     19     15     33  37     0     0      0    16     19     0      0        16
    94    202    193     16  92     0     1      0   190    202     0      0       190
    94    154    163    267  36    31  3973   2512   149    152    39   2512       149
    94     69     19     87  44    27     0   2272    34     64    35   2272        34
    94     89     43    115  43     0     1      0    50     87     0      0        50
    94     27     14     11  70     0     0      0    20     27     0      0        20
    94     52     49    104  33    93  3990   2560    48     52    40   2560        48
    94     29     12    155  15   155     0   2704    15     27    42   2704        15

[baijulal]

I am not an expert in this subject but the cache hit is more and disk read replaced seems to be more in first scenario, turning on low pri, filer will have to spent extra CPU cycles to handle the additional blocks.

Did you try to take a feedback from end user perspective any difference noticed.

[shaunjurr]

Hi,

If you want some more detailed analysis, then the TR's 3801, 3832 and this working paper  WP-7107 give a pretty good view of things.  You can gain some added performance configurability by using FlexShare (a.k.a 'priority') to prioritize what gets higher caching priority as well.  It will also tell you some of the advantages of de-dupe and flash cache/PAM.

Good Luck.