Mehr Daten, größere Volumes, kein Problem mit FlexGroups

Mobile Endgeräte liefern immer bessere Auflösungen für Bilder oder Videos und sorgen so für eine Steigerung der Dateigröße. Das Internet der Dinge mit seinen vielen Sensoren, egal ob im Auto oder Turnschuh, lässt die Menge der Dateien mit rasender Geschwindigkeit anwachsen. Beides führt letztlich zu einem extremen Datenvolumen. Aber, das ist ja sicherlich nix neues…

 

Diese Dateien, gerne auch als unstrukturierte Daten bezeichnet, findet man i.d.R. häufig auf NAS Speichersystemen. Unsere ONTAP Speichersysteme hatten lange Zeit eine einfache Lösung mit diesem Wachstum umzugehen. Die Antwort hieß: Flexibles Volume (FlexVol)

Evolution of Volumes.png

Bereits mit ONTAP 7 hatten wir durch die Einführung unserer intelligenten Speichervirtualisierung diese sogenannten FlexVolumes eingeführt und über die Jahre u.a. mit zahlreichen Speicher-Effizienztechnologien wie Deduplizierung, Komprimierung, ThinProvisioning, Compaction, uvm. weiterentwickelt.

 

Meines Erachtens haben FlexVols ihrem Namen alle Ehre gemacht, denn sie sind auch bis heute noch in jeglicher Hinsicht flexibel. Das einfache Vergrößern und/oder Verkleinern der Filesysteme im laufenden Betrieb inkl. der Vielzahl an Effizienztechnologien ist bis heute einzigartig.

 

Natürlich bleiben für viele Usecases unsere FlexVols auch weiterhin eine perfekte Technologie.

 

Aber… FlexVols sind auf eine maximale Größe von 100TB beschränkt. Kundenanforderungen mit einem Filesystem größer 100TB konnten wir aufgrund dieser Limitierung nicht gerecht werden. Auch das Thema Performance, d.h. die Ausnutzung mehrerer CPU´s bzw. Storage-Controller in einem Scaleout Scenario bringen mit FlexVols einige Herausforderungen mit sich.

 

Infinite Volume

 

Eine der Neuerungen in unserem Betriebssystem ONTAP 8.1.1 waren die sogenannten Infinite Volumes. Mit Hilfe dieser Infinite Volumes konnten wir Kunden über den Global Namespace ein Filesystem von bis zu 20PB und bis zu 2 Milliarden Files bereitstellen und somit den „100TB Kapazitätsschmerz“ nehmen.

 

Einziger Wehrmutstropfen der Infinite Volumes, die fehlende SMB2.x/3.x Protokoll-Unterstützung. Aber auch die Tatsache, dass man FlexVols und Infinite Volume nicht in einem Cluster gemeinsam betreiben durfte, war eher suboptimal. Aufgrund der Infinit Volume Architektur waren u.a. Usecases, vor allem mit sehr vielen Meta-Daten Operationen, aus Performance Gesichtspunkten auch nicht immer geeignet.

 

FlexGroups

 

Mit ONTAP 9.1 haben wir eine komplett neue Funktion in unser Betriebssystem eingebaut, die sogenannten FlexGroups. FlexGroups wurden mit dem Ziel entwickelt, eine optimale ScaleOut NAS Plattform bereitzustellen, die den heutigen als auch zukünftigen Anforderungen gerecht werden.

 

Heute zeichnen folgende Kriterien unsere FlexGroups aus:

 

  • Skalierbarkeit: 20PB und 400Milliarden Files (aktuell getestet)
  • Performance: Verteilung und Parallelisierung der Operationen über alle Ressourcen (z.B. CPUs, Storage Controller und Speicherpools/Aggregate)
  • Vereinfachtes Management via System Manager GUI oder CLI, gemeinsamer Betrieb von FlexGroup und FlexVolume
  • Backup & DR – Absicherung durch Snapshot Technologie und SnapMirror Replikation
  • Protokoll Support: SMB2.x/3.x & NFSv3
  • Speichereffizienz: DeDuplikation, Kompression, …

Natürlich sind noch viele andere FlexGroup Features auf der Roadmap, ich kann Ihnen sagen, da kommen noch mehr spannende Dinge ;-)

 

Funktionsweise

 

Eine FlexGroup basiert im wesentlichen auf der bereits bekannten FlexVol Technologie. Über den Global Namespaces werden mehrere FlexVols, jetzt als Member Constituents bezeichnet, zusammengepackt.FlexGroup Überblick.png

Die Daten werden über alle Constituents und damit Aggregate, Controller innerhalb eines clustered ONTAP Systems verteilt. Anhand verschiedener Regeln entscheidet die FlexGroup an welche Stelle neue Dateien geschrieben werden.

 

Durch Hinzufügen weiterer Controller kann nicht nur die Kapazität erhöht werden, es findet zwangsläufig auch eine Leistungssteigerung statt.

 

Im Zuge einiger Performance-Benchmarks wurden FlexVol vs. FlexGroups verglichen. Am Beispiel "Software Build über GIT" konnte bei identischer Hardware eine 6-fache Performance-Steigerung mit FlexGroups erzielt werden. 

 

Benchmark.png

 

Einsatzszenarien

 

Ideale Usecases von FlexGroups sind u.a. file-basierte Workloads, die vor allem viele gleichzeitige Schreib-/Lese- Operationen durchführen. Beispiele hierfür sind:

 

  • EDA (Electronic Design Automation)
  • Log File Repositories
  • Software-Build und Testumgebungen (z.B. Git)
  • Medien Files
  • Streaming Applikationen
  • Unstrukturierte Daten z.B. Homelaufwerke
  • Big Data z.B. Hadoop mittels unserem NFS Konnektor

Vielleicht kommt die Frage auf, ob man seine Datenbanken und/oder Virtualisierungsumgebung nun auf FlexGroups legen soll. Die Antwort dazu heisst aktuell: Nein.

Virtualisierte Umgebungen (z.B. VMware, Hyper-V,...) aber auch Datenbank-Workloads (z.B. Oracle, SQL,...) sind keine geeigneten Usecases für eine FlexGroup.

Grund dafür sind u.a. fehlende Offloading Feature.

 

Setup

 

Wie erstellt man eine FlexGroup? Dazu nutzt man, wie in meinem Beispiel zu sehen, den System Manager, geht auf die entsprechende SVM -> Volumes -> FlexGroups -> und klickt auf Create.

 

1.png

 

Anschließend gibt man seiner FlexGroup einen Namen und eine Größe. In meinem Beispiel 800TB.

Wenn man möchte, kann man auch die entsprechenden Aggregate auswählen.

 

2b.png

 

Die FlexGroup erzeugt selbständig die entsprechenden Constituents, wie man hier in meinem Beispiel erkennen kann. In Summe wurden acht Volumes a 100TB auf meinen beiden ausgewählten Aggregaten angelegt.

 

6.png

 

Erzeugt man anschließend ein SMB Share und/oder einen NFS Mount auf die FlexGroup stehen die NAS Bereiche im Netzwerk zur Verfügung. Wie man im nachfolgendem Bild erkennen kann, habe ich meine FlexGroup an einen Linux Server gemountet.

 

4.png

 

Dank unserer Effizienz-Technologien wie ThinProvisioning brauche ich für meine Demo auch gar keine 800TB Speicher. Überprovisionieren heisst das Stichwort, wie man es schon immer bei ONTAP gewohnt war.

 

Wenn Sie mehr zu den FlexGroups erfahren möchten, finden Sie hier den Technischen Überblick sowie unser FlexGroup Best Practice Guide.