Speicher für Big Data und Analytics-Workloads
Big Data Storage ist für viele Unternehmen ein wachsendes Problem
Die Fähigkeit, fundierte Entscheidungen aus großen Datenbeständen zu treffen, ist für heutige Unternehmen von entscheidender Bedeutung. Die Erkenntnisse, die Unternehmen aus der Datenanalyse ziehen, stärken ihr Wachstum und ihre Wettbewerbsfähigkeit.
Beispielsweise verwenden Online-Werbetreibende Datenanalysen, um die Anzeigenrendite zu optimieren und das Käuferverhalten vorherzusagen. Social-Media-Plattformen nutzen es, um zu erfahren, was für ihre Nutzer wichtig ist. Logistikunternehmen analysieren riesige Datenmengen von Sensoren und Geräten (IoT), um Kosten zu senken und die Lieferung zu beschleunigen. Die Datenanalyse ist von zentraler Bedeutung für die Entwicklung autonomer Fahrzeugtechnologien.
Datenquellen für die Analyse sind Mobiltelefone, Sensoren und tragbare Geräte sowie Anwendungen und Infrastruktur im Rechenzentrum und in der Cloud.
Angemessene Speicherung ist ein dringendes Problem für Datenanalysen aller Art.
- Wie sollte Speicher an die Rechenressourcen angehängt werden, um eine hohe Verfügbarkeit von Daten mit geringer Latenz und horizontaler Skalierbarkeit zu gewährleisten?
- Was sind die Anforderungen für ein Dateispeichersystem, um diese anspruchsvollen Workloads zu bedienen?
- Was sind die besten Strategien, um den Speicher im Zeitverlauf zu skalieren?
Speicheranforderungen der Datenanalyse
Datenanalysen können Erkenntnisse aus umfangreichen Datensätzen oder Datenströmen mit einer Vielzahl von Workflows generieren. Zwei dieser Workflows sind Batch-Analysen (Big Data) und Streaming-Analysen.
Egal ob Batch oder Streaming, die Datenanalyse erfordert eine hohe Leistung des Dateispeichersystems. Eine Lösung bestand darin, die Rechenressourcen direkt an die Speicherressourcen anzuhängen. Direct Attached Storage erzeugt Datensilos und ist schwer zu verwalten und effizient zu skalieren, aber die Idee, dass die Nähe die Leistung sicherstellen würde, hat seine Popularität gefördert. Direct-Attached-Storage für die Datenanalyse beruht auf der Annahme, dass die Bandbreiten der Festplatten die Netzwerkbandbreite überschreiten und dass die Festplatten-E / A einen erheblichen Teil der Lebensdauer einer Task ausmachen.
Mit erhöhten Netzwerkgeschwindigkeiten und mehr rechenintensiven Analysetechniken sind diese Annahmen nicht länger gültig. Hoch skalierbarer NAS-Speicher kann jetzt Direct-Attached-Speicher übertreffen. Speicher, auf den über ein Netzwerk zugegriffen wird, ist zudem kostengünstig und erzeugt keine Datensilos. Heutzutage ist es eine effektivere Strategie für Datenanalyse-Workflows, z. B. für Apache Spark oder Spark Streaming, Computing und Storage separat mit leistungsstarkem Network Attached Storage zu skalieren.
Qumulo für Big Data Storage und Analytics
Qumulo File Fabric (QF2) ist ein modernes Dateispeichersystem mit den Leistungs-, Skalierbarkeits- und Unternehmensfunktionen, die für Datenanalyse-Workloads erforderlich sind. QF2 läuft auf Standardhardware vor Ort und als EC2-Instanz auf AWS.
Erhalten Sie Ihre Ergebnisse schneller
QF2 bietet einen besseren Lesedurchsatz als Direct-Attached-Speicher für analytische Workloads. QF2 arbeitet über die heutigen schnellen Netzwerke und übertrifft die HDFS-Infrastruktur. Die Leistungsstärke von QF2 beruht auf der hybriden SSD / HDD-Architektur und der fortschrittlichen verteilten Dateisystemtechnologie.
Kaufen Sie nur den Speicher, den Sie benötigen
QF2 entkoppelt Speicher von Rechenleistung. Mit QF2 haben Kunden die Kontrolle darüber, wie viel Speicher sie kaufen und vermeiden so eine Überprovisionierung. Kunden sparen Geld, indem sie nur den Speicher kaufen, den sie benötigen, unabhängig davon, wie ihr Rechencluster wächst.
Darüber hinaus verwendet QF2 einen effizienten Datenschutz auf der Basis von Löschcodierung auf Blockebene anstelle von ineffizienten und teuren gespiegelten Dateikopien. Effizienter Schutz gibt Ihnen mehr nutzbare Kapazität in Ihrem Speichersystem. Sie sparen Geld auf Festplatten sowie Infrastrukturkosten wie Strom und Kühlung.
Eliminieren Sie Datensilos
Lösen Sie Speicherprobleme in Echtzeit
Kunden müssen mehr tun, als ihre Daten zu lagern. Sie müssen es handhaben. Mit QF2 können Administratoren Probleme in Echtzeit finden und lösen. Beispielsweise kann ein Administrator problemlos E / A-Hotspots ermitteln und Kapazitätskontingente anwenden, die sofort wirksam werden. QF2 erleichtert die Verwaltung von Projekten und Benutzern mit Einblick in die Verwendung des Speichers.
Lauf in der Cloud und auf dem Gelände
Viele Data Analytics-Workloads können sowohl in der Cloud als auch lokal genutzt werden.
QF2 arbeitet sowohl lokal als auch in AWS mit der höchsten Leistung und besten Skalierbarkeit aller dateibasierten Cloud-Angebote. Mit QF2 arbeiten Cloud- und On-Prem-Cluster zusammen, um eine skalierbare Leistung mit einem einheitlichen Dateispeicher-Fabric bereitzustellen.
QF2 verwendet die fortlaufende Replikation, um Daten dorthin zu verschieben, wo sie benötigt werden. Kontinuierliche Replikation bedeutet, dass Kunden Daten einfach von ihrem lokalen QF2-Cluster in ihren QF2-Cluster in AWS übertragen, ihre Berechnungen durchführen und die Ergebnisse dann wieder in den On-Prem Storage übertragen können.
Die Möglichkeit, denselben Datenanalyse-Workflow in Cloud- und lokalen Umgebungen auszuführen, gewährleistet Konsistenz und reduziert die Entwicklungskosten. Darüber hinaus können Kunden wählen, wo sie ihre Workloads basierend auf Geschäftsentscheidungen statt technischer Einschränkungen platzieren.
Datenanalyse-Workflow
Im Folgenden sehen Sie ein Beispiel für einen Streaming-Datenanalyse-Workflow, der QF2 als zentralen Speicher für den gesamten Prozess darstellt, von der Aufnahme der Daten bis hin zur Anzeige und zur Bearbeitung der Daten.
Eingaben können von Geräten wie Mobiltelefonen, wissenschaftlichen Instrumenten, autonomen Fahrzeugen und seriellen Geräten stammen. Es kann auch von Anwendungen stammen, die normalerweise ihre Daten in QF2 speichern und dann eine Verknüpfung zu den Ereignisdatenfluss-Softwarepaketen senden. Die Rechenressourcen verarbeiten die Daten und speichern und rufen Dateien von QF2 ab. Schließlich werden die Ergebnisse geliefert und entweder als Informationen in einem Dashboard angezeigt oder zum Auslösen einer bestimmten Aktion, z. B. eines Sicherheitsalarms, verwendet.
“
Die Verwaltung von Daten mit QF2 ist so einfach, dass es schwierig ist, die Auswirkungen zu beschreiben. Es hat uns einen enormen ROI in Bezug auf Zeitersparnis und Beseitigung von Problemen gebracht, und diese zuverlässige Speicherung, der wir endlich vertrauen können, macht uns neugierig, sie im gesamten Unternehmen breiter zu nutzen.
John Beck - IT-Manager Hyundai MOBIS