Neue Funktionen in Snowflake: automatisches Clustering und materialisierte Sichten

„Automatisches Clustering ist der naheliegende nächste Schritt für uns. Ähnlich dem, als wir Sicherheit, Wartung und sofortige Elastizität automatisiert in unser Data-Warehouse-as-a-Service integriert haben“, erläutert Dr. Artin Avanes, Director Product Management bei Snowflake. „Die zweite Neuerung geht ein uraltes Problem neu an: Wir haben unsere jahrzehntelange Erfahrung in der Verarbeitung umfangreicher Datenbanken mit den Vorteilen der Cloud kombiniert – um materialisierte Sichten, also gespeicherte Kopien von Sichten zu einem bestimmten Zeitpunkt, bereitzustellen, die transaktionskonsistent sind, ohne die Modifikationen an den Basistabellen zu verlangsamen.“

Automatisches Clustering – die Vorteile im Überblick:

• Automatisierte und optimierte Selbstorganisation der Datenspeicherung, wodurch die manuelle Rekonfiguration von Daten-Clustern entfällt
• Zusammenführen und Löschen von Daten sowie Schließen von Lücken zwischen Daten – beides erfolgt automatisch im Hintergrund
• Ausführungsmodus „non blocking“ von ETL-Pipelines (ETL: Extract, Transform, Load), die Anweisungen in Datenbearbeitungssprache enthalten
• Inkrementelles Clustering von Tabellen, sobald neue Datensätze eingehen
• Exponentiell schnellere Abfragen mit geringerem Wartungsaufwand und geringeren Kosten

Materialisierte Sichten – die Vorteile im Überblick:

• Erhebliche Leistungsverbesserung für Abfragen, die wiederholt dieselben Unterabfrageergebnisse verwenden
• Automatische Pflege materialisierter Sichten, wenn neue Daten eingehen oder vorhandene Daten in der Basistabelle geändert werden
• Schnelle DML-Vorgänge (DML: Data Manipulation Language, Datenbearbeitungssprache) für Basistabellen trotz gleichzeitig vorhandener materialisierter Sichten
• Stets aktuelle Daten beim Zugriff über materialisierte Sichten, unabhängig von Änderungen in der Basistabelle

Bei Kunden im Einsatz

Nanigans, ein Software-Anbieter für Werbeautomatisierung, optimiert mit Snowflake seine Multi-Channel-Werbeausgaben von mehr als 700 Millionen US-Dollar für seine kommerziellen Werbekunden. Er hat zudem Snowflake Data Sharing im Einsatz, damit seine Kunden in Echtzeit den kontrollierten und sicheren Zugriff auf ihre Daten ohne Bezug zu Personen freigeben können, um ihre Werbeausgaben zu optimieren. Nat Taylor, Produktmanager bei Nanigans, führt aus: „Durch das automatische Clustern und die materialisierten Sichten erhalten wir die Antworten, die wir und unsere Kunden benötigen, noch schneller. Und wir können uns auf die Datenanalyse konzentrieren, anstatt manuelle Optimierungsvorgänge durchzuführen, wie sie bei lokal installierten und herkömmlichen Cloud-Data-Warehouse-Lösungen anfallen.“

PDX, ein Anbieter von Apothekenmanagement-Software und -Dienstleistungen, empfängt und verarbeitet täglich Patienten- und Betriebsdaten von mehr als 9.000 Apotheken. John Foss, EVP of Software Development bei PDX, ergänzt: „Wir fügen ständig Daten hinzu, löschen und aktualisieren sie und müssen diese neuen Datensätze schnell analysieren. Die automatische Clustering-Funktion von Snowflake ermöglicht es uns, unsere Daten so effizient wie möglich zu speichern und zu aktualisieren. Beim Abfragen großer gruppierter Tabellen, die jetzt vom automatischen Cluster-Service verwaltet werden, konnten wir erhebliche Leistungsverbesserungen feststellen.“

Weitere Informationen

Die beiden neuen Funktionen legen die Grundlage für weitere Neuerungen in den kommenden Monaten. Weiterführende Informationen dazu enthält ein Blog-Beitrag von Dr. Artin Avanes.