Wie Sie die Kontrolle über Ihre BigQuery-Kosten übernehmen

In Vorbereitung auf unseren Workshop "Big Data Adventure in Google Cloud Platform" auf der Crunch Data Engineering and Analytics Conference haben wir begonnen, einige Tipps und Tricks für die Nutzung der Big Data-Plattform von Google zu sammeln. Diese erste Sammlung von Ratschlägen zeigt, wie Sie Ihre Kosten bei der Verwendung von BigQuery (BQ) kontrollieren können, erörtert die Arten der integrierten Tools, auf die Sie Zugriff haben, und erläutert die damit verbundenen Best Practices. Im zweiten Blogbeitrag zeigen wir Ihnen, wie Sie Ihre BigQuery-Leistung steigern können. Lesen Sie diesen Blogbeitrag, um herauszufinden, wie Sie die Kontrolle über Ihre BigQuery-Kosten übernehmen können.

Was ist die Schwierigkeit?

Die Preisgestaltung von BQ ist nutzungsabhängig, Sie zahlen für die Datenmenge, die Sie speichern, abfragen und per Streaming einfügen. Das scheint fair, hat aber einige Konsequenzen. Wenn man über praktisch unbegrenzte Ressourcen verfügt - wie im Falle von BQ - wird diese Preispolitik zu einem zweischneidigen Schwert: Man kann leicht viel Geld ausgeben, wenn man nicht vorsichtig genug ist. Wenn es um die Budgetplanung geht, sollten Sie wissen, wie viele Daten Sie in Zukunft speichern und verarbeiten werden, und das kann es schwierig machen, Ihre Kosten zu schätzen. Zum Glück gibt es einige Tools und bewährte Verfahren, die Ihnen helfen können, Ihre Kosten zu kontrollieren.

Anfangen

Am schwierigsten ist es wahrscheinlich, die Kosten zu planen, wenn Sie BQ noch nie verwendet haben. Google bietet ein Preiskalkulationstool, das in solchen Situationen hilft. Es schätzt Ihre zukünftigen Kosten auf der Grundlage der bereits erwähnten Parameter: Speicher, Streaming-Inserts, Abfragen. Um ein Ergebnis zu erhalten, müssen Sie natürlich noch die Größe der betroffenen Datensätze schätzen.

Verhindern von Mehrausgaben

BQ bietet eine Reihe von eingebauten Optionen, um Ihre Ausgaben kontinuierlich zu kontrollieren und zu verhindern, dass Sie Ihr Budget überschreiten.

1. Kostenkontrolle auf Abfrageebene

Überprüfen Sie die Datenmenge, die BQ während der Abfrage verarbeiten wird, bevor Sie die Abfrage tatsächlich ausführen. Klicken Sie einfach auf das grüne Ausrufezeichen (Validator) unten rechts im Fenster. Wenn Sie außerdem die BQ Mate-Erweiterung zu Ihrem Chrome-Browser hinzufügen, sehen Sie, wie viel die Abfrage kosten wird, in USD

2. Kostenkontrolle auf Projektebene

Legen Sie den weichen Grenzwert auf Projektebene fest, indem Sie eine Rechnungswarnung anfordern. Wenn Sie den für den laufenden Monat festgelegten Grenzwert überschreiten, erhalten die für die Rechnungsstellung zuständigen Mitarbeiter eine E-Mail-Benachrichtigung. Legen Sie das harte Limit auf Projektebene fest, indem Sie die Anzahl der pro Tag verarbeiteten Bytes innerhalb des Projekts maximieren. Wenn Sie die Funktion für benutzerdefinierte BQ-Quoten aktivieren, können Sie dieses Limit in 10-TB-Schritten festlegen. Um diese Funktion zu aktivieren oder den Wert zu ändern, übermitteln Sie das Formular BQ Custom Quota Request. Wenn Sie die Quote überschreiten, werden Abfragen Fehler zurückgeben.

3. Kostenkontrolle auf Benutzerebene

Legen Sie die harte Grenze auf Benutzerebene innerhalb eines Projekts fest, indem Sie die Anzahl der pro Tag von einem bestimmten Benutzer verarbeiteten Bytes maximieren. Die Methode ist dieselbe wie bei der harten Begrenzung auf Projektebene, nur dass die Fehlermeldung bei Überschreitung der Quote eine andere ist.

4. Kostenkontrolle auf der Ebene des Abrechnungskontos

Wenn Sie mehrere Projekte haben und den Gesamtbudgetverbrauch überwachen möchten, können Sie Abrechnungswarnungen für Ihr gesamtes Abrechnungskonto festlegen. Das Verfahren ist dasselbe wie bei Punkt 2a.

Wie man die Kosten überwacht

1. Es gibt auch Optionen, um Ihre Ausgaben zu überwachen:
2. Verfolgen Sie Ihre monatliche Datennutzung auf dem Dashboard der Cloud-Konsole Ihres Projekts im Bereich "Abrechnung". Beachten Sie jedoch, dass die Kosten nur innerhalb einiger Tage nach der Nutzung angezeigt werden, nicht in Echtzeit.
3. Im Menü Abrechnung/Historie der Cloud-Konsole erhalten Sie eine detailliertere Übersicht über Ihre Ausgaben.
4. Exportieren Sie Ihre detaillierten BigQuery-Auditprotokolle, und visualisieren Sie Ihre Ausgaben in Data Studio, wie Mike und Ryan in diesem großartigen Beitrag vorschlagen.

Ist das alles?

Nicht ganz. Neben diesen integrierten Funktionen gibt es mehrere bewährte Verfahren, die Ihnen helfen können, Ihre Kosten zu senken.

1. Wenn möglich, sollten Sie immer in Erwägung ziehen, Ihre Daten zu partitionieren und in gesplitteten oder partitionierten Tabellen zu speichern. Wenn Sie die richtige Partitionierungsspalte gewählt haben, muss in der Regel nur ein Teil der Scherben oder Partitionen von einer Abfrage gelesen werden, so dass die Kosten erheblich sinken. Auf diese Weise können Sie auch auf der Speicherseite Geld sparen, da die in BQ eingebaute Funktion die Tabellen, die Sie in den letzten 90 Tagen nicht geändert haben, in eine günstigere Speicherkategorie verschiebt.
2. Versuchen Sie, die Option SELECT
3. bei großen Datenmengen zu vermeiden. Seien Sie nicht zu faul, die Namen der Spalten aufzuschreiben, die Sie wirklich brauchen. BQ ist ein spaltenbasierter Speicher. Sie zahlen für die Datenmenge, die Ihre Abfrage lesen muss. Rechnen Sie nach: Je weniger Spalten ausgewählt werden, desto weniger Spalten müssen gelesen werden, was wiederum zu geringeren Kosten führt.
4. Legen Sie das Verfallsdatum der Daten in den Datensätzen fest. Nach einer bestimmten Zeit werden alle Tabellen im Dataset gelöscht, so dass Sie nicht für den Speicherplatz bezahlen müssen. Dies ist besonders nützlich, wenn Sie sich in einer Experimentierphase mit BQ befinden. Ein weiterer Vorteil dieser Funktion ist, dass Sie das Überwuchern von Tabellen und Datasets in Ihren Projekten verhindern können.