GA4 Big Query Export – Kosten und Unterschiede

English Version below.

Der GA4-Export liefert mit seinen Eventdaten eine gute Grundlage für ein eigenes Marketing Data Warehouse. Doch welchen Export benötige ich, und was kostet das? Einen Überblick gibt dieser Blogartikel.

Übersicht Export

In Universal Analytics hatten bereits 360-Kunden die Möglichkeit, ihre Daten per BigQuery-Export zu sichern und weitere Analysen in einem für die meisten Analysten zugänglichen SQL-Format durchzuführen.

Seit der Einführung von GA4 ist dies nun auch für alle Kunden möglich, mit einem kleinen Unterschied:

Normale Properties dürfen nur 1 Million Events pro Tag exportieren (Details zu den Einschränkungen). Es besteht jedoch die Möglichkeit, bestimmte Events oder Streams auszuschließen, um unter diesem Limit zu bleiben. Hier sieht man auch das Limit:

360-Properties: Hier gibt es praktisch kein Limit für die Anzahl der Events, die eine Property pro Tag verarbeiten kann (bei sehr großen Properties kann es jedoch länger dauern, bis der Export bereitsteht). In der Benutzeroberfläche entfällt hier auch der Hinweis auf ein Limit.

Export Typen

Der Export steht mittlerweile in mehreren Varianten zur Verfügung und ist auch nicht einheitlich für Standard und 360 Properties:

Im Interface sieht das dann so aus (für 360 Kunden):

Was genau inhaltlich exportiert wird kann immer aktuell über das Schema eingesehen werden.

Abhängig vom gewählten Export werden pro Tag entweder ein, zwei oder drei Tabellen in dem Dataset analytics_propertyid angelegt:

• Daily: events_yyyymmdd 
• Fresh: events_fresh_yyyymmdd
• Streaming: events_intraday_yyyymmdd

Für die User gibt es dann nochmal zwei verschiedene Exporte im selben Dataset:

• Client Id: pseudonymous_users_yyyymmdd
• User Id: users_yyyymmdd

Kosten

Um eine Kostenkalkulation zu erstellen, ist es wichtig zu wissen, wie viele Events an einem Tag verarbeitet werden. Dazu kann die Übersicht beim Anlegen genutzt werden, die oben im Artikel zu sehen ist.

Als grobe Richtlinie kann angenommen werden, dass pro 1 Million Events zwischen 1 und 3 GB Daten pro Tag gespeichert werden.

Welche Kosten verursacht Bigquery?

Alle folgenden Angaben basieren auf dem Standard-Pricing-Modell. Es gibt vier Arten von Kosten für den Export:

• Active Logical Storage: Kosten für alle Daten, die in den letzten 90 Tagen in einer Query verarbeitet wurden.
• Long Term Logical Storage: Kosten für alle Daten, die seit 90 Tagen nicht mehr in einer Query verwendet wurden.
• Data Queries: Kosten basieren auf der Menge der verarbeiteten Daten.
• Streaming Insert: Zusätzliche Kosten für das Einfügen von Daten in Echtzeit.

Hier die Übersicht aus dem Pricing in USD:

Die Übersicht ist sonst hier zu finden:  https://cloud.google.com/bigquery/pricing

Und für das weitere verwenden wir diesen Calculator:  https://cloud.google.com/products/calculator

Um das Ganze etwas greifbarer zu machen, können wir unter bestimmten Annahmen den Calculator nutzen, um die Kosten zu schätzen.

Wir gehen von folgenden Annahmen aus:

• Eine Millionen Events am Tag
• Nur der Daily Export
• Alles bleibt gespeichert
• Der Export läuft schon 2 Jahre
• Wir haben eine existierende Pipeline die nur die aktuellen Daten verarbeitet

Der erste TB an Daten ist in den Queries kostenlos, daher fließt dieser Betrag mit 0 € in die Rechnung ein. Zusätzlich werden zuerst die Discounts angewendet, sodass die ersten 10 GB Storage jeweils kostenlos sind.

Der Active Logical Storage wird hier mit 180 GB verbraucht, da wir in dieser Zeit 90 Tage à 2 GB aktiv speichern. Danach wird der Storage in den Long-term Logical Storage verschoben. Dort sind nun 730-90 Tage à 2 GB gespeichert. Entsprechend lassen sich im Calculator verschiedene Szenarien durchspielen.

Hier lässt sich jedoch bereits erkennen, dass die Kosten relativ gering sind und sich je nach erzeugten Events steuern lassen, wie viele Kosten tatsächlich anfallen.

Fazit

Die Kosten für den Export von GA4-Daten über BigQuery hängen stark von der Menge der verarbeiteten Events und dem gewählten Exporttyp ab. Es ist wichtig, die Anzahl der Events pro Tag zu kennen, da dies direkten Einfluss auf die entstehenden Kosten hat.

Insgesamt lässt sich jedoch festhalten, dass die Kosten relativ gering sind und der Export einen echten Mehrwert bietet.

Für Support und Hilfe mit dem Setup des Exports einfach eine E-Mail an kontakt@e-dialog.group

English Version:

GA4 Big Query Export – What does it do and how much does it Cost?

With GA4, the export of raw data is now available not only to 360 customers but to all properties. This opens up new use cases and reporting possibilities—from storing data in other data warehouses and creating detailed product reports to building custom attribution models.

But what does it cost? What are the differences in the exports? Here, we’ll provide a rough cost estimate and a few calculation examples to give an idea of what to expect—because often, it costs less than you might think.

The GA4 export provides the best foundation for building your own marketing data warehouse with its event data. But which export do you need, and what does it cost? Read this article for more details.

Export Overview

In Universal Analytics, 360 customers already had the option to secure their data through BigQuery export and perform further analyses in an SQL format accessible to most analysts.

Since the introduction of GA4, this is now possible for all customers, with one small difference: standard properties are allowed to export only 1 million events per day (see limits). However, it’s possible to exclude specific events or streams to stay within this limit. This is where the limit can be seen:

360 properties: There is virtually no limit to the number of events a property can process per day (though for very large properties, it may take longer for the export to be ready). In the user interface, there’s also no indication of a limit.

Export Types

The export is now available in several versions, and it differs between standard and 360 properties:

In the interface, it appears like this (for 360 customers):

The exact content exported can always be viewed via the schema. Depending on the chosen export type, one, two, or three tables are created per day in the dataset analytics_propertyid:

• Daily: events_yyyymmdd
• Fresh: events_fresh_yyyymmdd
• Streaming: events_intraday_yyyymmdd

For user data, there are two additional exports in the same dataset:

• Client ID: pseudonymous_users_yyyymmdd
• User ID: users_yyyymmdd

Costs

To estimate costs, it’s important to know how many events are processed in a day. The summary view, as shown earlier, can be used for this purpose. As a rough guideline, around 1 to 3 GB of data is stored per 1 million events per day.

What Costs Does BigQuery Generate?

All cost information here is based on the standard pricing model. There are four types of costs for the export:

• Active Logical Storage: Cost for all data processed in queries within the last 90 days.
• Long-Term Logical Storage: Cost for data not queried in the last 90 days.
• Data Queries: Cost based on the amount of data processed.
• Streaming Insert: Additional cost for real-time data insertion.

Here is an overview of the pricing in USD:

The full pricing overview can also be found here:  BigQuery Pricing

And for the further we use this calculator

To make this more tangible, we can use the Calculator to estimate costs under certain assumptions:

Assumptions:

• One million events per day
• Only the Daily Export
• All data remains stored
• The export has been running for two years
• An existing pipeline processes only current data

The first 1 TB of data queried is free, so this amount is entered as €0 in the calculation. Additionally, discounts apply first, so the first 10 GB of storage are free.

For Active Logical Storage, we estimate 180 GB, as we’re actively storing 90 days at 2 GB per day. After 90 days, storage moves to Long-Term Logical Storage, where 730-90 days at 2 GB per day are now stored. Different scenarios can be modeled in the Calculator based on this setup.

This calculation shows that costs are relatively low and can be adjusted based on the number of events generated, allowing for better cost management.

Conclusion

The cost of exporting GA4 data via BigQuery depends heavily on the number of events processed and the chosen export type. It’s important to know the number of events per day, as this directly impacts the resulting costs.

For support and assistance with setting up the export, simply send an email to kontakt@e-dialog.group.