28. Dezember, 2022
Nach nunmehr 2 Jahren Betrieb einer PV Anlage mit Speicher von SENEC, möchte ich die gesammelten Daten der Anlage auswerten und mit weiteren Datenquellen (z.B. Wetter&Klimadaten) anreichern. Mein Ziel ist es eine prädiktive Analyse zu entwicklen, um mit Hilfe von Daten und Machine Learning einen belastbaren Forecast zur prognostizieren.
Für dieses Projekt nutze ich Werkzeuge aus der Google Cloud. Den kostenlosen Zugang inkl. $300 Credits kann ich jedem IT-Interessierten nur ans Herz legen. Aufgrund der möglichen großen Datenmengen , Verknüpfung weiterer Datenquellen und Machine Learning zu nutzen, schließe ich einfache Programme wir Google Sheets oder MS Excel aus.
Die SENEC Anlage aggregiert alle 5 Minuten die Daten und speichert diese im Intervall von einer Woche in CSV Files. Die CSVs lassen sich über den SENEC-Kundenzugang herunterladen.
Auf den ersten Blick sehen die Daten im CSV File vernünftig aus. Allerdings haben sich die SENEC Entwickler keine großen Gedanken um die Export Methode gemacht. Der Timestamp (Uhrzeit) ist nicht im internationalen Format und die Dezimalstellen wurden mit Komma (EU-Format) kodiert. Zudem (was aber vernachlässigt werden kann), sind die Daten im CSV File mit einem Semikolon getrennt.
Damit wir alle gesammelten Daten in Google Cloud BigQuery problemlos importieren können müssen wir:
das Feld Uhrzeit in einen internationalen Timestamp umwandeln
das Komma durch einen Punkt ersetzen
Ein konsolidiertes CSV erstellen
Ich verwende die aktuelle Python 3 Version auf meinem Mac und nutze die Pandas Bibliothek als Ergänzung für die Datenmanipulation und das Lesen/Schreiben der CSV Files.
Tip: Man sollte sich ein paar Stunden Zeit einplanen und sich mit der Pandas Bibliothek vertraut machen.
Im nächsten Schritt beschreibe ich den Import der der SENEC PV-Daten in BigQuery. Dazu habe ich mich an der Google Cloud Console angemeldet, ein neues Projekt erstellt, die BigQuery API aktiviert und ein neues Dataset in BigQuery angelegt. Bei den Importeinstellungen verzichte ich auf die Schema Auto detect Einstellungen definiere exact die Felder und die Daten Typen die benötige.
Für die Analyse und die späteren Reports ist es wichtig, dass der Timestamp den richtigen Datentyp hat. Für alle anderen Felder nutze ich Float , da es viele Kommawerte in den Daten gibt und teilweise auch negative Werte vorhanden sind.
Somit ist die ETL Phase abgeschlossen und wir haben alle Daten im richtigen Format in BigQuery gespeichert.
Nachdem nun alle Daten "sauber" und im richtigen Format vorliegen, lassen sich mir einfachen SQL Abfragen die Daten auswerten , analysieren und grafische Reports bauen.
Die SENEC Anlage speichert im Intervall von 5 Minuten einen Mittelwert. Eine gute Möglichkeit diese Daten auszuwerten ist eine einfache Aufsummierung der Daten nach Tagen, Wochen, Monaten und Jahren.
In meinem Beispiel habe ich mich für die Darstellung der Kalenderwochen entschieden. Mittels der EXTRACT() Funktion lassen sich Elemente aus dem Timestamp einfach extrahieren und mit der SUM() Funktion Stromverbrauch, Netzeinspeisung, Akkubeladung, etc. summieren.
Zur optimalen Darstellung gruppieren und sortieren wir nach Jahr und Woche.
Im nächsten Schritt lassen sich die Daten mit der BI Enginge Looker Studio grafisch aufbereiten.
Looker Studio bietet eine große Anzahl von Diagrammen und einfachen Möglichkeiten grafische Reports zu bauen. Hier einfach mal ein Beispiel zur Darstellung der Stromerzeugung , des Stromverbrauchs, Netzbezug und Netzeinspeisung.
Google Cloud Vertex AI ist eine Plattform für maschinelles Lernen (ML), mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen können. Vertex AI kombiniert Data-Engineering-, Data-Science- und ML-Engineering-Workflows.
Nachdem man in der Google Cloud Console Vertex AI "enabled" hat, lassen sich ohne großen Aufwand neue Datasets erstellen. Vertex AI bietet für alle Datentypen (Bilder, Video, Tabellen, Text, etc.) eine optimale Vorauswahl statt.
Für mein Dataset nutze ich Tabular - Forecasting.
Im Anschluß lässt sich das zu erstellende Dataset mit den PV Daten in BigQuery Verbinden. Das geschieht indem man die Data Source mit dem Pfad zu der BigQuery Tabelle verlinkt.
Bevor man nun endlich das Training starten kann benötigen wir noch einige Parameter.
Model Training Methode = AutoML
Timestamp Column = Das BQ Timestamp Feld
Target Column = BQ Feld Stromerzeugung
Data Granularity = 5 min
Forecast Horizon =
Context Window = Wert zwischen 0-5. Ich nutze 3
Das Training kann aufgrund der Datenmenge bis zu einer Stunde dauern. Läuft etwas schief wird man freundlicherweise per eMail informiert. Läuft alles gut, so wie in meinem Fall, erhält man am Ende ein trainiertes ML Model welches man nun verwenden kann, um für seine PV Anlage einen Forecast zu erstellen.
Unabhängig von dem Sinn und dem Verwendungszweck dieses Projekts, war es mir wichtig, die Schritte über das Sammeln von Gerätedaten, die Aufbereitung und Auswertung, bis hin zum erstellen eines ML Models aufzuzeigen. Anhand den fortschrittlichen Möglichkeiten, die heute z.B. Google Cloud bietet, ergeben sich zahlreiche Möglichkeiten Daten für künftige Entscheiden aufzuwerten.