GPT4all: Open-Source LLM

ChatGPT hat die Lehre maßgeblich verändert. Studierende nutzen das neue Werkzeug als Programmierassistent, zum zusammenfassen von Texten oder für kreative Aufgaben. Mit all seinen Stärken und auch Schwächen gibt es ein Problem, für welches in anderen Bereichen bereits  gute Lösungen existieren: Die selbstverständliche Nutzung von proprietärer Software mit Bezahloption schließt bestimmte Gruppen von Studierenden explizit aus. Die (scheinbare) Alternativlosigkeit der Nutzung von ChatGPT birgt dabei auch Risiken im Bereich der Hoheit über die eigenen persönlichen Daten.

Zur Lösung dieses Gleichstellungsproblems gibt es verschiedene Möglichkeiten. Eine Option kommt mit GPT4All daher. Das Open-Source Tool kann lokal installiert werden und benötigt keine Verbindung zum Internet. Nutzer können auf die sich ständig aktualisierende Auswahl von frei zugänglichen Large Language Models (LLM) zugreifen und diese direkt nutzen. Es fallen somit keine zusätzlichen Kosten an und alle Daten bleiben lokal. Wichtig anzumerken ist, dass OpenAI mit ChatGPT enorm viele Ressourcen zur Verfügung hat und Open-Source Modelle aktuell an einigen Stellen noch nicht auf Augenhöhe sind— da der Markt für LLMs volatil ist, kann sich das jedoch schnell ändern.

Installation und Nutzung von GPT4ALL

Die Software ist für Windows, Mac und Ubuntu erhätlich und kann von gpt4all.io heruntergeladen und installiert werden. Im Anschluss kann eines oder mehrere LLMs heruntergeladen werden. Diese haben alle unterschiedliche Schwächen und Stärken und sind optimiert für den Austausch in Deutsch (EM German Mistral) oder zur Hilfe bei der Programmierung (StarCoder). Die Oberfläche ähnelt stark derer von ChatGPT. Ein Vorteil ist die sehr schnelle Antwortzeit der Modelle sowie dem nicht vorhandenen Limit an Anfragen/Stunde. Wurde ein Modell ausgewählt, kann der Austausch beginnen. Ein weiteres spannendes Feature von GPT4All ist die Möglichkeit, lokale Dateien einzubinden und den Inhalt abzufragen.