Meine eigene KI: Ein lokaler Chatbot als Praktikumsprojekt

Meine Aufgabe

Meine Aufgabe bestand darin, mit Python ein Programm zu schreiben, über das ich mit einem lokalen KI-Modell kommunizieren kann. Python ist eine Programmiersprache, die sich wegen ihrer übersichtlichen Schreibweise gut für solche Projekte eignet.

Der Chatbot sollte Fragen entgegennehmen, diese an das KI-Modell senden und anschließend die erzeugten Antworten anzeigen. Außerdem sollte man mehrere Nachrichten nacheinander schreiben können, sodass ein richtiges Gespräch entsteht. Der bisherige Chatverlauf wird dabei erneut an das Modell gesendet. Dadurch kann sich der Chatbot innerhalb eines Gesprächs auf vorherige Nachrichten beziehen. Zusätzlich habe ich mich damit beschäftigt, wie der Chatbot Informationen aus dem Internet verwenden kann.

Genau genommen habe ich das KI-Modell nicht selbst trainiert. Das wäre sehr aufwendig und würde leistungsstarke Computer sowie große Datenmengen erfordern. Stattdessen habe ich eine eigene Chat-Anwendung entwickelt und dafür ein bereits vorhandenes Sprachmodell lokal eingebunden.

Was ist ein lokales KI-Modell?

Ein großes Sprachmodell, auch Large Language Model (LLM) genannt, kann man sich vereinfacht als ein sehr umfangreiches System zur Textergänzung vorstellen. Es wurde mit vielen Texten trainiert und berechnet, welche Wörter wahrscheinlich aufeinanderfolgen. Dadurch kann es Fragen beantworten, Texte verfassen und Gespräche führen. Es denkt jedoch nicht wie ein Mensch und kann auch falsche Informationen erzeugen.

Bei bekannten Cloud-Diensten läuft das Sprachmodell auf den Servern eines Anbieters. Die eigene Anfrage wird über das Internet dorthin gesendet, verarbeitet und anschließend als Antwort zurückgeschickt. Mein Modell läuft dagegen lokal, also direkt auf meinem Computer. Die Kommunikation findet grundsätzlich auf dem eigenen Gerät statt.

Mein erster Aha-Moment war deshalb: Eine KI muss nicht zwangsläufig irgendwo weit entfernt in einer Cloud laufen – sie kann auch auf dem eigenen Laptop arbeiten.

Das ist besonders interessant, wenn persönliche oder interne Firmendaten verarbeitet werden. Ein lokales Modell kann mehr Kontrolle und Datenschutz bieten, weil Anfragen nicht automatisch an einen externen KI-Anbieter übertragen werden. Eine hundertprozentige Sicherheit garantiert das allein allerdings nicht. Auch der Computer, die Anwendung und mögliche Internetzugriffe müssen sicher eingerichtet sein.

Lokale Modelle haben außerdem Nachteile. Mein Computer besitzt deutlich weniger Rechenleistung als ein großes Rechenzentrum. Deshalb arbeitet das Modell teilweise langsamer und bietet nicht denselben Umfang wie große Cloud-Modelle. Dafür fallen nicht unbedingt Gebühren für jede einzelne Anfrage an und der Chatbot kann – abgesehen von Funktionen wie einer Internetsuche – auch ohne Internetverbindung genutzt werden.

Python, Ollama und die API

Für mein Projekt habe ich Ollama verwendet. Ollama führt das Sprachmodell lokal aus und stellt eine Schnittstelle bereit. Eine solche API kann man sich wie einen Kellner in einem Restaurant vorstellen: Mein Python-Programm gibt die Bestellung – also die Frage – weiter. Ollama übermittelt sie an das Modell und bringt die erzeugte Antwort zurück.

Dabei trat ein Problem auf: Nachdem ich eine Frage abgeschickt hatte, erschien zunächst keine Antwort. Erst beim Beenden des Programms wurde sie angezeigt. Mithilfe des KI-Assistenten Goose fand ich die Ursache: Der Teil des Codes, der die Antwort ausgeben sollte, befand sich außerhalb der Chat-Schleife. Nachdem dieser Abschnitt an die richtige Stelle verschoben und die Ausgabe als Stream umgesetzt worden war, erschienen die Wörter direkt während ihrer Erzeugung.

Das war ein weiterer Aha-Moment für mich: Nicht immer ist die KI das Problem. Manchmal funktioniert sie bereits richtig, aber das eigene Programm zeigt das Ergebnis zum falschen Zeitpunkt an.

Was bedeutet Cloud Native?

Im Projekt lernte ich außerdem den Begriff Cloud Native kennen. Damit sind Anwendungen gemeint, die so entwickelt werden, dass sie die Möglichkeiten einer Cloud gut nutzen können. Dazu gehören beispielsweise flexible Skalierung, einzelne austauschbare Bestandteile und automatisierte Bereitstellung. „Cloud Native“ bedeutet also nicht einfach nur, dass ein Programm im Internet läuft.

Eine wichtige Rolle spielen dabei Container. Ein Container ist ein kompaktes Paket, das eine Anwendung zusammen mit ihren benötigten Abhängigkeiten und Einstellungen enthält. Dadurch kann dieselbe Anwendung auf verschiedenen Computern möglichst gleich ausgeführt werden. Im Gegensatz zu einer vollständigen virtuellen Maschine bringt ein Container normalerweise kein komplettes eigenes Betriebssystem mit und benötigt daher weniger Speicherplatz. Eine neue Version kann als neues Container-Image bereitgestellt werden, anstatt jeden Computer einzeln zu aktualisieren.

Auch hier wurde mir etwas Wichtiges klar: Container lösen nicht automatisch alle Probleme, schaffen aber eine einheitliche Umgebung. Der bekannte Satz „Bei mir funktioniert es“ verliert dadurch an Bedeutung, weil alle Beteiligten mit demselben Anwendungspaket arbeiten können.

Mein Fazit

Fast alles an diesem Projekt war für mich neu. Die Arbeit mit Python unterschied sich deutlich von meinen bisherigen Schulprojekten, welche wesentlich einfacherer gestaltet waren. Besonders spannend war es, mehrere Technologien zu verbinden und am Ende tatsächlich mit einer lokal laufenden KI chatten zu können.

Beim nächsten Projekt würde ich von Anfang an mehr Kommentare in den Code schreiben. So könnte ich später schneller nachvollziehen, was in jedem Schritt passiert und warum ich eine bestimmte Lösung gewählt habe.

Mein Praktikum hat mir gezeigt, dass hinter einem scheinbar einfachen Chatfenster viele einzelne Bestandteile stecken: ein Sprachmodell, ein Python-Programm, eine API und möglicherweise ein Container. Vor allem habe ich verstanden, dass lokale KI und Cloud-KI unterschiedliche Stärken besitzen. Welche Lösung besser passt, hängt davon ab, wie wichtig Datenschutz, Leistung, Kosten und Flexibilität für den jeweiligen Anwendungsfall sind.

Das Team hat mich sehr viel unterstützt und den jeweiligen Beruf mir besser veranschaulicht und ich könnte mir vorstellen mal in die IT zu gehen das hat das Praktikum nochmals verstärkt.