Lokale KI klingt nach einem großen Projekt, ist aber eigentlich überraschend schnell erledigt. Ich habe mir Ollama auf dem Mac Mini M4 aufgesetzt, ein passendes Sprachmodell geladen und das Ganze dann mit Home Assistant verbunden. Keine Cloud, kein API-Schlüssel, keine monatlichen Kosten. In diesem Artikel zeige ich dir jeden einzelnen Schritt, damit du das direkt nachmachen kannst.
Das hier ist der zweite Teil der Reihe. Wenn du noch nicht weißt, worum es grundsätzlich geht, schau dir zuerst den ersten Teil an. Ich habe außerdem eine ausführliche Schritt-für-Schritt-Anleitung auf der Website zusammengestellt, die du unter alles-automatisch.de/lernen/lokale-ki-ollama findest.
Ollama installieren
Ollama ist die Software, die deine lokalen Sprachmodelle verwaltet und ausführt. Die Installation ist wahnsinnig unkompliziert, egal ob du einen Mac, einen Linux-Rechner oder Windows benutzt. Unter macOS geht das am einfachsten mit Homebrew:
brew install ollamaWenn du keinen Mac hast oder lieber ohne Terminal arbeitest: Unter Windows gibt es einen grafischen Installer direkt auf ollama.com/download. Auf einem Raspberry Pi funktioniert stattdessen dieser Befehl:
curl -fsSL https://ollama.com/install.sh | shDer Installer lädt alles herunter und richtet Ollama direkt ein. Das dauert beim ersten Mal ein bisschen, weil da einiges gezogen wird. Einfach abwarten und dann weitermachen.
Das richtige Modell laden
Nachdem Ollama installiert ist, brauchst du ein Sprachmodell. Auf der Ollama Model Library findest du wahnsinnig viele zur Auswahl. Für Home Assistant empfehle ich auf einem leistungsstarken Gerät wie dem Mac Mini M4 das Gemma 3 mit 8 Milliarden Parametern:
ollama pull gemma3:8bAuf einem Raspberry Pi 5 oder einem älteren Rechner mit weniger RAM nimmst du lieber ein kleineres Modell, damit das System nicht ins Schwitzen kommt. Die genauen Empfehlungen je nach Hardware findest du in der Anleitung auf der Website.
Die Modelle sind je nach Größe zwischen ein paar Hundert Megabyte und mehr als zehn Gigabyte groß. Beim ersten Download musst du also ein bisschen Geduld mitbringen. Sobald der Download fertig ist, kannst du das Modell direkt im Terminal testen:
ollama run gemma3:8b "Erkläre kurz, was ein Smart Home ist."Wenn du eine Antwort bekommst, läuft alles. Die Antwort kommt dann vollständig lokal, ohne dass auch nur ein Byte deiner Anfrage das Netzwerk verlässt.
Ollama im Netzwerk verfügbar machen
Home Assistant läuft bei den meisten auf einem anderen Gerät als Ollama. In meinem Fall läuft Ollama auf dem Mac Mini und Home Assistant auf einem separaten Server. Damit Home Assistant die Ollama-Instanz überhaupt erreichen kann, muss Ollama Verbindungen aus dem Netzwerk akzeptieren.
Standardmäßig hört Ollama nur auf localhost, also auf Anfragen vom selben Gerät. Das musst du ändern. Unter macOS geht das so:
OLLAMA_HOST=0.0.0.0 ollama serveAllerdings würde Ollama dann enden, sobald du das Terminal schließt. Damit es dauerhaft und auch nach einem Neustart funktioniert, richtest du das als LaunchAgent ein. Wie das genau geht, habe ich in der Schritt-für-Schritt-Anleitung aufgeschrieben.
Unter Linux reicht meistens ein einfaches Anpassen der Systemd-Service-Datei. Wenn du das Ganze dann testen möchtest, kannst du von einem anderen Gerät im Netzwerk prüfen, ob Ollama erreichbar ist:
curl http://IP-DES-OLLAMA-RECHNERS:11434/api/tagsDu bekommst dann eine JSON-Antwort mit den installierten Modellen zurück. Wenn das klappt, ist Ollama bereit für Home Assistant.
Ollama in Home Assistant einrichten
Jetzt kommt der Teil, auf den ich mich ehrlich gesagt am meisten gefreut habe. Du gehst in Home Assistant unter Einstellungen auf Geräte und Dienste, klickst auf Integration hinzufügen und suchst nach Ollama. Dann trägst du einfach die URL deiner Ollama-Instanz ein:
http://IP-DES-OLLAMA-RECHNERS:11434Einen API-Schlüssel brauchst du nicht, solange du Ollama nicht absichtlich abgesichert hast. Das ist bei einer rein lokalen Installation auch gar nicht nötig, weil von außen sowieso niemand rankommt.
Im nächsten Schritt wählst du das Modell aus, das du vorher installiert hast. Hier gibst du einfach genau den Modellnamen ein, den du beim ollama pull verwendet hast, also zum Beispiel gemma3:8b. Dann kannst du noch eine System-Anweisung hinterlegen. Ich nutze bei mir diese hier:
Du bist ein Smart Home Assistent für Home Assistant. Du antwortest kurz, präzise und auf Deutsch. Nutze ausschließlich die bereitgestellten Tools. Erfinde keine eigenen. Wenn du etwas nicht weißt, sage es ehrlich.Wichtig: Den Haken bei "Home Assistant steuern erlauben" musst du setzen, wenn du möchtest, dass das Modell tatsächlich Geräte schalten kann. Und das Kontextfenster kannst du anpassen. Ich habe es auf 32768 gesetzt, was der Maximalwert für dieses Modell ist. Wenn du sehr viele Entitäten in Home Assistant hast, macht ein größeres Kontextfenster Sinn. Mit weniger RAM am Gerät würdest du den Wert eher verringern.
Erster Test und was dich erwartet
Nachdem du alles eingerichtet hast, kannst du mit dem Tastenküzel A den Assist öffnen oder einfach auf das entsprechende Icon in deinem Dashboard klicken. Beim allerersten Aufruf nach dem Einrichten dauert es etwas länger, weil das Modell quasi kaltgestartet wird. Das ist normal.
Danach bekommst du Antworten direkt aus deinem lokalen Modell. Ich habe einfach gefragt, wie warm es draußen ist, und bekommen: "Die Außentemperatur beträgt derzeit 15,5°." Das Modell hat also tatsächlich auf die Sensordaten in Home Assistant zugegriffen. Ohne Cloud. Ohne irgendwelche externen Dienste.
Wenn du keine eigene Hardware dafür aufsetzen möchtest oder lieber eine grafische Oberfläche hättest: LM Studio ist eine gute Alternative. Das läuft auf Mac, Windows und Linux, hat eine grafische Oberfläche und stellt ebenfalls eine OpenAI-kompatible API bereit, die du genauso mit Home Assistant verbinden kannst.
Im dritten Teil der Reihe schauen wir uns dann an, was du mit dem eingerichteten Assist-Agenten alles machen kannst und wie du ihn richtig einsetzt. Was für Modelle nutzt du bei dir lokal? Und läuft das bei dir auf einem Mac Mini, einem Raspberry Pi oder ganz woanders? Schreib mir das gerne in die Kommentare.
