Lokaler KI-Server mit eigener Wissensbasis
Ein eigener KI-Assistent, der Ihre Dokumente kennt, Fragen mit Quellen beantwortet und vollständig auf Ihrer Hardware läuft.
KI-Assistenten wie ChatGPT sind praktisch, schicken aber jede Frage und jedes Dokument an fremde Server. Ein lokaler KI-Server arbeitet anders: Offene Sprachmodelle laufen auf Ihrer eigenen Hardware, Ihre Daten verlassen das Netzwerk nicht.
Mit einer Wissensbasis aus Ihren Dokumenten, Notizen und Prozessen wird daraus ein persönlicher Assistent. Er beantwortet Fragen mit Quellenangaben, fasst zusammen, unterstützt bei Konzepten und Angeboten und lässt sich später um Agenten und Automatisierungen erweitern.
BARNICOM plant den KI-Server, wählt Hardware und Modelle aus, baut die Wissensbasis auf und betreut das System. Auf Wunsch verbinden wir ihn mit Ihrer eigenen Cloud. Mehr zu KI ohne US-Anbieter unter ChatGPT und Copilot Alternative.
Was ein lokaler KI-Server leistet
Keine Daten nach außen
Sprachmodelle laufen auf Ihrem Server. Dokumente, Fragen und Antworten verlassen Ihr Netzwerk nicht.
Antworten aus Ihrem Wissen
Die KI durchsucht Ihre Dokumentationen, Notizen und Prozesse und antwortet mit Quellenangaben, statt zu raten.
Planbare Kosten
Einmal Hardware, danach keine Gebühren pro Nutzer oder Anfrage. Die Leistung hängt von der Grafikkarte ab, nicht von einem Tarif.
Bausteine
Ein typischer Aufbau aus offenen Komponenten. Welche Modelle und welche Hardware passen, klären wir im Konzept.
| Bereich | Lösung | Aufgabe |
|---|---|---|
| Hardware | Server mit einer oder mehreren Grafikkarten | Rechenleistung für die Sprachmodelle, der Grafikspeicher bestimmt die Modellgröße |
| Modelle | offene Sprachmodelle, zum Beispiel von Mistral | Texte verstehen, zusammenfassen, entwerfen |
| Modellbetrieb | Ollama oder vLLM | stellt die Modelle im eigenen Netz bereit |
| Oberfläche | Open WebUI oder eigene Anwendung | Chat für Sie und Ihr Team |
| Wissensbasis | Retrieval-Augmented Generation (RAG) mit Vektordatenbank | Antworten aus Ihren Dokumenten, mit Quellen |
| Agenten und Automatisierung | n8n oder eigene Abläufe | Recherche, Angebote, wiederkehrende Aufgaben |
So läuft das Projekt
-
Konzept
Anwendungsfälle, Datenquellen, Modellwahl, Hardware und Sicherheit werden in einer bezahlten Konzeptphase festgelegt.
-
Hardware und Modelle
Beschaffung und Einrichtung des Servers, Test verschiedener Modelle mit Ihren Daten.
-
Wissensbasis
Ihre Dokumente werden eingelesen, gegliedert und aktuell gehalten, Zugriffsrechte bleiben erhalten.
-
Ausbau
Anbindung an Ihre Cloud, Agenten und Automatisierungen, Wartung und Modell-Updates.
Was Sie erwarten können
Lokale KI ist leistungsfähig, hat aber Grenzen. Wir sagen vorher, wo sie liegen, zum Beispiel:
- bei sehr anspruchsvollen Aufgaben liegen die größten Cloud-Modelle teils noch vorn
- größere Modelle brauchen teure Grafikkarten mit viel Speicher
- die Qualität der Antworten hängt von Qualität und Pflege Ihrer Dokumente ab
Häufige Fragen
Welche Hardware brauche ich?
Einen Server mit einer oder mehreren Grafikkarten. Der Grafikspeicher bestimmt, wie große Modelle laufen und wie viele Personen gleichzeitig arbeiten können. Die Auswahl richtet sich nach Ihren Anwendungsfällen.
Was ist RAG?
Retrieval-Augmented Generation: Die KI sucht zu jeder Frage passende Stellen in Ihren Dokumenten und formuliert die Antwort daraus, mit Verweis auf die Quelle.
Läuft die KI wirklich ohne Internet?
Ja. Nach dem einmaligen Herunterladen der Modelle arbeitet der Server vollständig offline. Internet braucht er nur für Updates, die Sie steuern.
Kann die KI auf meine Cloud zugreifen?
Ja, auf freigegebene Ordner einer eigenen Cloud wie Nextcloud. Beide Systeme können aber auch unabhängig voneinander aufgebaut werden.
Was kostet der Umstieg?
Das hängt von den Anwendungsfällen, der Modellgröße, der Zahl der Nutzer und der Hardware ab. Ein Angebot erhalten Sie nach der Bestandsaufnahme.
Aus unseren Projekten
Selbst betreiben
Planen Sie Ihren eigenen KI-Server
Wir besprechen Ihre Anwendungsfälle und schlagen Hardware, Modelle und Aufbau vor.