LLM lokal installieren

  1. Windows
  2. Linux
  3. MacOS
  4. Deutscher Chatbot

Windows

  1. Auf Windows-Logo unten links und cmd eingeben -> Windows-Eingabeaufforderung öffnen
  2. folgenden Befehl ohne Anführungszeichen eingeben und mit Enter bestätigen: „wsl –install“
  3. abwarten und nach Installation den PC neustarten & aktualisieren
  4. Die Installation schließt automatisch ab und am Ende seid ihr im Linux eingeloggt. Danach bitte einmal die Eingabeaufforderung schließen. Danach wieder mit „cmd“ die Windows-Eingabeaufforderung öffnen und „wsl“ eingeben und mit Enter bestätigen -> jetzt befinden wir uns im Windows Subsystem Linux in eurem Nutzerverzeichnis
  5. Befehl ohne Anführungszeichen und bestätigen mit Enter: „git clone https://github.com/ggerganov/llama.cpp.git“
  6. „cd llama.cpp“ und mit Enter bestätigen -> Wechsel in das neue Verzeichnis [cd = change directory]
  7. „sudo apt update && sudo apt install make g++ -y“ und mit Enter bestätigen
  8. „make“ und mit Enter bestätigen -> Die ausführbare Datei wird für euren jeweiligen PC erstellt
  9. Datei runterladen mit folgendem Befehl: “ wget https://huggingface.co/TheBloke/orca_mini_v3_7B-GGUF/resolve/main/orca_mini_v3_7b.Q3_K_L.gguf „
  10. Weiterhin im Verzeichnis llama.cpp folgenden Befehl starten: „./main -m orca_mini_v3_7b.Q3_K_L.gguf -p „###
    User: Hello! ### Assistant: “ -n 100″

Wenn das geklappt hat, dann eigenen Chatbot mit folgendem Befehl starten:

./main -m orca_mini_v3_7b.Q3_K_L.gguf --interactive-first --in-suffix "### Assistant: " --in-prefix "### User: " -p "### System: You are an AI assistant that follows instruction extremely well. Help as much as you can. \ ### User: Hello! ### Assistant: Hi, how can I help you? ### User: " -r "### User:" --color

Linux

Befehle im Terminal [Strg + Alt + T zum Öffnen] eingeben und jeweils mit Enter bestätigen:

  1. sudo apt install git -y
  2. git clone https://github.com/ggerganov/llama.cpp.git
  3. Wechsel in das neue Verzeichnis: cd llama.cpp
  4. Ausführbare Datei für euren PC bauen mit dem Befehl: make
  5. Modell runterladen: wget https://huggingface.co/TheBloke/orca_mini_v3_7B-GGUF/resolve/main/orca_mini_v3_7b.Q3_K_L.gguf
  6. erster Test im Verzeichnis llama.cpp ausführen: ./main -m orca_mini_v3_7b.Q3_K_L.gguf -p „###
    User: Hello! ### Assistant: “ -n 100
  7. Chatbot im Verzeichnis llama.cpp ausführen mit dem nachfolgenden Befehl: ./main -m orca_mini_v3_7b.Q3_K_L.gguf -i -p „### User: Hello! ### Assistant: “ –color
    • Tipp: Das Einfügen von Befehlen im Terminal geht am einfachsten über die Tastenkombination „Strg + Shift + V“

Wenn das geklappt hat, dann eigenen Chatbot mit folgendem Befehl starten:

./main -m /home/nils/excluded_from_backup/llm_models/orca_mini_v3_7b.Q3_K_L.gguf --interactive-first --in-suffix "### Assistant: " --in-prefix "### User: " -p "### System:
You are an AI assistant that follows instruction extremely well. Help as much as you can. \
### User: Hello! ### Assistant: Hi, how can I help you? ### User: " -r "### User:" --color

MacOS

Befehle im Programm „Terminal“ eingeben und jeweils mit Enter bestätigen:

  1. git clone https://github.com/ggerganov/llama.cpp.git
    • ihr werdet gefragt, ob die Developer Tools installiert werden sollen -> bestätigen
  2. Wechsel in das neue Verzeichnis: cd llama.cpp
  3. Ausführbare Datei für euren PC bauen mit dem Befehl: make
  4. Modell runterladen: wget https://huggingface.co/TheBloke/orca_mini_v3_7B-GGUF/resolve/main/orca_mini_v3_7b.Q3_K_L.gguf
  5. erster Test im Verzeichnis llama.cpp ausführen: ./main -m orca_mini_v3_7b.Q3_K_L.gguf -p „###
    User: Hello! ### Assistant: “ -n 100
  6. Chatbot im Verzeichnis llama.cpp ausführen mit dem nachfolgenden Befehl: ./main -m orca_mini_v3_7b.Q3_K_L.gguf -i -p „### User: Hello! ### Assistant: “ –color
    • Tipp: Das Einfügen von Befehlen im Terminal geht am einfachsten über die Tastenkombination „Strg + Shift + V“

Deutscher Chatbot

Funktioniert einigermaßen gut mit folgender Prompt:

### System:\nDu bist ein hilfreicher KI-Assistent, der Anweisungen sehr gut befolgt. Hilf so viel du kannst.\n### User: Hallo.\n### Assistant: Hallo, wie kann ich dir helfen?\n### User: