• Text: Tools für local LLMs
  • LM Studio
  • Ollama auf Windows und dem WSL Ubuntu
  • Text Generation WebUI
  • AnythingLM Docker - localhost:3001 - RAG
  • Visual Studio Code Extension:
    • Continue (CoPilot der auch für lokale LLMs genutzt werden kann)
    • Github Copilot
• Agenten
  • AutoGen Studio
• Stable Diffusion
  • ComfyUI
  • Automatic1111
  • Fooocus
• Audio
  • AudiCraft
    • starte Anaconda Powershell Prompt (miniconda3) → conda activate audiocraft → C:\Users\Sternenlabor\audiocraft\
      • MusicGen: python -m demos.musicgen_app –share –> http://127.0.0.1:7860/

* Ziel ist es die KI-Modelle auf einer eigenen Partition zu speichern, um von allen Programmen aus Windows und Linux heraus genutzt zu werden.

* Large Language Models (LLMs)

• LM Studio - ROCm Preview
  • starte LM Studio
  • GPU support via ROCm, LLMs werden auf D:\llm gespeichert
  • in LM Studio lassen sich system prompts pflegen, um die Eigenschaften des Bots zu beeinflussen. Beispiele, mehr Beispiele.
• Ollama
  • change model location to D:\llm
• AnythingLM für RAG Test
  • starte Docker Desktop → starte AnythingLM container → Öffne localhost:3001 im Browser
  • Zugriff auf LLMs von LM Studio Server
• anythingLM Desktop
  • starte Anything LLM
• Agenten
• AutoGen Studio
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate autogenstudio → autogenstudio ui → Öffne http://localhost:8081/ im Browser
• CrewAI, LangChain
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate crewai → schreib deinen eigenen .py code
• Visual Studio Code Extension:
  • Continue (CoPilot der auch für lokale LLMs genutzt werden kann) Docs; Guide
  • starte Ollama Server mit „ollama serve“ –> 127.0.0.1:11434 und dann VisualStudioCode

* Stable Diffusion

• ComfyUI
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate comfyui → C:\Users\Sternenlabor\comfyui\ –> python main.py –directml
  • GPU support via DirectML (langsamer als ROCm)
  • ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden
• Fooocus
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate fooocus → C:\Users\Sternenlabor\fooocus\ –> python -s entry_with_update.py –directml
  • GPU support via DirectML
  • ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden

* Audio

• AudiCraft
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate audiocraft → C:\Users\Sternenlabor\audiocraft\
    • MusicGen: python -m demos.musicgen_app –share –> http://127.0.0.1:7860/

* Stable Diffusion

• ComfyUI
• starte den ComfyUI Server im Terminal via: python ~/ComfyUI/main.py
• öffne das ComfyUI im Browser via: http://127.0.0.1:8188

* Large Language Models

• Ollama