• Text: Tools für local LLMs
  • LM Studio
  • Ollama auf dem WSL Ubuntu
  • Text Generation WebUI
  • AnythingLM Docker - localhost:3001 - RAG
  • Visual Studio Code Extension:
    • Continue (CoPilot der auch für lokale LLMs genutzt werden kann)
    • Github Copilot
• Agenten
  • AutoGen Studio
• Stable Diffusion
  • ComfyUI
  • Automatic1111
  • Fooocus

* Ziel ist es die KI-Modelle auf einer eigenen Partition zu speichern, um von allen Programmen aus Windows und Linux heraus genutzt zu werden.

* Large Language Models (LLMs)

• LM Studio - ROCm Preview
  • starte LM Studio
  • GPU support via ROCm
  • LLMs auf D:\llm
• Ollama
  • change model location to D:\llm
• AnythingLM für RAG Test
  • starte Docker Desktop → starte AnythingLM container → Öffne localhost:3001 im Browser
  • Zugriff auf LLMs von LM Studio Server
• Agenten
• AutoGen Studio
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate autogenstudio → autogenstudio ui → Öffne http://localhost:8081/ im Browser
• CrewAI
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate crewai → schreib deinen eigenen .py code
• Visual Studio Code Extension:
  • Continue (CoPilot der auch für lokale LLMs genutzt werden kann) Docs
  • Guide → config path: C:\Users\Sternenlabor\.continue\config.json
  • starte Ollama Server mit „ollama serve“ –> 127.0.0.1:11434 und dann VisualStudioCode

* Stable Diffusion

• ComfyUI
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate comfyui → C:\Users\Sternenlabor\comfyui\ –> python main.py –directml
  • GPU support via DirectML (langsamer als ROCm)
  • ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden
• Fooocus
  • starte Anaconda Powershell Prompt (miniconda3) → conda activate fooocus → C:\Users\Sternenlabor\fooocus\ –> python -s entry_with_update.py –directml
  • GPU support via DirectML
  • ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden