KI Tools im Sternenlabor

KI Laptop - NVIDIA GPU

* Ziel ist es die KI-Modelle auf einer eigenen Partition zu speichern, um von allen Programmen aus Windows und Linux heraus genutzt zu werden.

* Large Language Models (LLMs)

LM Studio - ROCm Preview
- starte LM Studio
- GPU support via ROCm, LLMs werden auf D:\llm gespeichert
- in LM Studio lassen sich system prompts pflegen, um die Eigenschaften des Bots zu beeinflussen. Beispiele, mehr Beispiele.
Ollama
- change model location to D:\llm
AnythingLM für RAG Test
- starte Docker Desktop → starte AnythingLM container → Öffne localhost:3001 im Browser
- Zugriff auf LLMs von LM Studio Server
anythingLM Desktop
- starte Anything LLM
Agenten
AutoGen Studio
- starte Anaconda Powershell Prompt (miniconda3) → conda activate autogenstudio → autogenstudio ui → Öffne http://localhost:8081/ im Browser
CrewAI
- starte Anaconda Powershell Prompt (miniconda3) → conda activate crewai → schreib deinen eigenen .py code
Visual Studio Code Extension:
- Continue (CoPilot der auch für lokale LLMs genutzt werden kann) Docs; Guide
- starte Ollama Server mit „ollama serve“ –> 127.0.0.1:11434 und dann VisualStudioCode

* Stable Diffusion

ComfyUI
- starte Anaconda Powershell Prompt (miniconda3) → conda activate comfyui → C:\Users\Sternenlabor\comfyui\ –> python main.py –directml
- GPU support via DirectML (langsamer als ROCm)
- ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden
Fooocus
- starte Anaconda Powershell Prompt (miniconda3) → conda activate fooocus → C:\Users\Sternenlabor\fooocus\ –> python -s entry_with_update.py –directml
- GPU support via DirectML
- ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden