Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- playground:howto:ki-tools [2024/05/02 17:57] – ralf.baumann
+++ playground:howto:ki-tools [2025/03/24 10:46] (aktuell) – ralf.baumann
@@ Zeile 6: / Zeile 6: @@
   * Text: Tools für local LLMs
     * [[https://lmstudio.ai/|LM Studio]]
-    * [[https://ollama.ai/|Ollama]] auf dem WSL Ubuntu
+    * [[https://ollama.ai/|Ollama]] auf Windows und dem WSL Ubuntu
     * [[https://github.com/oobabooga/text-generation-webui|Text Generation WebUI]]
     * [[https://github.com/Mintplex-Labs/anything-llm|AnythingLM]] Docker - localhost:3001 - RAG
@@ Zeile 22: / Zeile 22: @@
       * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate audiocraft -> C:\Users\Sternenlabor\audiocraft\
         * MusicGen:  python -m demos.musicgen_app --share  --> http://127.0.0.1:7860/
-===== Polarstern - AMD GPU =====
- * Ziel ist es die KI-Modelle auf einer eigenen Partition zu speichern, um von allen Programmen aus Windows und Linux heraus genutzt zu werden.
-==== Windows ====
- * Large Language Models (LLMs)
-    * [[https://lmstudio.ai/|LM Studio - ROCm Preview]]
-      * starte LM Studio
-      * GPU support via ROCm, LLMs werden auf D:\llm gespeichert
-      * in LM Studio lassen sich system prompts pflegen, um die Eigenschaften des Bots zu beeinflussen. [[https://github.com/mustvlad/ChatGPT-System-Prompts/tree/main|Beispiele]], [[https://www.promptgaia.com/chatgpt-prompts/|mehr Beispiele]].
-    * [[https://ollama.com/|Ollama]]
-      * [[https://github.com/ollama/ollama/issues/2551|change model location]] to D:\llm
-    * [[https://github.com/Mintplex-Labs/anything-llm|AnythingLM für RAG Test]]
-      * starte Docker Desktop -> starte AnythingLM container -> Öffne localhost:3001 im Browser
-      * Zugriff auf LLMs von LM Studio Server
-    * [[https://useanything.com/download|anythingLM Desktop]]
-      * starte Anything LLM
-  * Agenten
-    * [[https://autogen-studio.com/|AutoGen Studio]]
-      * starte Anaconda Powershell Prompt (miniconda3) -> conda activate autogenstudio -> autogenstudio ui -> Öffne http://localhost:8081/ im Browser
-    * [[https://github.com/joaomdmoura/CrewAI|CrewAI]]
-      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate crewai -> schreib deinen eigenen .py code
-   * Visual Studio Code Extension:
-      * [[https://marketplace.visualstudio.com/items?itemName=Continue.continue|Continue]] (CoPilot der auch für lokale LLMs genutzt werden kann) [[https://docs.continue.dev/intro|Docs]]; [[https://medium.com/@smfraser/how-to-use-a-local-llm-as-a-free-coding-copilot-in-vs-code-6dffc053369d|Guide]]
-      * starte Ollama Server mit "ollama serve" --> 127.0.0.1:11434  und dann VisualStudioCode
-* Stable Diffusion
-    * [[https://github.com/comfyanonymous/ComfyUI|ComfyUI]]
-      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate comfyui ->  C:\Users\Sternenlabor\comfyui\ --> python main.py --directml
-      * GPU support via DirectML (langsamer als ROCm)
-      * ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden
-    * [[https://github.com/lllyasviel/Fooocus|Fooocus]]
-      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate fooocus ->  C:\Users\Sternenlabor\fooocus\ --> python -s entry_with_update.py --directml
-      * GPU support via DirectML
-      * ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden
-* Audio
-  * [[https://github.com/facebookresearch/audiocraft|AudiCraft]]
-    * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate audiocraft -> C:\Users\Sternenlabor\audiocraft\
-      * MusicGen:  python -m demos.musicgen_app --share  --> http://127.0.0.1:7860/
-==== LinuxMint ====