====== KI Tools im Sternenlabor ======

===== KI Laptop - NVIDIA GPU =====
==== Windows ====

  * Text: Tools für local LLMs 
    * [[https://lmstudio.ai/|LM Studio]]
    * [[https://ollama.ai/|Ollama]] auf dem WSL Ubuntu
    * [[https://github.com/oobabooga/text-generation-webui|Text Generation WebUI]]
    * [[https://github.com/Mintplex-Labs/anything-llm|AnythingLM]] Docker - localhost:3001 - RAG
    * Visual Studio Code Extension: 
      * [[https://marketplace.visualstudio.com/items?itemName=Continue.continue|Continue]] (CoPilot der auch für lokale LLMs genutzt werden kann)
      * [[https://code.visualstudio.com/docs/copilot/overview|Github Copilot]]
  * Agenten
    * [[https://autogen-studio.com/|AutoGen Studio]]
  * Stable Diffusion
    * [[https://github.com/comfyanonymous/ComfyUI|ComfyUI]]
    * [[https://github.com/AUTOMATIC1111/stable-diffusion-webui|Automatic1111]]
    * [[https://github.com/lllyasviel/Fooocus|Fooocus]] 
  * Audio
    * [[https://github.com/facebookresearch/audiocraft|AudiCraft]]
      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate audiocraft -> C:\Users\Sternenlabor\audiocraft\
        * MusicGen:  python -m demos.musicgen_app --share  --> http://127.0.0.1:7860/

===== Polarstern - AMD GPU =====

 * Ziel ist es die KI-Modelle auf einer eigenen Partition zu speichern, um von allen Programmen aus Windows und Linux heraus genutzt zu werden.
==== Windows ====

 * Large Language Models (LLMs) 
    * [[https://lmstudio.ai/|LM Studio - ROCm Preview]]
      * starte LM Studio 
      * GPU support via ROCm, LLMs werden auf D:\llm gespeichert
      * in LM Studio lassen sich system prompts pflegen, um die Eigenschaften des Bots zu beeinflussen. [[https://github.com/mustvlad/ChatGPT-System-Prompts/tree/main|Beispiele]], [[https://www.promptgaia.com/chatgpt-prompts/|mehr Beispiele]].
    * [[https://ollama.com/|Ollama]]
      * [[https://github.com/ollama/ollama/issues/2551|change model location]] to D:\llm 
    * [[https://github.com/Mintplex-Labs/anything-llm|AnythingLM für RAG Test]] 
      * starte Docker Desktop -> starte AnythingLM container -> Öffne localhost:3001 im Browser
      * Zugriff auf LLMs von LM Studio Server 
    * [[https://useanything.com/download|anythingLM Desktop]]
      * starte Anything LLM 
  * Agenten
    * [[https://autogen-studio.com/|AutoGen Studio]] 
      * starte Anaconda Powershell Prompt (miniconda3) -> conda activate autogenstudio -> autogenstudio ui -> Öffne http://localhost:8081/ im Browser
    * [[https://github.com/joaomdmoura/CrewAI|CrewAI]], [[https://python.langchain.com/docs/get_started/introduction|LangChain]]
      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate crewai -> schreib deinen eigenen .py code
   * Visual Studio Code Extension: 
      * [[https://marketplace.visualstudio.com/items?itemName=Continue.continue|Continue]] (CoPilot der auch für lokale LLMs genutzt werden kann) [[https://docs.continue.dev/intro|Docs]]; [[https://medium.com/@smfraser/how-to-use-a-local-llm-as-a-free-coding-copilot-in-vs-code-6dffc053369d|Guide]]
      * starte Ollama Server mit "ollama serve" --> 127.0.0.1:11434  und dann VisualStudioCode
* Stable Diffusion
    * [[https://github.com/comfyanonymous/ComfyUI|ComfyUI]]
      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate comfyui ->  C:\Users\Sternenlabor\comfyui\ --> python main.py --directml
      * GPU support via DirectML (langsamer als ROCm)
      * ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden 
    * [[https://github.com/lllyasviel/Fooocus|Fooocus]]
      * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate fooocus ->  C:\Users\Sternenlabor\fooocus\ --> python -s entry_with_update.py --directml
      * GPU support via DirectML 
      * ToDo: Konfig anpassen, dass die Modelle aus D:\stable-diffusion genutzt werden 
* Audio
  * [[https://github.com/facebookresearch/audiocraft|AudiCraft]]
    * starte Anaconda Powershell Prompt (miniconda3) ->  conda activate audiocraft -> C:\Users\Sternenlabor\audiocraft\
      * MusicGen:  python -m demos.musicgen_app --share  --> http://127.0.0.1:7860/

==== LinuxMint ====