LLM_UI_Windows_CPU

Run LLM UI Application on Windows 11 CPU

conda create -n llm python=3.9

conda activate llm

pip install --pre --upgrade bigdl-llm[all]

pip install gradio==3.41.1 mdtex2html

python LLM_demo_v1.0.py

LLM_demo_v1.0.py

theme3.json

checkpoint

• bigdl_llm_llama2_13b_q4_0.bin
• bigdl_llm_starcoder_q4_0.bin
• ggml-chatglm2-6b-q4_0.bin

绑定核运行的方法。打开cmd，运行 powershell "$app = Start-Process -FilePath "app.exe -PassThru; $app.ProcessorAffinity = 0x1F"

其中 0x1F的意思是使用前面5个核运行，转换成二进制是 11111。