本地部署harness详细教程

点击后加载 YouTube 播放器
检查 Node是否安装成功(非必要):
node -v
npm -v
检查 llama 是否安装成功(非必要):
.\llama-server.exe --help
启动本地大模型:在llama文件夹的地址栏上面输入:
.\llama-server.exe -m ""F:\harness2\models\Qwen3.8-27B-Uncensored-IQ2_M.gguf"" -ngl 999 -c 8192 --parallel 1 --port 8080 (视频里面的安装盘地址)
.\llama-server.exe -m "换成你的模型存放位置" -ngl 999 -c 8192 --parallel 1 --port 8080 (如果你和我的文件夹路径不一样就用这个)
按住 Shift,然后鼠标右键点这个 .gguf 模型文件 → 选择「复制为路径」。然后回到 PowerShell,鼠标右键就能粘贴,得到类似:
"F:\harness2\models\Qwen3.8-27B-Uncensored-IQ2_M.gguf"
RESOURCES
本期用到的资源
node下载打开 ↗无审查模型下载打开 ↗harness下载打开 ↗留言与交流
留言审核通过后公开显示。请不要填写密码、密钥或私人联系方式。
正在读取留言…