Nexus's blog

基于 llama.cpp 的 Qwen2.5‑1.5B‑Instruct GGUF 推理服务部署实践

这里要求cuda版本12.x 如果是通过默认apt源直接下载的,一般是不满足的,需要卸载,选定版本下载 apt remove nvidia-cuda-toolkit -y apt autoremove 安装 nvidia-cuda-toolkit 12.4 参考:https://developer.

Administrator Administrator 发布于 2024-10-28

GPU服务器关键参数查看

当前机器系统:ubuntu22.04 查看机器有哪些类型GPU lspci | grep -Ei 'vga|3d|display' [root@AI-101 ~]#lspci | grep -Ei 'vga|3d|display' 00:17.0 SATA controller: Intel Co

Administrator Administrator 发布于 2024-10-16