最近公司需要一台便宜的能跑一点AI的工作站,想到目前大语言模型都需要大显存,但公司给的预算只有几百,这。。。。。。
不是几百跑个屁大语言模型,最后选了x99 + e5 2680V4+tesla p100 16g的,内存只有24g(预算不够啊)
系统安装了PVE9.1,本来想用vgpu的结果就是启用不了,算了直接直通给win10吧,win10用老坛酸菜版,再弄个LLM或者ollama就可以了。
先看最后结果:驱动版本 551.78 打开了cuda 12.4 和 wddm模式,gpu-z显示功能全支持,cuda12.4 和 wddm还是有很多地方能用到的
P100 显卡目前AI搜索到能打开wddm的最高版本是539.41(grid版本)但是只支持到cuda12.2
通过自己折腾最后支持到了551.78版本(551.78-data-center-tesla-desktop)
折腾流程:
1.先安装539.41(grid版本)版本的驱动,这时候p100在任务管理器中正常显示
2.再安装551.78-data-center-tesla-desktop驱动,任务管理器中消失了。。。。
3.打开注册表
路径Computer -> HKEY_LOCAL_MACHINE -> SYSTEM -> CurrentControlSet -> Control -> Class -> {4d36e968-e325-11ce-bfc1-08002be10318}
或者
计算机\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Class{4d36e968-e325-11ce-bfc1-08002be10318}
我这个是pve下的虚拟机,所以显卡就一个p100 直通的,编号是0001,实体机器可能不一样
在 tesla 卡下面(例如 0001): 修改:AdapterType,值从 2修改为 1。
修改:FeatureScore,值从 CF 修改为 D1。(十六进制,hex)
新增:GridLicensedFeatures,类型为 DWORD(32bit),值为 7。(强制开启 GRID 模式)
新增:EnableMsHybrid,类型为 DWORD(32bit),值为 1。
如果还有其他显卡 其他显卡的
EnableMsHybrid要改成 2
重启系统,搞定~
30b的模型也能跑跑了~
会飞的鱼