当前位置:首页 > 大杂烩 > 正文内容

查看每张显卡的总显存和已使用显存大小

高老师2个月前 (10-21)大杂烩44

执行命令如下:

nvidia-smi --query-gpu=index,name,memory.total,memory.used --format=csv,noheader,nounits

输出信息如下:

0, NVIDIA L20, 46068, 34071
1, NVIDIA L20, 46068, 22372
2, NVIDIA L20, 46068, 13
3, NVIDIA L20, 46068, 13
4, NVIDIA L20, 46068, 13
5, NVIDIA L20, 46068, 13
6, NVIDIA L20, 46068, 13
7, NVIDIA L20, 46068, 587

一眼看懂占用情况(单位 GiB)

表格
复制
GPU总容量已用剩余状态
045 GB33.3 GB≈ 11 GB高负载
145 GB21.8 GB≈ 23 GB中负载
245 GB0.01 GB≈ 45 GB✅ 完全空闲
345 GB0.01 GB≈ 45 GB✅ 完全空闲
445 GB0.01 GB≈ 45 GB✅ 完全空闲
545 GB0.01 GB≈ 45 GB✅ 完全空闲
645 GB0.01 GB≈ 45 GB✅ 完全空闲
745 GB0.6 GB≈ 44 GB✅ 几乎空闲

Ollama不支持多卡负载,很容易吃完单卡,建议用pytorch来加载

扫描二维码推送至手机访问。

版权声明:本文由高久峰个人博客发布,如需转载请注明出处。

本文链接:https://blog.20230611.cn/post/913.html

分享给朋友:

“查看每张显卡的总显存和已使用显存大小” 的相关文章

c#中string和StringBuilder效率对比

c#中string和StringBuilder效率对比

    c#中string和StringBuilder直接看看执行速度。(2).String类型累计赋值Test               ...

C# md5加密,C# md5加密代码

C# md5加密,C# md5加密代码

public static string GetMD5(string str) {     //创建MD5对象     MD5 md5 = MD5.C...

IE浏览器无法显示此页解决方案

IE浏览器无法显示此页解决方案

方案1.IE浏览器"无法显示此页"的解决办法(1).按下Win+R键打开运行,输入netsh winsock reset,回车;(2).重启即可. 方案2.IE浏览器"无法显示此页"的解决办法 (1).设置-连接-局域网设置-自动检测设置开...

IIS7.0无法加载CSS的处理办法

IIS7.0无法加载CSS的处理办法

首先网页全部是纯静态的文件,本地测试正常访问,服务器端无法加载CSS,并且无法查看CSS文件的内容。 解决方案:关闭网站的压缩->>静态压缩和动态压缩...

 vsftp 命令,vsftp常用操作命令

vsftp 命令,vsftp常用操作命令

vsftp常用操作命令:1.启动vsftp: service vsftpd start 2.重启vsftp: service vsftpd restart3.修改用户密码:passwd lao8org4.创建用户:useradd -d /data/wwwroot/blog -s /sbin...

redis所有key命令,redis key命令

redis所有key命令,redis key命令

1.设置key的value     set name gao2.获取key的value     get name3.删除key            del key1 key2 ... Keyn4.修...