当前位置:首页 > 大杂烩 > 正文内容

查看每张显卡的总显存和已使用显存大小

高老师10个月前 (10-21)大杂烩262

执行命令如下:

nvidia-smi --query-gpu=index,name,memory.total,memory.used --format=csv,noheader,nounits

输出信息如下:

0, NVIDIA L20, 46068, 34071
1, NVIDIA L20, 46068, 22372
2, NVIDIA L20, 46068, 13
3, NVIDIA L20, 46068, 13
4, NVIDIA L20, 46068, 13
5, NVIDIA L20, 46068, 13
6, NVIDIA L20, 46068, 13
7, NVIDIA L20, 46068, 587

一眼看懂占用情况(单位 GiB)

表格
复制
GPU总容量已用剩余状态
045 GB33.3 GB≈ 11 GB高负载
145 GB21.8 GB≈ 23 GB中负载
245 GB0.01 GB≈ 45 GB✅ 完全空闲
345 GB0.01 GB≈ 45 GB✅ 完全空闲
445 GB0.01 GB≈ 45 GB✅ 完全空闲
545 GB0.01 GB≈ 45 GB✅ 完全空闲
645 GB0.01 GB≈ 45 GB✅ 完全空闲
745 GB0.6 GB≈ 44 GB✅ 几乎空闲

Ollama不支持多卡负载,很容易吃完单卡,建议用pytorch来加载

扫描二维码推送至手机访问。

版权声明:本文由高久峰个人博客发布,如需转载请注明出处。

本文链接:https://blog.20230611.cn/post/913.html

分享给朋友:

“查看每张显卡的总显存和已使用显存大小” 的相关文章

svn自动更新到网站

svn自动更新到网站

【一】.钩子文件的设置和创建(1).打开hooks目录,可以看到有一个post-commit.tmpl文件,这是一个模板文件。复制一份,重命名为post-commit,将其用户组设为www,并设置为可执行。chown www:www post-commitchmod +x post-commit(2...

Git本地仓库学习

Git本地仓库学习

1.全局用户信息设置 git  config  --global  user.name  gaojiufeng git  config  --global  user.email  392223903...

Application的错误使用

Application的错误使用

Application 对象用于存储和访问来自任意页面的变量,类似 Session 对象。不同之处在于所有的用户分享一个 Application 对象,而 session 对象和用户的关系是一一对应的。很多的书籍中介绍的Application对象都喜欢以统计在线人数来介绍Application 对象...

C# md5加密,C# md5加密代码

C# md5加密,C# md5加密代码

public static string GetMD5(string str) {     //创建MD5对象     MD5 md5 = MD5.C...

c#中文简体转换繁体

c#中文简体转换繁体

private const string fantizi = "高久峰是個程序員"; private const string jiantizi = "高久峰是个程序员...

IIS7.0无法加载CSS的处理办法

IIS7.0无法加载CSS的处理办法

首先网页全部是纯静态的文件,本地测试正常访问,服务器端无法加载CSS,并且无法查看CSS文件的内容。 解决方案:关闭网站的压缩->>静态压缩和动态压缩...