长沙市委宣传部搜索引擎推广seo

使用conda 管理环境时加载大模型会遇到bitsandbytes无法识别cuda的情况：
此处windows系统：

pip install bitsandbytes-windows

linux 系统：
将bitsandbytes版本降低至0.39.0

pip install bitsandbytes==0.39.0