关于AutoDL平台系统内盘不足支撑起模型文件大小的解决方法

[LuoFanA595]

众所周知AutoDL平台的系统盘不可以选择扩容，然初次train需要transformers库预下载书生LLM至.cache缓存文件下，然.cache文件目录在系统盘上，所以LLM文件过大导致系统盘不足，从而导致模型下载中断报错。解决方法如下：

1. 删除缓存文件
   执行命令：rm -rf ~/.cache

2. 将数据盘文件夹路径与系统盘上.cache文件建立软连接（这样就可以将数据盘路径/root/autodl-tmp下的内容引入到~/.cache中，从而更好地管理缓存文件，模型文件则会下载至/root/autodl-tmp路径下）
   执行命令：ln -s /root/autodl-tmp ~/.cache

3. 验证软连接是否成功（如未出现以下内容则重新操作步骤1、2）
   依次执行命令：cd ~ 和 ll 有如下显示则说明软连接建立成功
   .cache -> /root/autodl-tmp/

4. 以上操作结束后就可以开始train
   xtuner train internlm_20b_qlora_oasst1_512_e3

[JiahuaPei]

有的时候是miniconda环境太大，复制粘贴下面的代码就能解决问题。把环境迁移到tmp盘中并创建链接。
mv /root/miniconda3 /root/autodl-tmp/miniconda3
ln -s /root/autodl-tmp/miniconda3 /root/miniconda3
下面这个网站的方法(直接迁移，不做链接)日常使用很不错，但是在autodl中迁移会导致jupyter lab打不开，直接坏死。
https://blog.csdn.net/2301_77554343/article/details/136505516#:~:text=%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95%EF%BC%9A%201.%E9%A6%96%E5%85%88%E5%81%9C%E6%AD%A2%E6%89%80%E6%9C%89%E4%B8%8Eminiconda%E7%9B%B8%E5%85%B3%E8%BF%9B%E7%A8%8B%20conda%20deactivate%202.%E7%A7%BB%E5%8A%A8miniconda%E5%88%B0%E6%96%B0%E7%9A%84%E7%9B%AE%E5%BD%95%20%28%E6%88%91%E6%98%AF%E5%B0%86%20%2Froot%20%E4%B8%8B%E7%9A%84miniconda%E7%A7%BB%E5%88%B0,%E4%B8%8B%E4%BA%86%29%20mv%20%2Froot%2Fminiconda3%20%2Fdata1%2F%203.%E4%BF%AE%E6%94%B9%20%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%20%28nano%20~%2F.bashrc%E9%83%BD%E8%A1%8C%29

[KQDtianxiaK]

我miniconda 20G，要是往数据盘移还得扩容😓

[JiahuaPei]

没办法，稍微复杂一点的实验就要超大的环境。我是把数据集分块存储到不同的实例去做实验的，这样刚好卡到扩容以下。

[ucasyjz]

但我的tmp明明空间好多，还是提示这个没空间存权重，这是啥情况

[KQDtianxiaK]

但我的tmp明明空间好多，还是提示这个没空间存权重，这是啥情况
AutoDL控制台显示空很多，是不是权重太大了一次性保存不了？建议通过xftp删除文件，比较直接，还可以清理tmp下的回收站.Trash-0文件夹