对于产品发布来说,最合适的环境配置方式是使用docker,产品和环境可以一起发布,用户会得到最好的使用体验。jetson orin nano super 的AI docker环境配置有两个难点:

(1)CPU是arm架构 (2)super要使用jetpack 6.2[L4T 36.4.3]版本,因为版本太新,这个版本很多开源项目还没有发布对应的docker image,大部分的docker image都是基于jetpack 5.x构建的。

下面介绍一下我自己使用的包含pytorch和tensorrt(C++、python)等常用组件的docker image。

系统设置

check一下在jetosn orin nano super上安装的是JetPack 6。可以通过jtop工具来查看自己安装的jetpack版本。

下载jetson-containers工具

jetson-containers可以通过模块化的方式来自动构建image,但是jetson-containers也有构建好的包含所有我们使用组件的image,我们用的就是他们构建好的image。

安装脚本会提示您输入sudo密码,并会安装一些Python依赖项,并通过在/usr/local/bin下建立链接的方式将诸如autotag之类的工具添加到$PATH中(如果您移动了jetson-containers存储库,请再次运行此步骤)。

修改Docker默认运行时为nvidia

这一步建议做,不然每次启动container时,都要加上--runtime=nvidia,例如下面的启动指令,就要加上--runtime。

sudo docker run --runtime nvidia --gpus all --net host --ipc host -it --name pytorch_ngc_v2 -v /home:/home nvcr.io/nvidia/pytorch:25.01-py3-igpu

重新定位Docker数据根目录

这一步如果jetson设备已经额外安装了硬盘,就一般不需要做了。或者自己的docker安装位置分区足够,也不需要做。

容器可能会占用大量磁盘空间。如果有可用的外部存储,建议将Docker容器缓存重新定位到更大的驱动器上(如果可能的话,NVME是首选)。如果尚未格式化,请将驱动器格式化为ext4格式,并使其在启动时挂载(即应在/etc/fstab中)。如果在Docker守护进程启动之前,驱动器在启动时未自动挂载,那么Docker将无法使用该目录。

点击jetson orin nano super AI模型部署之路(二)保姆级最好用AI环境配置阅读全文

更多推荐