操作系统

ubuntu 24.04

下载官方镜像安装

安装nvida相关驱动

dify 部署

注意docker 安装目录，如果磁盘空间不足请修改安装位置

docker-compose方式

使用最新版yaml文件部署，按官方流程部署
docker地址

配置Xinference

Xinference 部署

由于模型文件较大，请保证磁盘空间大于100G以上。

docker-compose方式

默认安装，dify无法调用需要修改两处

1. 进入容器安装ffmepg
2. 根据需要修改配置，只有修改为True，dify才能调用 /opt/inference/xinference/model/audio/cosyvoice.py kwargs = {“use_flow_cache”: self._kwargs.get(“use_flow_cache”, {True-dify可以调用；False-webui可以调用})}

services:
  # xinference service
  xinference:
    image: xprobe/xinference:v1.6.0.post1
    restart: always
    environment:
      XINFERENCE_MODEL_SRC: modelscope
      XINFERENCE_ENABLE_VIRTUAL_ENV: 1
    volumes:
      # Mount the storage directory to the container, for storing user files.
      - /mnt/diske/Xinference/.cache/modelscope:/root/.cache/modelscope
      - /mnt/diske/Xinference/.xinference:/root/.xinference
    ports:
      - "9998:9997"
    command: xinference-local -H 0.0.0.0
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
              driver: nvidia
              count: all

参考

dify github
xinference官网