Mac mini 2024运行ComfyUI和Stable Diffusion
✨ AI摘要：本文介绍了如何在Mac mini 2024上运行ComfyUI和Stable Diffusion 3.5。首先，作者对Mac的统一内存架构表示兴趣，并详细描述了环境部署步骤，包括安装Homebrew、Anaconda和Git，创建虚拟环境等。接着，介绍了ComfyUI的安装和Stable Diffusion模型的下载过程，最后展示了如何调整工作流并运行生成图像。尽管内存为16GB，使用Swap交换分区使得模型运行成为可能，生成时间约为60-100秒。
Powered by SparkU AI Platform
前言
现如今大部分的AI绘画创作工作流基于NVIDIA的硬件解决方案，而近期作者购入了新款Mac mini 2024（M4）机器，正好对Mac的统一内存架构（UMA）感兴趣，因为在其它NVIDIA硬件上主要利用的设备的显存来进行数据处理，而UMA将显存和内存合二为一，那么意味着我可以使用其运行一些对显存要求较高的模型，经过对比和研究故决定在这台Mac mini上进行尝试。
环境部署
设备信息
型号：Mac mini 2024
处理器：M4（10核）
内存：16GB
系统：macOS 15.1
可用硬盘空间：大于50GB
基础环境部署
- Homebrew：官方安装指南：https://brew.sh/
Anaconda：官方下载地址：https://www.anaconda.com/download/success
请注意下载Apple Slicon版本，也就是arm64版本
- Git：安装完Anaconda后在终端内执行
brew install git 创建Conda虚拟环境：
conda create -n sd-env python=3.10请自行准备好一个文件夹作为我们的工作目录，路径不要含有中文。创建虚拟环境可以自定义你的虚拟环境名称，修改sd-env这一项即可，python版本固定为3.10，以防止出现部分依赖包不兼容的情况
切换至创建的虚拟环境：
conda activate sd-env如果你在前面修改了你的虚拟环境名称，请在这里替换为你的虚拟环境名称。在后续的终端操作请确保你在之前创建的工作目录以及使用已经创建的虚拟环境，防止依赖丢失和文件管理混乱
ComfyUI安装 / 启动
在之前打开的终端内使用cd命令切换到你的工作目录文件夹，我们通过Git拉取最新的ComfyUI项目代码
git clone https://github.com/comfyanonymous/ComfyUI.git使用cd命令进入ComfyUI目录，安装依赖
pip install -r requirements.txt如果下载缓慢请替换Conda和Pip的镜像源，建议使用清华开源镜像站提供的镜像源
Conda修改镜像源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
Pip修改镜像源：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
修改完成后重新安装依赖即可
尝试启动
python main.py启动成功后浏览器打开
http://127.0.0.1:8188/即可看到ComfyUI工作流页面但是目前无法使用因为还没有部署模型，我们在下一部分开始部署Stable Diffusion 3.5模型
模型下载
由于我的Mac mini只有16GB的内存，所以我选择的SD模型为stable-diffusion-3.5-medium模型，如果你的Mac拥有更多的内存可尝试使用Large系列模型安装HuggingFace cli工具
pip install -U huggingface_hub使用cd指令切换至该目录
ComfyUI/models/checkpoints，使用HuggingFace cli工具下载模型如果你要使用其它模型，请修改命令中的模型信息部分
下载过程可能需要Token验证，请将token参数后的
hf_开头部分的token替换为你的tokenToken获取地址：https://huggingface.co/settings/tokens
创建Token时请根据实际需求选择权限，如果不知道怎么选择请参考官网文档或者全部选择，后续删除即可
huggingface-cli download --token hf_yourtoken --resume-download stabilityai/stable-diffusion-3.5-medium --local-dir stable-diffusion-3.5-medium下载时间可能会比较长而且文件较大，请确保你的磁盘拥有足够的空间
如果下载缓慢可以尝试使用国内的HF-Mirror项目来加速下载：https://hf-mirror.com/
若下载失败可终止操作重新下载即可，下载过程具有断点续传功能
下载完成后的目录结构应该如图所示
移动Clip模型至
clip文件夹，将模型文件夹text_encoders内的文件复制到和checkpoints同级的clip文件夹内，移动完成后的目录结构应该如图所示
移动完成我们回到网页的ComfyUI工作流网页中进行下一步操作
工作流调整
打开UI后应该能看到一个默认的项目文件，我们在空白处右键，依次选择Add Node -> advanced -> loaders -> TripleCLIPLoader
创建完成后选择我们之前添加的clip，前面两个cliip加载器按图选择即可，第三个加载器这里根据我的内存大小选择了fp8参数的模型，然后将clip端点和后面的提示词和反向提示词的clip端点连接起来，如图所示连接即可。完成后在上面的ckpt_name中选择sd3.5_medium.safetensors模型即可。
运行
在上面的模型选择好和端点连接完成后，点击页面右下角的Queue运行即可，这个时候你可以关注系统的占用和终端进度，按照我的提示词以及其它参数保持默认，平均一张图的生成时间为60-100秒左右，进程内存占用最高为16GB左右
你可以在这里使用我的提示词进行生成测试，其它参数保持默认即可，生成过程可以通过终端查看进度
提示词
A young woman in cyberpunk attire, standing in a futuristic urban landscape, daytime setting with neon accents reflecting on glass buildings, intricate network cables and holographic projections in the background, surrounded by a busy technological environment, glowing cityscape, sleek and modern design, detailed character design, futuristic hairstyle, vibrant colors, ultra-realistic rendering.反向提示词
blurry, low resolution, poor anatomy, deformed body, extra limbs, overexposed, too dark, cartoonish, low-quality textures之所以16GB内存的机器能运行内存占用16GB以上的进程主要使用了Swap交换分区，在macOS的活动监视器内可以看见已使用的交换空间高达8GB之多，如果你的机器内存在24GB或者更高说不定能提升生成性能和降低资源占用
参考 / 引用
- https://blog.comfy.org/sd3-5-comfyui/
- https://github.com/comfyanonymous/ComfyUI/issues/5388
- https://hf-mirror.com/
- https://huggingface.co/stabilityai/stable-diffusion-3.5-medium
- https://blog.csdn.net/SJJS_1/article/details/143356893
真好呢