用旧手机搭建 AI 集群

发布于 作者:

你是否曾想过，将家中闲置的 iPhone、安卓手机、iPad 甚至笔记本电脑“变废为宝”，组成一个强大的 AI 集群，运行类似 DeepSeek 的大型语言模型？开源项目 Exo 就是做这个事情的，无需昂贵的 NVIDIA 显卡，只需几台日常设备，即可构建分布式 AI 计算网络，轻松玩转 Deepseek、LLaMA、Mistral 等前沿模型。  

Exo是什么？Exo 是由 exo labs 团队开发的开源项目，目标是通过动态模型分区和自动设备发现技术，将异构设备（如手机、平板、电脑）整合成分布式 AI 集群，支持运行超出单设备能力的大型语言模型。其核心特点包括：  1. 低成本：无需专业 GPU，利用现有设备的算力即可运行模型。  2. 动态分区：根据设备内存和网络拓扑，自动划分模型层数到不同设备，优化资源利用率。  3. 去中心化：采用 P2P 架构，避免传统主从模式下的单点故障问题，所有设备平等参与计算。  4. 易用性：提供 ChatGPT 兼容的 API 和 WebUI，用户可通过简单命令或接口与模型交互。  

五大亮点功能1. 广泛的模型支持Exo 支持 LLaMA、Mistral、LlaVA、Qwen、Deepseek 等多种主流模型，用户可根据需求灵活选择。例如，使用`exo run llama-3.2-3b`即可在单设备上启动 LLaMA 模型，或通过多设备集群运行更大规模的70B参数模型。  2. 自动设备发现与动态分区只需在每台设备上运行`exo`命令，系统会自动发现并连接其他设备，无需手动配置网络。Exo 默认采用环形内存加权分区策略，根据设备内存比例分配模型层数，实现高效推理。  3. 开发者友好  

  • API集成：通过 `http://localhost:52415` 提供的 ChatGPT 兼容 API，用户可直接用 curl 发送请求，轻松集成到现有应用中。  
  • 调试工具：支持环境变量调试（如`DEBUG=9 exo`）和日志分析，方便开发者排查问题。  

4. 跨平台兼容性Exo支持 iOS、Android、Mac、Linux 等多种系统，甚至可通过蓝牙或无线网络连接设备。不过需注意，iOS 版本因 Python 兼容性问题暂未公开发布，需联系团队申请测试权限。 

开源地址：https://github.com/exo-explore/exo