exo

exo官网

在家使用日常设备搭建自己的AI集群。

exo简介

需求人群：

"目标受众为开发者和AI爱好者，他们希望利用家中的现有设备来构建和运行AI模型，无需昂贵的NVIDIA GPU。exo提供了一个实验性的平台，允许用户在多设备环境中探索和实现AI模型的分布式计算。"

使用场景示例：

使用iPhone和iPad构建一个AI集群来处理图像识别任务。

在家中的多台Linux设备上运行自然语言处理模型。

通过Mac和Android设备联合执行复杂的数据分析任务。

产品特色：

支持LLaMA等流行模型。

动态模型分割，根据网络拓扑和设备资源最优分配模型。

自动设备发现，无需手动配置。

提供与ChatGPT兼容的API，简化模型运行流程。

支持多种推理引擎，如MLX、tinygrad、llama.cpp。

支持多种网络模块，包括GRPC、Radio、Bluetooth。

使用教程：

1. 从源代码安装exo：进入exo目录，使用pip安装依赖。

2. 根据文档示例，在多个设备上运行exo。

3. 使用提供的API在应用程序中集成exo，实现模型的运行。

4. 通过访问设备上的8000端口来使用ChatGPT风格的Web界面。

5. 如果需要，可以通过修改代码来访问推理引擎。

6. 监控和参与社区，报告问题并贡献代码。

exo官网入口网址

https://github.com/exo-explore/exo/

小编发现exo网站非常受用户欢迎，请访问exo网址入口试用。