项目简介
Open Generative AI 是一个 AI 媒体生成应用项目,不是资源清单。它将图像生成、视频生成、音频制作、口型同步和可视化工作流等功能整合到同一界面,并提供托管网页版、Electron 桌面端和源码开发方式。
项目使用 Next.js、React、Tailwind CSS 和 npm workspaces,通过 Muapi 接入云端模型。桌面端另提供 sd.cpp 与 Wan2GP 本地推理配置。仓库标注许可证为 MIT。
项目使用场景
适合希望用文字生成图像或视频、将已有图片制作成视频,以及用肖像或视频配合音频制作口型同步内容的创作者。
需要把图像、视频、音频处理串成多个步骤时,可以使用 Workflow Studio 的模板和节点编辑器。希望在自己的设备上运行部分模型时,可以考虑桌面端本地推理;具体条件取决于所选引擎和模型。
项目作用与解决的问题
项目通过统一界面组织不同媒体类型的模型和操作,减少分别处理模型入口、输入素材和参数的工作。Image Studio 与 Video Studio 会根据是否上传参考图或起始帧切换模型类别,并根据模型能力显示比例、分辨率或时长等选项。
Workflow Studio 提供模板、节点连接和交互式运行界面,用于组织多步骤生成任务。生成历史支持回看与下载,上传历史可保存参考图记录以便再次选择。
自托管应用仍可调用云端 API,不能据此认定素材始终留在本机。README 说明云端文件上传会返回托管地址;托管网页版始终使用云端 API,本地推理仅在桌面端提供。所给资料不足以确认实际 API 费用、额度或服务可用性。
项目使用方法
1. 从页面下方原始仓库找到托管网页版入口,或按下一节准备桌面应用。使用托管版时,按页面提示注册账号;自行运行应用并使用云端模型时,首次使用按提示填写 Muapi API 密钥的实际值,不要填写密钥名称。仅使用本地模型时可跳过密钥。
2. 生成图像时,进入 Image Studio。没有参考图时输入文字提示;上传参考图后,界面切换到图像编辑模型。选择模型,并设置该模型支持的参数后生成。
3. 生成视频时,进入 Video Studio。输入文字提示可使用文生视频模型;上传起始帧后可选择图生视频模型,再设置可用的比例、时长等参数并生成。
4. 制作口型同步内容时,进入 Lip Sync Studio,选择肖像图片或视频模式,上传对应素材和音频。可按需要填写动作提示,再选择模型及其支持的分辨率,点击 Generate。
5. 组织多步骤任务时,进入 Workflow Studio,选择已有模板,或使用节点编辑器连接模型与输出,再在 Playground 中填写输入并运行。
6. 使用桌面端本地图像模型时,打开 Settings → Local Models,安装 sd.cpp 引擎并下载所选模型;Z-Image 还需要相应辅助文件。随后进入 Image Studio,启用 Local 并选择本地模型。README 建议 Z-Image 使用 16 GB 内存,并提醒 8 GB M 系列 Mac 使用该模型可能导致系统卡住。
7. 如需通过 Wan2GP 运行本地视频模型,先按其原始仓库完成单独安装,再在 Settings → Local Models → Wan2GP 中设置安装文件夹,点击 Save 和 Check。随后在 Video Studio 启用 Local 并选择模型。Wan2GP 运行机器需要 CUDA 或 ROCm GPU;本项目不附带其 Python 环境与模型权重。
项目安装方法
1. 普通使用者可从页面下方原始仓库的 Releases 下载入口选择桌面安装文件。README 列出了 macOS Apple Silicon、macOS Intel、Windows x64,以及 Ubuntu x64 的 AppImage 和 DEB 文件。预构建桌面安装方式不需要 Node.js;这些安装包在本次资料处理中未经过下载或运行验证。
2. macOS 的基础安装步骤是打开 DMG,将应用拖入 `/Applications`。Windows 的说明称安装后会在开始菜单创建快捷方式。README 说明 macOS 应用未经 Apple 公证、Windows 安装程序未进行代码签名;若系统阻止运行,应先核对来源和系统提示,本文不提供关闭或绕过系统保护的步骤。
3. 从源码运行时,先准备 Node.js v18 或更高版本。云端生成还需要 Muapi 访问密钥;仅使用本地模型时可跳过密钥。所给 Quick Start 未单独说明 Git 和 npm 的安装方法,缺少这些工具时应查阅原始仓库及对应工具文档。
4. 从页面下方原始仓库获取克隆地址,克隆时启用 `--recurse-submodules`。进入项目目录:`cd Open-Generative-AI`。若此前克隆时未包含子模块,执行 `git submodule update --init --recursive`。
5. 在项目根目录执行 `npm run setup`,安装依赖并构建工作区包。README 明确说明,仅执行 `npm install` 不足以完成准备。
6. 按目标选择一个启动命令:桌面开发模式使用 `npm run electron:dev`;网页开发模式使用 `npm run dev`。命令应在项目根目录运行。
7. 如需生产模式构建,依次执行 `npm run build` 和 `npm run start`。如需构建桌面安装文件,可按目标使用 `npm run electron:build`、`npm run electron:build:win` 或 `npm run electron:build:linux`;输出位于 `release/`。README 未在所给内容中完整列出跨平台打包所需条件,应继续查阅原始仓库。
8. 本次仅收录仓库链接,未验证安装包、源码启动或核心生成流程;上述步骤是对 README 的整理,不代表安装或运行已通过验证。