Yi-Coder 是一个开源的高性能代码语言模型,专为高效编程设计。它支持 52 种编程语言,尤其擅长需要长上下文理解的任务,例如项目级代码理解和生成。该模型目前提供两种大小(15亿 和 90亿 参数),并有基础版和聊天版可选。
本文将带你通过简单步骤,学习如何:
使用与 OpenAI 兼容的 API 在本地运行 Yi-coder 模型
配置 Cursor 编辑器,使用 Yi-Coder 模型作为私有 LLM 后端
Cursor 是当今最受欢迎的 AI 代码编辑器之一。通过集成 Yi-Coder-9B,你可以大幅提升其在代码生成与优化方面的表现。
要在本地运行 Yi-Coder-9B 并为 Cursor 提供支持,需遵循以下步骤。
Gaia 是一套轻量级、可移植的 LLM 推理工具,支持在多种环境下高效部署 Yi-Coder。Gaia 基于 WasmEdge(轻量级 WebAssembly 运行时),优化了无服务器部署与边缘计算的性能。
执行以下命令安装开源 Gaia 节点:
bash
curl -sSfL 'https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh' | bash
下载并初始化 Yi-Coder 模型:
bash
gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/yi-coder-9b-chat/config.json
启动 Gaia 节点:
bash
gaianet start
完成后,你将获得一个 HTTPS URL,形如:
https://NODE-ID.us.gaianet.network
此 URL 是你的公共 endpoint,可供 Cursor 等工具调用。同时可以在浏览器中访问 http://localhost:8080 来体验编程问答。
提示:Yi-Coder-9B 玩家机默认支持 8k 的上下文窗口。若你的设备拥有更大 GPU RAM(如 24GB),则可将上下文提升至 128k。这对大型代码库的处理特别有用。
Cursor 支持将自定义 LLM 后端作为其编码引擎。通过以下步骤快速完成功能配置:
在 Cursor 的设置中,用你的 Gaia 节点 URL 替换掉默认的 OpenAI URL。
修订模型名称和填入任意有效的 API 密钥。
完成设置后,你即可开始使用 Cursor,体验强大的 Yi-Coder 模型支持。
以下是一个用 Cursor 调用 Yi-Coder-9B 编写搜索页面的简单案例:
提示 Yi-Coder-9B 帮助生成 HTML 搜索表单。
修改按钮的文字说明。
观察模型对代码功能进行详细解释。
在实际操作中,Yi-Coder 提供了清晰的代码补全结果,生成的网页功能正常,极大地简化了开发工作。
WasmEdge 是一个轻量、高性能、可扩展的 WebAssembly 运行容器,目前为 CNCF 沙箱项目。它被广泛应用于SaaS、云原生应用、边缘计算、流数据处理,以及大语言模型(LLM)推理等领域。