前言

随着AI大模型技术快速发展，越来越多的应用开始接入人工智能能力，例如智能助手、知识库、自动化工具、AI编程等。

不过，目前主流大模型API普遍存在调用成本较高、接口管理复杂、不同模型需要多个平台切换等问题。对于喜欢折腾的小伙伴来说，拥有一个统一管理、方便调用的AI接口服务显得非常有必要。

今天给大家介绍一个开源项目 FreeLLMAPI，它可以帮助我们快速搭建一个属于自己的大模型API服务平台，通过简单部署即可提供统一的LLM接口访问能力，方便各种AI应用进行调用。

本文将详细介绍如何在VPS服务器上使用Docker部署FreeLLMAPI，实现自己的AI大模型API接口服务，并体验多种免费可用模型的调用方式。

无论是用于个人学习、AI工具开发，还是搭建自己的AI应用后端，这个项目都非常值得尝试。

项目图示

主界面

模型提供商

配合Cherry Studio使用

测试正常

项目简介

FreeLLMAPI
一个兼容 OpenAI 的端点。18 个免费的 LLM 提供商。161 个免费模型。月享 17 亿 Token。

将来自 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai (Zhipu)、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints、OpenCode Zen 和 AI Horde 的免费层级，以及自定义的 OpenAI 兼容聊天、嵌入、图像和音频端点，整合到一个统一的/v1API 中。密钥以加密形式存储。路由器会为每个请求选择最佳可用模型，当某个提供商的速率受到限制时，会自动切换到下一个提供商，并跟踪每个密钥的使用情况，确保您不会超过任何免费层级的上限。

✨ 功能特性

FreeLLMAPI 核心特性总结

FreeLLMAPI 是一个兼容 OpenAI API 标准的 AI 模型聚合网关，支持多种大模型接口协议，可将多个免费或自定义模型资源统一管理，并提供稳定、高兼容性的 API 服务。

🚀 多协议 API 兼容

OpenAI API 完全兼容
- 支持：
  - /v1/chat/completions
  - /v1/models
- 兼容官方 OpenAI SDK 以及：
  - LangChain
  - LlamaIndex
  - Continue
  - Hermes 等 OpenAI 兼容客户端
- 只需修改 base_url 即可接入。
OpenAI Responses API 支持
- 支持：
  - /v1/responses
- 兼容新版 Codex CLI 所需的数据格式。
- 支持：
  - 流式响应
  - 工具调用
Anthropic Claude API 支持
- 支持：
  - /v1/messages
  - /v1/messages/count_tokens
- 兼容：
  - Claude Code
  - Anthropic 官方 SDK
- 支持 Claude 模型自动映射。

部署方法

使用Docker安装

本教程使用docker的方式安装部署,简单便捷
164b6ac419e23bc5390dc46601a202bf

准备条件

1）一台服务器

我们使用莱卡云VPS来演示
由于网络的原因VPS需要选择美国，日本，韩国等或者其他境外支持各种大模型的国家的VPS,香港测试好多都不支持
需要vps的可以看以下信息配置,可以参考以下资源占用情况
莱卡云官网
本期docker容器占用资源情况如下仅供参考不到50M

2）本教程使用到的项目

本教程使用的官方github地址
https://github.com/tashfeenahmed/freellmapi

目前有15.8K stars

3）域名(可选)

根据自己的需求,web管理界面建议绑定域名

VPS部署

一、Docker环境部署

在vps安装docker和docker-compose
Docker官方安装文档（英文）
https://duan.yyzq.eu.org/docker-001
Docker-Compose官方安装文档（英文)
https://duan.yyzq.eu.org/docker-002
Centos安装Docker和Docker-compose（中文）
https://duan.yyzq.eu.org//03
Ubuntu安装Docker和Docker-compose（中文）
https://duan.yyzq.eu.org//04

推荐直接用一键脚本

docker安装脚本

bash <(curl -sSL https://cdn.jsdelivr.net/gh/SuperManito/LinuxMirrors@main/DockerInstallation.sh)

docker-compose安装脚本

curl -L "https://github.com/docker/compose/releases/latest/download/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose && chmod +x /usr/local/bin/docker-compose

二、部署命令

登录服务器使用root账户执行以下步骤

docker-compose命令

mkdir  freellmapi ;cd freellmapi

请自行安装vim编辑器
然后再新建docker-compose.yml

vim docker-compose.yml

services:  # 定义 Docker Compose 服务
  freellmapi:  # FreeLLMAPI 服务名称
    image: ghcr.io/tashfeenahmed/freellmapi:latest  # 使用 FreeLLMAPI 最新版 Docker 镜像
    environment:  # 环境变量配置
      NODE_ENV: production  # 设置 Node.js 运行环境为生产模式
      PORT: 3001  # 设置 FreeLLMAPI 服务端口
      ENCRYPTION_KEY: 64627fce7181bbca11b1718c1b431de10ec0235c13d31e07aa1255371b4153fe  # API密钥加密KEY，生产环境建议自行修改
    ports:  # 端口映射配置
      - "0.0.0.0:3001:3001"  # 将宿主机3001端口映射到容器3001端口，允许所有IP访问
    volumes:  # 数据持久化配置
      - freellmapi-data:/app/server/data  # 将Docker数据卷挂载到容器数据目录
    restart: always  # 容器退出后自动重启
    healthcheck:  # 容器健康检查配置
      test:  # 健康检查执行命令
        [
          "CMD",  # 使用CMD方式执行检测
          "node",  # 使用Node.js运行检测脚本
          "-e",  # 执行后面的JavaScript代码
          "fetch('http://127.0.0.1:3001/api/ping').then((res) => { if (!res.ok) process.exit(1); }).catch(() => process.exit(1));"  # 请求健康检查接口，失败则返回异常状态
        ]
      interval: 30s  # 每30秒执行一次健康检查
      timeout: 5s  # 健康检查超时时间为5秒
      start_period: 15s  # 容器启动15秒后开始健康检查
      retries: 3  # 连续失败3次后标记容器异常
volumes:  # 定义Docker数据卷
  freellmapi-data:  # 创建名为freellmapi-data的数据卷，用于保存持久化数据

注意端口如有冲突自行修改

三、执行容器运行命令

docker-compose up -d #运行容器

docker-compose ps  #查看是否启动成功

正常启动如下所示

docker-compose ps
NAME                      IMAGE                                     COMMAND                  SERVICE      CREATED          STATUS                    PORTS
freellmapi-freellmapi-1   ghcr.io/tashfeenahmed/freellmapi:latest   "docker-entrypoint.s…"   freellmapi   45 minutes ago   Up 45 minutes (healthy)   0.0.0.0:3001->3001/tcp