服务说明

简介

该文档用于描述大模型目前应用在业务上使用到的服务，在线接口文档账号密码为：admin osmagic，文档地址均为开发环境样例

产品部署模式

k8s集群部署（至少一台带高显存显卡机器）

通过集群部署大模型管理服务、大模型推理服务、大模型插件服务、平台公共服务

部署最低配置（基于betaV2）

CPU 32核 参考（Intel(R) Xeon(R) Platinum 8369B CPU @ 2.90GHz）

内存 64G

显卡 NVIDIA A10 24G （单卡同时服务4人）

硬盘 4T以上，根据业务存储量制定

大模型管理服务

• 功能描述：客户端用户对话等业务实现，管理端会话管理、通道能力管理、知识库管理等业务实现
• 接口在线文档：http://10.10.8.3:32100/large-model/doc.html
• k8s部署应用名称：java-large-model（后端） web-large-model-web（客户端前端） web-large-model-admin-web（管理端前端）

大模型推理服务

• 功能描述：实现各类模型服务、如文本对话、图文对话、特征提取
• k8s部署应用名称：research-uran-mm-server（多模态大模型） research-embedding-server（文本特征提取） research-lm-gateway-server（模型网关）

大模型插件服务

• 功能描述：实现各类AI业务，如BI、知识问答。
• k8s部署应用名称：research-data-vista-plugin-server（BI报表） research-report-creator-plugin-server（BI报告） research-document-store-server（知识库管理） research-knowledge-chat-server（知识库问答） research-retrieval-gpt-server（知识库检索） research-text-task-dispatcher-server（任务助手）

平台公共服务

一些通用业务目前直接共用AI平台公共底层服务实现

文件存储服务

• 功能描述：用于存储和管理图片、文档等实体文件的基础业务服务
• 接口在线文档：http://10.10.8.3:30600/storage/doc.html
• k8s部署应用名称：java-storage（后端） web-storage-web（文件管理前端）

访问控制服务

• 功能描述：实现账号管理用户鉴权体系业务，注意：该服务版本是中台老版本，不支持租户、组织等业务
• 接口文档：http://10.10.8.3:30400/access/doc.html
• k8s部署应用名称：java-storage（后端） web-storage-web（账号管理前端） web-sso-web（统一登录授权页面目前已未使用）

媒体服务

• 功能描述：用于设备、通道等视频设备接入，注意：该服务还依赖阿启视相关服务，且该服务在宜宾城市大脑0.9.9上做的二次开发后续计划替换最新功能组件中的流媒体
• 接口在线文档：http://10.10.8.3:30801/media/doc.html
• k8s部署应用名称：java-media（后端）