FenixBOS
大模型OS平台
平台能够实现异构环境中的大模型一键部署、微调、发布、调度与监控。降低企业使用大模型的技术门槛和运维复杂性，企业只需要聚焦使用场景，不需要关注大模型本身。提供大模型一站式开发与运维能力，降低应用落地门槛。
核心功能
多元异构算力统一调度
统一纳管英伟达、昇腾等多元算力，实现异构资源池化与PD分离，支持动态调度与优先级策略，按需分配。
模型全生命周期管理
模型全流程MaaS化管理，支持热加载、多版本与GPU隔离。集成多推理引擎，开箱即用。
支持主流引擎与模型
广泛集成VLLM等高性能引擎与Langchain等主流框架。内置100+前沿模型，全面满足文本等各类AI应用需求。
模型精细化运营运维
实时监控模型实例、GPU使用率、Token消耗等关键指标，通过可视化的算力运营与分析，降低管理复杂度和成本。
交互流程
引擎处理
引擎批量接收用户请求，生成响应的回复，负责生成过程中的各种优化技术。引擎侧重于KV Cache、批处理和特定模型优化。
客户端调度
客户端负责接收用户请求，调度不同引擎和计算硬件进行计算返回。
服务端管理
服务端侧重于排队、多模型服务、多引擎支持、管理监控。
使用对象
- 使用大模型技术的企业 IT部门
- 尤其适配传统制造型企业
解决问题
- 部署与运维复杂度高
- 模型定制与微调技术难度
- 数据安全与合规性要求高