大模型服务内测,欢迎大家试用!
时间: 2025-03-25 来源:
华北电力大学高性能计算中心推出大语言模型平台服务,主要面向有集成大模型需求的用户提供API接口。平台现已在本地部署了两款大语言模型,校内访问网址:http://202.204.64.234/。服务界面使用OpenWebUI技术,用户使用前需注册,登录后可使用对话功能,同时可获取API 密钥用于接口开发。
两款模型分别为:
1、DeepSeek-R1-32B(模型id:deepseek-r1-32b),基于Transformer架构的320亿参数蒸馏模型,采用强化学习优化,擅长复杂逻辑推理与多领域知识问答。
2、QwQ-32B(模型id:qwq-32b),阿里巴巴Qwen团队开发的320亿参数推理模型,轻量化部署,在数学与编码任务中表现优异,支持低资源环境高效运行。
API调用指南:
申请API密钥:登录平台后,点击右上角头像,选择【设置】,选择【账号】,在此处即可创建您的API密钥。
调用示例:
import requests
def chat_with_model(token):
url = 'http:// 202.204.64.234/api/chat/completions'
headers = {
'Authorization': 'Bearer API-KEY',
'Content-Type': 'application/json'
}
data = {
"model": " qwq-32b ",
"messages": [
{
"role": "user",
"content": "Why is the sky blue?"
}
]
}
response = requests.post(url, headers=headers, data=data)
return response.json()
本平台还支持接入自己的知识库,更多高级使用方法详见openwebui官方api文档
链接:
https://docs.openwebui.com/getting-started/api-endpoints。
目前该服务处于试运行阶段,如有疑问或需求,可联系高性能计算中心获取帮助。高性能计算用户QQ群:557820642,办公电话:61772384。