大模型服务内测,欢迎大家试用!

华北电力大学高性能计算中心推出大语言模型平台服务,主要面向有集成大模型需求的用户提供API接口。平台现已在本地部署了两款大语言模型,校内访问网址:http://202.204.64.234/。服务界面使用OpenWebUI技术,用户使用前需注册,登录后可使用对话功能,同时可获取API 密钥用于接口开发。

两款模型分别为:

1、DeepSeek-R1-32B(模型id:deepseek-r1-32b),基于Transformer架构的320亿参数蒸馏模型,采用强化学习优化,擅长复杂逻辑推理与多领域知识问答。

2、QwQ-32B(模型id:qwq-32b),阿里巴巴Qwen团队开发的320亿参数推理模型,轻量化部署,在数学与编码任务中表现优异,支持低资源环境高效运行。

API调用指南:

申请API密钥:登录平台后,点击右上角头像,选择【设置】,选择【账号】,在此处即可创建您的API密钥。

调用示例:

import requests

def chat_with_model(token):

url = 'http:// 202.204.64.234/api/chat/completions'

headers = {

'Authorization': 'Bearer API-KEY',

'Content-Type': 'application/json'

}

data = {

"model": " qwq-32b ",

"messages": [

{

"role": "user",

"content": "Why is the sky blue?"

}

]

}

response = requests.post(url, headers=headers, data=data)

return response.json()

本平台还支持接入自己的知识库,更多高级使用方法详见openwebui官方api文档

链接:

https://docs.openwebui.com/getting-started/api-endpoints。

目前该服务处于试运行阶段,如有疑问或需求,可联系高性能计算中心获取帮助。高性能计算用户QQ群:557820642,办公电话:61772384。