网站建设 服务承诺上海网站推广服务

一、部署环境准备 🛠️

1. 硬件配置

• 显卡：NVIDIA RTX 4090（24GB显存）
• 服务器：AutoDL云端服务器（Ubuntu 22.04）

2. 软件环境

确保你的基础配置为如下：

# 基础镜像
ubuntu 22.04
python 3.12
cuda 12.1
pytorch 2.3.0

3. 依赖安装

# 换源加速
python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple# 安装核心库
pip install modelscope==1.22.3 openai==1.61.0 tqdm==4.67.1 transformers==4.48.2 vllm==0.7.1 streamlit==1.41.1

二、模型下载与加载 📥

1. 模型选择

• 模型名称：Qwen/QwQ-32B-AWQ（4bit量化版）
• 模型大小：约12GB（原始32B模型体积的37.5%）

2. 下载脚本

# model_download.py
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/QwQ-32B-AWQ',cache_dir='/root/autodl-tmp',revision='master'
)

3. 执行下载

python model_download.py

三、vLLM推理部署 🔄

1. 基础推理测试

# vllm_model.py
from vllm import LLM, SamplingParams
import osos.environ['VLLM_USE_MODELSCOPE'] = 'True'def get_completion(prompts, model, max_tokens=8192, temperature=0.6, top_p=0.95):sampling_params = SamplingParams(temperature=temperature,top_p=top_p,max_tokens=max_tokens,stop_token_ids=[151329, 151336, 151338])llm = LLM(model=model, max_model_len=2048, trust_remote_code=True)return llm.generate(prompts, sampling_params)if __name__ == "__main__":model_path = '/root/autodl-tmp/Qwen/QwQ-32B-AWQ'outputs = get_completion(["9.11与9.9哪个更大"],model=model_path,max_tokens=8192)print(outputs[0].outputs[0].text)

2. 性能表现

• 推理时间：21.39秒
• 显存占用：约19GB
• 生成质量：完整数学推理过程+LaTeX格式答案

四、OpenAI API服务搭建 🌐

1. 启动服务

python -m vllm.entrypoints.openai.api_server \--model /root/autodl-tmp/Qwen/QwQ-32B-AWQ \--served-model-name QwQ-32B \--max-model-len=4096

2. 接口测试

# 测试Completions接口
curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "QwQ-32B","prompt": "10的阶乘是多少？</think>\n","max_tokens": 1024}'

3. Python调用示例

# vllm_openai_completions.py
from openai import OpenAIclient = OpenAI(base_url="http://localhost:8000/v1")response = client.chat.completions.create(model="QwQ-32B",messages=[{"role": "user", "content": "10的阶乘是多少？</think>\n"}]
)print(response.choices[0].message.content)

五、Web交互界面开发 🖥️

1. 代码实现

# app.py
import streamlit as st
import requests
import rest.title("💬 QwQ-32B Chatbot")
st.caption("Powered by vLLM & Streamlit")max_length = st.slider("Max Tokens", 0, 2048, 1024)if "messages" not in st.session_state:st.session_state.messages = [{"role": "assistant", "content": "你好！"}]for msg in st.session_state.messages:st.chat_message(msg["role"]).write(msg["content"])if prompt := st.chat_input():st.chat_message("user").write(prompt)st.session_state.messages.append({"role": "user", "content": prompt})try:response = requests.post("http://localhost:8000/v1/chat/completions",json={"model": "QwQ-32B","messages": st.session_state.messages,"max_tokens": max_length})if response.status_code == 200:assistant_text = response.json()["choices"][0]["message"]["content"]st.session_state.messages.append({"role": "assistant", "content": assistant_text})st.chat_message("assistant").write(assistant_text)except Exception as e:st.error(f"请求失败: {str(e)}")

2. 运行与访问

python app.py

访问 http://localhost:8501 即可进行对话交互。

六、性能优化建议 ⚙️

1. 显存优化

   • 降低max_model_len（推荐4096）
   • 使用--swap-space参数启用虚拟内存

2. 推理加速

   • 关闭后台进程
   • 调整temperature为0.5-0.7
   • 使用--gpu-memory限制显存分配

3. 多卡部署

python -m vllm.entrypoints.openai.api_server \--model QwQ-32B-AWQ \--tensor-parallel-size 2

七、总结 📊

通过本教程，您可以在RTX 4090显卡上实现：
✅ 32B参数模型的高效部署
✅ 兼容OpenAI API的服务接口
✅ 完整的Web交互界面
✅ 实时性能监控

关键技术点：

• 4bit量化技术（减少60%显存占用）
• vLLM推理引擎（提升30%推理速度）
• Streamlit界面开发（快速构建交互系统）

🎉 现在您可以开始用这个强大的AI助手进行代码开发、数据分析和知识问答啦！