如何在本地部署 DeepSeek 并提供接口用于开发AI对话应用?

pip install torch transformers flask1.

from flask import Flask, request, jsonify
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

app = Flask(__name__)

# 加载模型和分词器
MODEL_NAME = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)

# 设置 pad_token_id
if tokenizer.pad_token isNone:
    tokenizer.pad_token = tokenizer.eos_token
model.config.pad_token_id = tokenizer.pad_token_id

# 设置设备
device = torch.device("cuda"if torch.cuda.is_available() else"cpu")
model.to(device)

def generate_text(prompt, max_length=100, top_p=0.95, temperature=0.7):
    """
    根据输入的提示（prompt）生成文本。

    参数:
        prompt (str): 输入的文本提示，用于引导模型生成后续内容。
        max_length (int): 生成文本的最大长度（包括输入提示）。
        top_p (float): 核采样（Nucleus Sampling）的概率阈值，控制生成文本的多样性。
        temperature (float): 温度参数，控制生成文本的随机性。

    返回:
        str: 生成的文本。
    """
    # 使用分词器将输入文本（prompt）转换为模型所需的输入格式。
    # return_tensors="pt" 表示返回 PyTorch 张量格式。
    # padding=True 和 truncatinotallow=True 确保输入长度一致且不超过模型的最大长度。
    inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncatinotallow=True).to(device)

    # 调用模型的 generate 方法生成文本。
    # inputs.input_ids 是输入文本的编码，attention_mask 是注意力掩码，用于指示哪些位置是有效的输入。
    outputs = model.generate(
        inputs.input_ids,  # 输入文本的编码
        attention_mask=inputs.attention_mask,  # 注意力掩码
        max_length=max_length,  # 生成文本的最大长度
        num_return_sequences=1,  # 返回的序列数量（这里只生成一个序列）
        no_repeat_ngram_size=2,  # 避免重复的 n-gram 大小（防止重复生成相同的短语）
        do_sample=True,  # 是否使用采样（而不是贪婪解码）
        top_p=top_p,  # 核采样概率阈值
        temperature=temperature,  # 温度参数，控制随机性
        pad_token_id=tokenizer.pad_token_id,  # 填充标记的 ID
    )

    # 将生成的编码（outputs）解码为可读的文本。
    # skip_special_tokens=True 表示跳过特殊标记（如 [CLS]、[SEP] 等）。
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

    # 返回生成的文本。
    return generated_text

# API 路由
@app.route("/generate", methods=["POST"])
def generate():
    data = request.json
    prompt = data.get("prompt", "")
    max_length = data.get("max_length", 100)
    top_p = data.get("top_p", 0.95)
    temperature = data.get("temperature", 0.7)

    ifnot prompt:
        return jsonify({"error": "Prompt is required"}), 400

    try:
        generated_text = generate_text(prompt, max_length, top_p, temperature)
        return jsonify({"generated_text": generated_text})
    except Exception as e:
        return jsonify({"error": str(e)}), 500

# 启动应用
if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000)1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.44.45.46.47.48.49.50.51.52.53.54.55.56.57.58.59.60.61.62.63.64.65.66.67.68.69.70.71.72.73.74.75.76.77.78.79.80.

python app.py1.

set HF_ENDPOINT=https://hf-mirror.com1.

set HF_ENDPOINT=https://hf-mirror.com1.

export HF_ENDPOINT=https://hf-mirror.com1.

export HF_ENDPOINT="https://hf-mirror.com"1.