背景尝试使用vllm模型,脚本代码如下:from vllm import LLM, SamplingParams

prompts = [

"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",

]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

llm = LLM(model="facebook/opt-125m")

outputs = llm.generate(prompts, sampling_params)

for output in outputs:

prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")运行过程中出现:

图片
添加图片注释,不超过 140 字(可选)问题分析问题就出现在通过python去下载文件,然后SSL的安全校验出现了问题。临时解决办法是,可以规避该校验。解决方案首先找到sessions.py文件,可以在完整的报错信息里找到:
图片
添加图片注释,不超过 140 字(可选)2.修改文件vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py大概在500行左右的位置,找到 request 函数,将传参 verify 的默认值由 None 改为 False,
图片
添加图片注释,不超过 140 字(可选)再次运行,问题解决。


zjun
4 声望1 粉丝

AI追风者