背景尝试使用vllm模型,脚本代码如下:from vllm import LLM, SamplingParams
prompts = [
"Hello, my name is",
"The president of the United States is",
"The capital of France is",
"The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="facebook/opt-125m")
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")运行过程中出现:
添加图片注释,不超过 140 字(可选)问题分析问题就出现在通过python去下载文件,然后SSL的安全校验出现了问题。临时解决办法是,可以规避该校验。解决方案首先找到sessions.py文件,可以在完整的报错信息里找到:
添加图片注释,不超过 140 字(可选)2.修改文件vim /home/zjun/miniconda3/envs/myenv/lib/python3.12/site-packages/requests/sessions.py大概在500行左右的位置,找到 request 函数,将传参 verify 的默认值由 None 改为 False,
添加图片注释,不超过 140 字(可选)再次运行,问题解决。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。