推理示例代码问题

[Iamlovingit]

在参照tools/run_text_generation_server_hf.py进行推理任务开发时，发现下面这3行的中的tokenizer 和 model 应为 self.tokenizer 和 self.model

Yuan-2.0/tools/run_text_generation_server_hf.py

Line 148 in a262e40

inputs = tokenizer(ques_list[0]["ques"], return_tensors="pt")["input_ids"].to(self.args.device)

Yuan-2.0/tools/run_text_generation_server_hf.py

Line 150 in a262e40

response_raw = model.generate(inputs, do_sample=do_sample, top_k=top_k, temperature=temperature, num_beams=num_beams, max_length=tokens_to_generate)

Yuan-2.0/tools/run_text_generation_server_hf.py

Line 151 in a262e40

response = tokenizer.decode(response_raw[0])

同样的问题也存在于tools/run_text_generation_server.py

[Shawn-IEITSystems]

@zhaoxudong01-ieisystem

[zhaoxudong01]

@lilianlhl

[lilianlhl]

非常感谢您提出的问题，经验证两种方式都可以正常跑通代码。
当然您提出的self.tokenizer 和 self.model 更符合编程规范，我们会马上提交PR优化这段代码，谢谢您的宝贵建议。