模型推理

[lichengyang666]

大佬 能不能分享一下推理文件呢 我加载完ckpt文件后推理的时候总是报错AttributeError: 'LightModel' object has no attribute 'generate'，是我的加载方法有问题么，我直接使用LightModel.load_from_checkpoint加载的

[renmada]

参考这个代码

t5-pegasus-pytorch/models.py

Lines 85 to 98 in 503ea18

	def predict_batch(self, batch):
	model_kwargs = dict(eos_token_id=self.tokenizer.eos_token_id,
	decoder_start_token_id=self.tokenizer.bos_token_id,
	num_beams=self.args.beams,
	input_ids=batch['input_ids'],
	attention_mask=batch['attention_mask'],
	use_cache=True,
	max_length=self.args.max_target_length,
	)
	if hasattr(self.model, 'generator'):
	model_kwargs['src'] = batch['input_ids']
	pred = self.model.generate(**model_kwargs)
	pred = self.ids2text(pred)
	return pred

[lichengyang666]

感谢大佬

[Licq-101]

感谢大佬
@lichengyang666 大佬，能不能分享一下你的推理代码，我是纯小白