篇章级nlp任务

[ZTurboX]

对于篇章级nlp任务，比如对篇章进行实体识别，把篇章分成句子集，每次请求是句子集，pipline应该怎么做

[TeslaZhao]

有厂内同学使用pipeline serving部署过TTS（Text to Speech）。大致的思路如下：有2个模块构成TTS服务：前端模块 + pipeline serving。前端模型将段落划分为多个句子，多线程请求Serving服务，Serving使用多进程并发处理，将全部推理结果返回后，由前端模块生成语音效果。

由于模型要保密，并没有开源，可参考思路

[ZTurboX]

有厂内同学使用pipeline serving部署过TTS（Text to Speech）。大致的思路如下：有2个模块构成TTS服务：前端模块 + pipeline serving。前端模型将段落划分为多个句子，多线程请求Serving服务，Serving使用多进程并发处理，将全部推理结果返回后，由前端模块生成语音效果。

由于模型要保密，并没有开源，可参考思路

感谢

[ZTurboX]

有厂内同学使用pipeline serving部署过TTS（Text to Speech）。大致的思路如下：有2个模块构成TTS服务：前端模块 + pipeline serving。前端模型将段落划分为多个句子，多线程请求Serving服务，Serving使用多进程并发处理，将全部推理结果返回后，由前端模块生成语音效果。

由于模型要保密，并没有开源，可参考思路

试了一下，多线程请求会报错

def tags_predict(self, batch_texts): feed = {} for i, item in enumerate(batch_texts): feed[str(i)] = item ret = self.client.predict(feed_dict=feed) batch_pred_tags = ret.value[0] batch_result = eval(batch_pred_tags) return batch_result

p = Pool(5) process_pred_tags = p.starmap(self.tags_predict, process_data)