设为首页 | 加入收藏
主页 > www.343888.com >

PyTorchTensorFlow跑分对决:哪个平台运行NLP模型推理更快82899.

2019-10-23 17:22   来源:未知   作者:admin

  艺术的盛会人民的节日!一场基建拉动增速前9月保险资管公司产品注册规模超3千亿同!关于PyTorch和TensorFlow谁更好的争论,从来就没有停止过。

  开源社区的支持度、上手的难易度都是重要的参考。还有人说:学术界用PyTorch,工业界用TensorFlow。

  最近,一位来自“Huggingface”的工程师,使用了NLP中的Transformer模型,分别在两大平台上测试了一组推理速度。

  虽然Huggingface只是一家创业公司,但是在NLP领域有着不小的声誉,他们在GitHub上开源的项目,只需一个API就能调用27个NLP模型广受好评,已经收获1.5万星。

  PyTorch和TensorFlow究竟哪个更快?下面用详细评测的数据告诉你。

  在测试过程中使用本地Python模块的timeit来测量推理时间。每个实验重复30次,然后对这30个值取平均值,获得平均推理时间。

  在大多数情况下,这两个平台都能获得相似的结果。与PyTorch相比,TensorFlow在CPU上通常要慢一些,但在GPU上要快一些:

  以上的数据都是在所有模型总的平均结果。结果显示,输入大小(Batch Size×序列长度)越大,对最终结果的影响也越大。

  当输入太大时,PyTorch会出现内存不足的情况。作者把这些部分从结果中删除,因此这会使结果偏向PyTorch。

  除了初步的测试,作者还用上两个平有的加速工具,看看它们对模型推理速度有多大的提升。

  Torch是PyTorch创建可序列化模型的方法,让模型可以在不同的环境中运行,而无需Python依赖项,例如C++环境。

  使用Torch可以在XLNet上产生永久的性能提升,而在XLM上使用则会不可靠;

  在XLM上,Torch可以提高较小输入时的性能,但会降低较大输入时的性能。

  使用Torch可以在XLNet上产生永久的性能提升,而在XLM上使用则会不可靠;

  在XLM上,Torch可以提高较小输入时的性能,但会降低较大输入时的性能。

  平均而言,使用Torch跟踪的模型,推理速度要比使用相同PyTorch非跟踪模型的快20%。

  XLA是可加速TensorFlow模型的线性代数编译器。作者仅在基于TensorFlow的自动聚类功能的GPU上使用它,这项功能可编译一些模型的子图。结果显示:

  大多数基准测试的运行速度提升到原来的1.15倍。在某些极端情况下,推理时间减少了70%,尤其是在输入较小的情况下。

  大多数基准测试的运行速度提升到原来的1.15倍。在某些极端情况下,推理时间减少了70%,尤其是在输入较小的情况下。

  最后,作者还在Google文档的列表里还加入了“训练”选项卡,或许不久后就能看到两大平台上的训练测试对比,唯一挡在这项测试面前的障碍可能就是经费了。

  百位顶级专家,82899.com,60+前沿报告,10+圆桌论坛与尖峰对话,为你带来内行的AI盛会。

  荟萃全球顶级学者:John Hopcroft(图灵奖),Michael Jordan(机器学习权威学者),Chris Manning(NLP权威学者),朱松纯(计算机视觉权威学者),张钹、高文、戴琼海和张平文院士等100多位专家。

  扫码查看大会详细日程,注册参会时输入优惠码「BBAILZW」专享7折优惠,学生票仅69元(数量有限,先到先得)。

  用了三年mate9突然换成mate30Pro是种怎样的体验?听老用户怎么说