Github项目

text-generation-inference:大型语言模型文本推理工具包

Text Generation Inference (TGI)是一个用于部署和服务大型语言模型的工具包。它能为多种流行开源LLMs实现高性能文本生成,具备多种功能,如简单启动器、生产就绪(含分布式跟踪和...

标签:

text-generation-inference:用于大型语言模型文本生成推理的工具包

项目简介

Text Generation Inference (TGI)是一个用于部署和服务大型语言模型(LLMs)的工具包。它能够为众多流行的开源LLMs(如Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等)实现高性能的文本生成。它具备多种功能,例如简单的启动器、生产就绪(带有OpenTelemetry的分布式跟踪、Prometheus指标)、张量并行以在多个GPU上更快地推理、使用Server-Sent Events (SSE)的令牌流、对传入请求的连续批处理以提高总吞吐量、与OpenAIChatCompletion API兼容的消息API等。

核心技术

TGI实现了许多技术特性。在优化架构方面,它可以服务于所有现代模型的优化模型,也能在一定程度上支持其他架构。其量化技术包括bitsandbytes、GPT-Q、EETQ、WQ、Marlin fp8等多种方式。在推理优化方面,针对最流行的架构使用FlashAttention和PagedAttention优化了transformers代码。它还支持多种硬件,像Nvidia、AMD(-rocm)、Inferentia、Intel GPU、Gaudi、Google TPU等。

实践案例

在Hugging Face公司内部,TGI被用于为HuggingChat、推理API和推理端点提供支持。

项目总结

Text Generation Inference是一个功能强大的大型语言模型文本生成推理工具包。它在众多方面有着优秀的表现,无论是多种模型的支持、多种技术特性还是硬件支持等。希望大家能够对这个项目积极留言讨论,分享自己的见解或者使用过程中的经验。

项目地址

GitHub链接直达

数据统计

数据评估

text-generation-inference:大型语言模型文本推理工具包浏览人数已经达到11,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:text-generation-inference:大型语言模型文本推理工具包的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找text-generation-inference:大型语言模型文本推理工具包的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于text-generation-inference:大型语言模型文本推理工具包特别声明

本站链氪巴士提供的text-generation-inference:大型语言模型文本推理工具包都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月13日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。

相关导航

暂无评论

暂无评论...