text-generation-inference:大型语言模型文本推理工具包
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型的工具包。它能为多种流行开源LLMs实现高性能文本生成,具备多种功能,如简单启动器、生产就绪(含分布式跟踪和...
标签:Github项目huggingface TextGenerationInference 大型语言模型 文本生成推理text-generation-inference:用于大型语言模型文本生成推理的工具包
项目简介
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型(LLMs)的工具包。它能够为众多流行的开源LLMs(如Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等)实现高性能的文本生成。它具备多种功能,例如简单的启动器、生产就绪(带有OpenTelemetry的分布式跟踪、Prometheus指标)、张量并行以在多个GPU上更快地推理、使用Server-Sent Events (SSE)的令牌流、对传入请求的连续批处理以提高总吞吐量、与OpenAIChatCompletion API兼容的消息API等。
核心技术
TGI实现了许多技术特性。在优化架构方面,它可以服务于所有现代模型的优化模型,也能在一定程度上支持其他架构。其量化技术包括bitsandbytes、GPT-Q、EETQ、WQ、Marlin fp8等多种方式。在推理优化方面,针对最流行的架构使用FlashAttention和PagedAttention优化了transformers代码。它还支持多种硬件,像Nvidia、AMD(-rocm)、Inferentia、Intel GPU、Gaudi、Google TPU等。
实践案例
在Hugging Face公司内部,TGI被用于为HuggingChat、推理API和推理端点提供支持。
项目总结
Text Generation Inference是一个功能强大的大型语言模型文本生成推理工具包。它在众多方面有着优秀的表现,无论是多种模型的支持、多种技术特性还是硬件支持等。希望大家能够对这个项目积极留言讨论,分享自己的见解或者使用过程中的经验。
项目地址
数据统计
数据评估
本站链氪巴士提供的text-generation-inference:大型语言模型文本推理工具包都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月13日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。