text-generation-inference:大型语言模型文本推理工具包
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型的工具包。它能为多种流行开源LLMs实现高性能文本生成,具备多种功能,如简单启动器、生产就绪(含分布式跟踪和...
标签:Github项目huggingface TextGenerationInference 大型语言模型 文本生成推理text-generation-inference:用于大型语言模型文本生成推理的工具包
项目简介
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型(LLMs)的工具包。它能够为众多流行的开源LLMs(如Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等)实现高性能的文本生成。它具备多种功能,例如简单的启动器、生产就绪(带有OpenTelemetry的分布式跟踪、Prometheus指标)、张量并行以在多个GPU上更快地推理、使用Server-Sent Events (SSE)的令牌流、对传入请求的连续批处理以提高总吞吐量、与OpenAIChatCompletion API兼容的消息API等。
核心技术
TGI实现了许多技术特性。在优化架构方面,它可以服务于所有现代模型的优化模型,也能在一定程度上支持其他架构。其量化技术包括bitsandbytes、GPT-Q、EETQ、WQ、Marlin fp8等多种方式。在推理优化方面,针对最流行的架构使用FlashAttention和PagedAttention优化了transformers代码。它还支持多种硬件,像Nvidia、AMD(-rocm)、Inferentia、Intel GPU、Gaudi、Google TPU等。
实践案例
在Hugging Face公司内部,TGI被用于为HuggingChat、推理API和推理端点提供支持。
项目总结
Text Generation Inference是一个功能强大的大型语言模型文本生成推理工具包。它在众多方面有着优秀的表现,无论是多种模型的支持、多种技术特性还是硬件支持等。希望大家能够对这个项目积极留言讨论,分享自己的见解或者使用过程中的经验。
项目地址
数据统计
数据评估
本站链氪巴士提供的text-generation-inference:大型语言模型文本推理工具包都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月13日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。
相关导航
GKPageScrollView是一个UIScrollview嵌套滑动库,主要参考JXPagingView并改进。GKPageSmoothView也用于滑动嵌套。支持上下滑动、左右滑动、手势返回等多种操作。支持UITableView的sectionView悬停效果、多种分页控件。可实现导航栏颜色渐变、头图下拉放大、主页和列表页的下拉刷新和上拉加载等。有手动安装、CocoaPods安装、SwiftPackageManager安装三种方式且针对使用中的常见问题给出了解决办法。该库不断更新完善,对于开发类似微博、抖音、网易云等APP的个人详情页滑动效果很有帮助。