text-generation-inference:大型语言模型文本推理工具包
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型的工具包。它能为多种流行开源LLMs实现高性能文本生成,具备多种功能,如简单启动器、生产就绪(含分布式跟踪和...
标签:Github项目huggingface TextGenerationInference 大型语言模型 文本生成推理text-generation-inference:用于大型语言模型文本生成推理的工具包
项目简介
Text Generation Inference (TGI)是一个用于部署和服务大型语言模型(LLMs)的工具包。它能够为众多流行的开源LLMs(如Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等)实现高性能的文本生成。它具备多种功能,例如简单的启动器、生产就绪(带有OpenTelemetry的分布式跟踪、Prometheus指标)、张量并行以在多个GPU上更快地推理、使用Server-Sent Events (SSE)的令牌流、对传入请求的连续批处理以提高总吞吐量、与OpenAIChatCompletion API兼容的消息API等。
核心技术
TGI实现了许多技术特性。在优化架构方面,它可以服务于所有现代模型的优化模型,也能在一定程度上支持其他架构。其量化技术包括bitsandbytes、GPT-Q、EETQ、WQ、Marlin fp8等多种方式。在推理优化方面,针对最流行的架构使用FlashAttention和PagedAttention优化了transformers代码。它还支持多种硬件,像Nvidia、AMD(-rocm)、Inferentia、Intel GPU、Gaudi、Google TPU等。
实践案例
在Hugging Face公司内部,TGI被用于为HuggingChat、推理API和推理端点提供支持。
项目总结
Text Generation Inference是一个功能强大的大型语言模型文本生成推理工具包。它在众多方面有着优秀的表现,无论是多种模型的支持、多种技术特性还是硬件支持等。希望大家能够对这个项目积极留言讨论,分享自己的见解或者使用过程中的经验。
项目地址
数据统计
数据评估
本站链氪巴士提供的text-generation-inference:大型语言模型文本推理工具包都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由链氪巴士实际控制,在2024年12月13日 上午12:00收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,链氪巴士不承担任何责任。
相关导航
Gin - vue - admin是一个基于vue和gin开发的全栈前后端分离的开发基础平台。它集成了jwt鉴权、动态路由、动态菜单、casbin鉴权、表单生成器、代码生成器等多种功能。支持TS和JS混用,还拥有如权限管理、动态路由、显隐可控组件、分页封装、多点登录拦截、资源权限、上传下载、代码生成器、表单生成器和可配置的导入导出等开发必备功能。提供多种示例文件,旨在为快速研发中小型项目提供架构支持,在线预览地址为http://demo.gin - vue - admin.com,测试用户名:admin,测试密码:123456。
GitHub上的earlephilhower/arduino - pico项目是将Arduino移植到RP2040和RP2350板的项目。它使用特定的工具链并支持多种内核。支持众多板子,如树莓派Pico系列等多种品牌型号。功能丰富,涵盖USB、蓝牙、WiFi、以太网、文件系统、音频处理等多方面。安装方面在Windows和Linux下有不同注意事项,上传草图、文件系统镜像以及使用Picoprobe/Debugprobe上传草图都有详细步骤,还涉及到调试相关内容。该项目全面且实用,为相关开发者提供了极大便利。