LiteLLM是一个强大的Python SDK和代理服务器(LLM网关),能够以OpenAI格式调用100多种LLM的API,包括Bedrock、Azure、OpenAI等。它可管理输入转换、确保一致输出、有重试回退逻辑、能设置预算和速率限制等。在使用方面,给出了同步、异步、流式调用示例,还有日志观察、代理服务器操作等实践案例,对开发者与企业级用户处理多源LLM API调用有实用价值。