gpustack

English | 简体中文 | 日本語 GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。 核心特性 - **广泛的 GPU 兼容性**：无缝支持 Apple Mac、Windows PC 和 Linux 服务器上各种供应商的 GPU。 - **广泛的模型支持**：支持各种模型，包括 LLM、多模态 VLM、图像模型、语音模型、文本嵌入模型和重排序模型。 - **灵活的推理后端**：支持与 vLLM 、 Ascend MindIE、llama-box（llama.cpp 和 stable-diffusion.cpp）和 vox-box 等多种推理

ultravox

A fast multimodal LLM for real-time voice

pgai

A suite of tools to develop RAG, semantic search, and other AI applications more easily with PostgreSQL

transformer-explainer

Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

LMCache

Supercharge Your LLM with the Fastest KV Cache Layer

MegaParse

File Parser optimised for LLM Ingestion with no loss 🧠 Parse PDFs, Docx, PPTx in a format that is ideal for LLMs.

happy-llm

📚 从零开始的大语言模型原理与实践教程

cherry-studio

🌐 Language English 简体中文 繁體中文 日本語 한국어 हिन्दी ไทย Français Deutsch Español Italiano Русский Português Nederlands Polski العربية فارسی Türkçe

ChatTTS

ChatTTS A generative speech model for daily dialogue. **English** | **简体中文**docs/cn/README.md | **日本語**docs/jp/README.md | **Русский**docs/ru/README.md | **Español**docs/es/README.md | **Français**docs/fr/README.md | **한국어**docs/kr/README.md Introduction > !Note > This repo contains the a

matmulfreellm

Implementation for MatMul-free LM.

farfalle

🔍 AI search engine - self-host with local or cloud LLMs

Streamer-Sales

Streamer-Sales 销冠 —— 卖货主播 LLM 大模型🛒🎁，一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。🚀⭐内含详细的数据生成流程❗ 📦另外还集成了 LMDeploy 加速推理🚀、RAG检索增强生成 📚、TTS文字转语音🔊、数字人生成 🦸、 Agent 使用网络查询实时信息🌐、ASR 语音转文字🎙️、Vue 生态搭建前端🍍、FastAPI 搭建后端🗝️、Docker-compose 打包部署🐋