Mooncake

Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.

rig

⚙️🦀 Build modular and scalable LLM Applications in Rust

pydantic-ai

GenAI Agent Framework, the Pydantic way

screenpipe

English | 简体中文 | 日本語 screenpipe 一个获取所有用户桌面数据的API（本地、跨平台、全天候、屏幕、语音、键盘、鼠标、摄像头录制） 沙盒化的JS插件系统，键盘和鼠标控制 一次记录一个像素的现实 --- *新闻* 🔥 - 2024/12 pipe商店stripe集成：开发者用几行JS代码构建酷炫功能并获得被动收入（已有

Hands-On-Large-Language-Models

Official code repo for the O'Reilly Book - "Hands-On Large Language Models"

llama_deploy

Deploy your agentic worfklows to production

deepseek-free-api

🚀 DeepSeek-V3 & R1大模型逆向API【特长：良心厂商】（官方贼便宜，建议直接走官方），支持高速流式输出、多轮对话，联网搜索，R1深度思考，零配置部署，多路token支持，仅供测试，如需商用请前往官方开放平台。

gpustack

English | 简体中文 | 日本語 GPUStack 是一个用于运行 AI 模型的开源 GPU 集群管理器。 核心特性 - **广泛的 GPU 兼容性**：无缝支持 Apple Mac、Windows PC 和 Linux 服务器上各种供应商的 GPU。 - **广泛的模型支持**：支持各种模型，包括 LLM、多模态 VLM、图像模型、语音模型、文本嵌入模型和重排序模型。 - **灵活的推理后端**：支持与 vLLM 、 Ascend MindIE、llama-box（llama.cpp 和 stable-diffusion.cpp）和 vox-box 等多种推理

ultravox

A fast multimodal LLM for real-time voice

pgai

A suite of tools to develop RAG, semantic search, and other AI applications more easily with PostgreSQL

transformer-explainer

Transformer Explained Visually: Learn How LLM Transformer Models Work with Interactive Visualization

LMCache

Supercharge Your LLM with the Fastest KV Cache Layer