文章
专栏
文章
专栏
全部专栏
AI 应用开发笔记
沉淀大模型智能体等 AI 应用的开发与落地笔记
共 23 篇文章
更新于 2026-08-23
01
基于 OpenAI SDK 开发 AI Agent 功能
本文介绍如何基于 OpenAI Python SDK 开发 AI Agent 核心功能。内容涵盖模型接入与配置、系统提示词定义、流式输出响应处理,以及工具调用(Function Calling)的完整逻辑闭环。此外,本文还介绍了多轮对话中的记忆管理机制与上下文剪裁策略(包含滑动窗口、Token/字符剪裁以及历史摘要化),为构建稳定可靠的 AI Agent 提供具体实现方式与工程参考。
2024-06-26
02
LangChain 核心基础概念详解
介绍 LangChain 核心基础概念,包含模型配置初始化、系统提示词模板、LCEL 链式编排、智能体构建(create_agent)、工具定义与参数校验、持久化检查点、结构化输出及流式输出等特性。
2026-08-05
03
LangGraph 核心基础概览
总结梳理 LangGraph 的基础,涵盖 StateGraph、状态定义 (State Schemas)、节点 (Nodes)、边 (Edges)、Command、Send、Runtime 依赖注入、流式传输 (Streaming) 、工具集成和错误处理。
2026-08-06
04
RAG 检索增强生成系统设计与工程实践:博客智能体落地
在构建大模型应用时,RAG(检索增强生成)是引入私有知识与解决模型幻觉的核心方案。本文以博客知识库为实战载体,系统阐述 RAG 架构设计与工程落地的完整链路——涵盖清洗切分、向量化同步、多查询并发检索以及 Agent 工具化闭环。
2026-05-16
05
AI Agent 会话与记忆管理:上下文剪裁与双存储实践
本文梳理了 LangChain 与 LangGraph 中的上下文剪裁核心策略(裁剪、删除、内置工具与摘要中间件)及 Token 预算规划方法,并结合“黑白梦博客助手”的业务场景,详解其采用的“Redis 短期快照 + MySQL 长期档案”双存储解耦架构与冷启动恢复实践。
2026-05-31
06
向量度量基础与混合检索开发实战
本文对比了稠密向量与稀疏向量的几何特征,并结合 PyMilvus SDK 提供了双路混合检索(加权分数融合与倒数排名融合 RRF 算法)从特征生成、多特征建表索引到单路与多路检索调用的开发实战。
2026-06-22
07
对话系统”流式输出“的前后端完整实现方案
在构建大模型系统时,流式输出已成为 AI 产品的标配。本文将详解一套基于 Server-Sent Events (SSE) 的全链路方案,涵盖基础的单接口双流同步与流中断机制,延伸至双通道异步队列解耦与长连接生命周期清理,以及 Nginx 反向代理部署和防缓冲优化。
2026-05-17
08
MinerU: AI 驱动的文档解析工具
在 RAG 系统中,多模态结构化提取能力是重要基石,我们可以使用以 MinerU 这类智能多模态解析方案,在复杂文档的处理中还原表格与物理图像的真实轮廓,极大增强知识切片的高可信度。
2026-06-20
09
重排序模型:从基础应用到动态截断流水线设计
RAG 中,单靠向量或稀疏检索等粗筛手段,难以应对生产级高精度要求,且多路混合检索的分数存在打分尺度不统一等局限。为此,RAG 通常引入重排序精排模型作为过滤屏障。本文从介绍重排模型的基本概念与基础使用,到多源数据合并、动态截断算法以及字符预算控制等核心流水线的设计与实现。
2026-06-23
10
探索 Transformers.js:核心机制与本地化模型实践
Transformers.js 是 Hugging Face 生态系统中的一款工具库,底层依赖 onnxruntime-node 执行模型推理,可以在浏览器或 Node.js 环境中执行自然语言处理、计算机视觉和音频处理等任务。
2026-04-11
11
Tesseract.js 构建本地图像文字识别模块
Tesseract.js 提供了一套轻量级的 JavaScript OCR 解决方案,兼容浏览器与 Node.js 环境。本文将结合项目的工程实践,阐述如何通过本地语言包、图像预处理与任务队列机制,在 Electron 客户端构建完整的离线图像文字识别模块。
2026-04-08
12
Ollama 本地运行 DeepSeek 等开源大模型,开启局域网访问,支持其他服务调用
Ollama 可本地运行 DeepSeek 等开源大模型,除了使用它自身的 SDK ,也可以作为服务供其他程序调用。
2025-05-27
13
Sherpa-ONNX 在 iOS 实现语音合成
Sherpa-ONNX 是基于 ONNX Runtime 的端侧离线语音处理引擎,支持在 iOS 平台运行离线语音合成(TTS)。其核心计算在本地设备完成,无需依赖云端接口,支持 VITS、Piper、Kokoro 与 Matcha 等多种声学模型。
2026-08-23
14
BM25 检索算法:基本原理、中文分词适配与 Elasticsearch 实践
BM25(Best Matching 25)是现代搜索引擎与检索增强生成(RAG)系统中广泛采用的概率相关性评分算法。本文系统解析 BM25 的数学模型与参数调节机制,剖析常见开源实现在中文语料下因字符集不匹配导致评分异常的原因,提供基于原生标准的分词适配实现,并结合 Elasticsearch 呈现工业级参数调优与 RRF 混合检索实践。
2026-09-13
15
倒数排名融合(RRF):基于名次的多路检索结果合并机制
倒数排名融合(Reciprocal Rank Fusion,RRF)不使用分值,只比较文档在各自结果列表中的名次,因此能合并 BM25 与向量检索这类分值尺度不同的召回结果。本文重新梳理 RRF 的基础认知,并结合此前 Milvus 的混合检索实践巩固相关概念。
2026-09-14
16
查询改写(Query Rewriting):面向多路检索的查询表示生成机制
查询改写是在检索执行之前,把用户原始输入或整段对话历史转换为检索侧可消费的查询表示,通常由语言模型完成。其产出形态由下游检索通道决定。本文梳理原始输入直接进入检索时的失效形式与常见的产出形态,并以多表示生成为例展开实现方式、消费路径与边界条件。
2026-09-15
17
基于 XML 规范的结构化提示词工程实践
大语言模型在处理复杂生产任务时,非结构化的自由文本提示词容易导致指令歧义、输出格式漂移以及间接提示词注入等工程问题。本文基于 Anthropic 官方技术指南与开源工程规范,系统梳理以语义化 XML 标签为核心的提示词解构方法、模块设计与典型场景实践。
2026-10-01
18
AI SDK v7 核心机制与工程实践指南
AI SDK v7 是运行于 TypeScript 与 Next.js 环境的标准化大模型开发工具包,通过统一模型接口、双层消息转换协议与流式数据通道屏蔽底层模型 API 差异,支持结构化输出、多步工具编排与前后端单消息增量同步。
2026-11-07
19
水位压缩模式(Watermark Compaction):多轮对话上下文管理与滚动摘要机制
水位压缩模式是一种 AI 智能体的多轮对话上下文管理机制,基于 Token 水位阈值与消息游标,将早期对话轮次增量合并为滚动摘要,在保留数据库完整历史的同时按窗口裁剪模型推理消息。
2026-11-08
20
AI Agent 系统评估(Evals):基于 Evalite 的检索、压缩与端到端质量度量实践
Evalite 是运行于 Node.js 与 Vitest 环境的 TypeScript 大模型评估框架。本方案基于该框架构建检索、记忆压缩与端到端三层评估管线,结合工具桩隔离、确定性指标与模型裁判评分器量化召回率与事实忠实度。
2026-11-08
21
人机协同工具审批(HITL):基于自定义数据块的高风险写操作管控实践
人机协同工具审批是智能体高风险写操作管控机制,通过自定义数据块将写工具调用拆分为跨轮次状态机,结合前置补丁预检、服务端裁决守卫与提示词过滤,在管理员显式确认后执行数据库变更。
2026-11-07
22
模型上下文协议(MCP):构建基于令牌鉴权与双通道协同的远程 MCP 服务
远程 MCP 服务是基于模型上下文协议与 Next.js App Router 构建的外部智能体接入网关。该服务采用 Streamable HTTP 传输,通过个人访问令牌、异步上下文身份注入与二进制双通道实现权限隔离与长文稿同步。
2026-11-09
23
LLM 应用可观测性:基于 Langfuse 与 OpenTelemetry 的 AI SDK 链路追踪实践
Langfuse 是基于 OpenTelemetry 构建的开源 LLM 可观测性平台。本文以 Next.js 博客助手为例,结合 Langfuse TypeScript SDK 与 AI SDK 遥测接口,对对话轮次、标题生成、向量化与语义重排进行链路追踪。
2026-11-14