个人 AI 学习过程中的笔记与实践记录
查看所有标签
面向 Senior SDET 的 AI Agent 安全测试，不能停留在“接口是否鉴权”“Prompt Injection 是否命中一条规则”这样的单点验证，而要把 身份边界、会话上下文、工具权限、敏感数据、K8s 运行时、审计证据与最终用户可见结果 串成一条完整的 E2E 安全链路。真正可靠的安全质量门禁，应从用户提交一个真实 Agent 任务开始，经过身份鉴别、权限校验、上下文过滤、工具调用、结果生成、日志与 trace 归档，最终验证系统既完成了业务目标，又没有越权、泄露、污染记忆或突破运行时边界。对 AI Agent 来说，安全不是一个“前置网关功能”，而是贯穿整个任务生命周期的工程属性：任何一个环节失守，都可能把一次正常请求演变成数据泄露、横向越权或高危工具误调用。
面向 Senior SDET 的 AI Agent 发布验收，不能只验证 Pod 是否 Running、接口是否 200、页面是否能打开，而要把 K8s 部署状态、API 契约、Agent 业务任务、Playwright 用户旅程、Ginkgo 后端断言和可观测证据 串成一条端到端质量门禁。真正可靠的发布检查应从用户触发 Agent 任务开始，经过网关鉴权、服务路由、任务排队、模型或工具调用、状态轮询、结果展示和 trace 归档，最后验证用户能得到可解释、可追踪、可恢复的业务结果。K8s 不是单独的运维对象，而是 E2E 质量链路中的运行时边界：资源限制、探针、滚动发布、网络策略、Secret 注入和 HPA 都会直接影响 AI Agent 的稳定性与用户体验。
面向 Senior SDET 的 Agent 性能压测，不应停留在“用 Locust 或 k6 打接口”的层面，而要把真实用户旅程、工作负载模型、性能 SLO、可观测证据和 CI 门禁连接成一条端到端质量链路。Locust 更适合表达复杂业务行为、动态数据准备和多步骤用户流；k6 更适合在工程流水线中固化阈值、趋势指标和快速回归门禁。对 AI Agent 来说，核心指标必须同时覆盖 TTFT、E2E 完成耗时、业务成功率、阶段耗时、错误分桶和降级结果，否则很容易出现“压测曲线好看，但用户任务失败”的假阳性结论。
面向：资深测试开发（Golang Ginkgo / Python Playwright / API Testing / K8s）
关键词：Performance Regression / k6 WebSocket / Locust / TTFT / P99 / Ginkgo E2E / Playwright / Scenario Asset
Day 24 讨论了 AI Agent 的混沌工程：通过受控故障验证系统是否可用、可解释、可恢复。Day 25 继续把质量能力向“可持续运营”推进：把性能压测从一次性的专项活动，升级为可复用的场景资产库和 CI/CD 回归门禁。重点不再是“跑通一份脚本”，而是让每条真实用户旅程都能沉淀工作负载、指标、阈值、证据与复盘结论。
面向：资深测试开发（Golang Ginkgo / Python Playwright / K8s / API Testing）
关键词：Chaos Engineering / Fault Injection / Steady State / Blast Radius / Ginkgo E2E / Playwright / K8s / Agent Reliability
Day 23 讨论了可观测性与链路追踪，解决的是“出问题后能不能看清楚”。Day 24 继续向前推进一步：在上线前主动制造可控故障，验证 AI Agent 在工具超时、检索失败、模型限流、Pod 抖动、网络延迟等真实异常下，是否仍能完成端到端业务任务，并留下可复盘的证据。
面向：资深测试开发（Golang Ginkgo / Python Playwright / K8s / API Testing） 关键词：OpenTelemetry / Trace / Span / Context Propagation / OTLP / Jaeger / Tempo / E2E 诊断
今天这篇笔记聚焦一个非常典型、也最容易在 AI Agent 项目里被低估的问题：系统明明“偶发变慢”或“偶发失败”，但没有足够的链路证据告诉你到底慢在哪、错在哪、谁先错了。
如果没有可观测性，很多线上问题最后都会退化成“翻日志 + 猜测 + 重跑”；而一旦把 trace_id、关键阶段 span、日志字段和 SLO 指标串起来，测试开发就能把“难复现的偶发问题”沉淀成可回放、可定位、可门禁的工程能力。
Agent：这里是【每日 AI 学习笔记】 Day 22 的博客归档版本，基于 AI_Learning_Note_Day22_2026-05-07.md 整理，聚焦如何在 AI Agent 场景下用 Locust / k6 做端到端性能压测：既关注 TTFT/P99 等体验指标，又兼顾工具链路、RAG、模型推理等子阶段的稳定性。
面向：资深测试开发（Golang Ginkgo / Python Playwright / K8s / API Testing） 关键词：TTFT / TPS / P99 延迟 / 成功率 / 稳定性 / 压测模型 / 基线门禁 / CI Gate / 可观测
Agent: 这里是【每日 AI 学习笔记】 Day 19 的博客归档版本，基于 AI_Learning_Note_Day19_2026-05-04.md 整理，聚焦 Agent 的容错设计与爆炸半径（Blast Radius）控制，尤其结合 ArkClaw 的 Memory 模块场景。
Agent: 这是【每日 AI 学习笔记】 Day 18 的博客归档版，主要内容来自 AI_Learning_Note_Day18_2026-05-03.md，聚焦当 LLM/Agent 开始“动手做事”时，如何对 Tool Use 进行系统化测试。