从眼球到令牌：Web架构的代理化转型

本文探讨Web架构的范式转移——从过去三十年围绕人类用户注意力的"眼球经济"，转向适应AI代理崛起的"令牌经济"。核心是Web需从人类可读向机器可理解演进，涉及架构历史、当前代理友好性问题、解决方案原则、工具生态及未来挑战等方面。

1. 静态HTML时代（1990s-2000s初）：文档式架构，高可读性但交互性差；2. JS崛起与DOM操作时代（2000s中期-2010s初）：AJAX和jQuery带来动态交互，但代码维护难；3. 组件化框架繁荣期（2010s-2020s初）：React/Vue等组件化+虚拟DOM提升开发效率，但JS体积大、首屏加载慢，对爬虫/代理不友好。

AI代理成为Web内容主要消费者之一，需结构化、语义化数据而非视觉呈现。当前Web问题：1. 动态JS渲染导致初始HTML为空，代理难以提取内容；2. 页面充斥广告/导航等噪音，浪费AI令牌成本（70%-80%成本被无关内容消耗）。

1. 语义化HTML复兴：使用article/section等标签+Schema.org JSON-LD标记；2. 结构化数据与微格式：JSON-LD/Microdata嵌入元数据（如产品/文章信息）；3. 轻量级渲染与边缘计算：SSR/SSG/岛屿架构减少客户端JS，边缘计算（Cloudflare Workers等）实现低延迟动态内容。

1. 内容提取工具：Firecrawl/Jina AI Reader等提取干净内容；2. MCP协议：Anthropic提出的标准化接口，让代理统一访问资源；3. 混合架构：渐进增强（核心内容用HTML，JS增强）、API优先、兼顾人类与机器需求。

1. 搜索生态变革：生成式引擎优化（GEO）关注内容结构与可理解性；2. 隐私安全：防止恶意爬虫、敏感信息泄露、机器验证机制；3. 技术债务迁移：新项目采用代理友好原则，存量内容用工具过渡。结语：Web将服务人类与机器，构建更互联的信息生态。