# 网页内容获取按以下顺序获取网页内容： 1. 首选 markdown 原生端点（`content-type: text/markdown`） 2. 对已知站点使用基于选择器的 HTML 提取 3. 当选择器失败时使用捆绑的 Bun 后备脚本 ## 先决条件解压前验证所需工具：命令 -v curl >/dev/null || echo“需要卷曲” 命令 -v html2markdown >/dev/null || echo "HTML 提取需要 html2markdown" 命令 -v 包 >/dev/null || echo“fetch.ts 回退需要bun” 为捆绑脚本安装 Bun 依赖项： cd ~/.claude/skills/web-fetch && 面包安装 ## 默认工作流程将此用作任何 URL 的默认流程：网址=“<网址>” CONTENT_TYPE="$(curl -sIL "$URL" | awk -F': ' 'tolower($1)=="内容类型"{print tolower($2)}' | tr -d '\r' | tail -1)" 如果回显“$CONTENT_TYPE”| grep -q“降价”；那么卷曲-sL“$ URL” 否则卷曲-sL“$ URL”\ | html2markdown \ --include-selector“文章，主要，[角色=主要]”\ --排除选择器“导航，页眉，页脚，脚本，样式” 菲 ## 已知站点选择器网站 |包括选择器 |排除选择器 ---|---|--- 平台.claude.com | `#content-container` | - docs.anthropic.com | `#content-container` | - 开发者.mozilla.org | `文章` | - github.com（文档）| `文章` | `导航，.侧边栏` 通用| `文章，主要，[角色=主要]` | `导航、页眉、页脚、脚本、样式` 示例：卷曲-sL“”\ | html2markdown \ --include-selector“#content-container”\ --排除选择器“导航、页眉、页脚” ## 寻找正确的选择器当站点不在模式列表中时： # 检查存在哪些内容容器卷曲-s“”| grep -o '<文章[^>]*>\|]*>\|id="[^"]*内容[^"]*"' |头-10 # 测试选择器卷曲-sL“”| html2markdown --include-selector "<选择器>" |头-30 # 检查行数卷曲-sL“”| html2markdown --include-selector "<选择器>" |厕所-l ## 通用后备脚本当选择器产生不良输出时，运行捆绑的解析器：包〜/.claude/skills/web-fetch/fetch.ts“” 如果已经在技能目录中：面包 fetch.ts“” ## 选项参考 --include-selector "CSS" # 只保留匹配的元素 --exclude-selector "CSS" # 删除匹配元素 --domain "https://..." # 将相对链接转换为绝对链接 ## 故障排除 **带有选择器的空输出**：页面可能是 markdown-native。首先检查标题：卷曲-sIL“”| grep -i '^内容类型：' **选择了错误的内容**：该网站可能有多个文章/主要区域：卷曲-s“”| grep -o '<文章[^>]*>' **找不到`html2markdown`：安装它，然后重试基于选择器的提取。 **`bun` 或脚本依赖项丢失**：运行 `cd ~/.claude/skills/web-fetch && Bun install`。 **缺少代码块**：检查网站是否使用非标准代码格式。 **客户端渲染的内容** ：如果 HTML 只有“正在加载...”占位符，则内容是 JS 渲染的。无论是curl还是Bun脚本都无法提取它；使用基于浏览器的工具。

网页抓取

包含技能