Jweb-forager
jiamingshi-jsphys/web-forager
robots対応情報収集。360/Bing/Sogou/WeChat検索、HTML/PDF/Office/EPUB/RSSをMarkdown化、Bilibili/Zhihu/小紅書/WeChat専用読取、sitemap発見と再開可能なリンク巡回。実ブラウザを8つの読取専用手順で操作し、描画ページやログインサイトに対応。取得文を非信頼と明示し命令らしき文を検出、既定でrobots.txtとサイト毎1秒1要求を尊重。CLI・MCPサーバー2個・Claude Codeスキル付き。