Crawl4AI
开源的适用于大语言模型的网页爬虫与数据抓取工具。
安装次数
点赞
应用评论
催更次数
桌面端
移动端


应用描述
- LLM 友好的输出:智能的 Markdown 格式,支持标题、表格、代码和引用提示。 - 高效快速:使用异步浏览器池,支持缓存,减少请求跳转。 - 完全掌控:可以自定义会话、代理、Cookies、用户脚本和钩子。 - 自适应智能:自动学习网站模式,只关注重要内容。 - 轻松部署:无需密钥,支持 CLI 和 Docker,适配云环境。 部署后,我们可以使用「局域网端口转发工具」,把其他应用的请求转发到「Crawl4AI」,获取爬虫后的结果了 😄。
懒猫评分/评论
0.0
0 条评论
新功能
版本历史记录"Crawl4AI v0.7.7 发布!\n\n此次发布带来了一个完整的自托管平台,具备企业级实时监控功能。Crawl4AI Docker 从一个简单的容器化爬虫,升级为一个具有完整运营透明度和控制能力的生产级平台。\n\n🚀 新功能\n主要特性:实时监控与自托管平台\n\nDocker 部署现在包括:\n\n📊 互动式监控仪表盘 (/dashboard)\n🔌 完备的监控 API\n⚡ WebSocket 流媒体\n🔥 智能浏览器池(三层架构)\n🧹 清理系统\n📈 生产就绪\n🐛 关键 Bug 修复\n\n修复了异步 LLM 提取阻塞问题 (#1055) —— 现在支持真正的并行处理\n修复了 CDP 端点验证与指数退避 (#1445)\n修复了 arun_many 在出现异常时始终返回列表的问题\n配置与功能\n\n更新了浏览器和爬虫配置文档,已与实现一致\n增强了 DFS 深度爬取策略,支持已访问 URL 跟踪\n修复了 AsyncUrlSeeder 中的站点地图解析与 URL 标准化问题 (#1559)\n修复了托管浏览器中的视口配置 (#1490)\n修复了移除覆盖元素功能 (#1396)\nDocker 与基础设施\n\n修复了多提供商支持下的 LLM API 密钥处理问题\n统一了所有配置中的 Docker 端口为 11235\n改进了错误处理,增加了详细的状态码\n修复了 /crawl 和 /crawl/stream 端点中的 fit_html 序列化问题\n安全性\n\n将 pyOpenSSL 更新至 \u003e=24.3.0 到 \u003e=25.3.0(修复安全漏洞)\n增加了安全更新的验证测试"
此 App 尚未收到足够的评分或评论,无法显示评论列表。