wget --mirror --convert-links --adjust-extension --page-requisites --no-parent -e robots=off -P ./local_copy http://example.com
参数说明:
- --mirror
: 递归下载整个网站
- --convert-links
: 转换链接为本地可用
- --adjust-extension
: 添加合适的文件扩展名
- --page-requisites
: 下载所有页面资源(图片/CSS/JS等)
- --no-parent
: 不下载父目录
- -e robots=off
: 忽略robots.txt限制
- -P ./local_copy
: 指定保存目录
HTTrack是跨平台的网站复制工具,提供GUI界面: - 下载安装:https://www.httrack.com/ - 操作简单,适合非技术人员使用 - 支持断点续传和增量更新
优秀的macOS应用,简单易用: - App Store可下载 - 支持保存完整网站结构 - 自动处理资源文件
对于AJAX加载的内容,可能需要: 1. 使用浏览器开发者工具记录网络请求 2. 手动添加这些请求到下载列表 3. 或者使用Selenium等工具模拟完整用户交互
对于需要登录的网站:
1. 使用--user
和--password
参数(wget)
2. 或者先手动登录后导出cookies使用
如果网站使用CDN,可能需要:
1. 修改下载后的HTML文件中的资源引用路径
2. 或者使用--span-hosts
参数(wget)下载跨域资源
下载完成后应检查: 1. 页面是否能正常打开 2. 所有资源文件是否已下载 3. 链接是否正确转换为本地路径 4. 控制台是否有404错误
希望这些方法能帮助你高效地复制网站到本地!