🔥 MediaCrawler - 自媒体平台爬虫 🕷️

^{Special thanks to:}

Warp is built for coding with multiple AI agents

免责声明：

大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件

本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。

点击查看更为详细的免责声明。点击跳转

📖 项目简介

一个功能强大的多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。

🔧 技术原理

• 核心技术：基于 Playwright 浏览器自动化框架登录保存登录态
• 无需JS逆向：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
• 优势特点：无需逆向复杂的加密算法，大幅降低技术门槛

✨ 功能特性

🚀 MediaCrawlerPro 重磅发布！

专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！

MediaCrawlerPro 相较于开源版本的核心优势：

🎯 核心功能升级

• ✅ 断点续爬功能（重点特性）
• ✅ 多账号 + IP代理池支持（重点特性）
• ✅ 去除 Playwright 依赖，使用更简单
• ✅ 完整 Linux 环境支持

🏗️ 架构设计优化

• ✅ 代码重构优化，更易读易维护（解耦 JS 签名逻辑）
• ✅ 企业级代码质量，适合构建大型爬虫项目
• ✅ 完美架构设计，高扩展性，源码学习价值更大

🎁 额外功能

• ✅ 自媒体视频下载器桌面端（适合学习全栈开发）
• ✅ 多平台首页信息流推荐（HomeFeed）
• 基于自媒体平台的AI Agent正在开发中 🚀🚀

点击查看：MediaCrawlerPro 项目主页 更多介绍

🚀 快速开始

💡 开源不易，如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！

📋 前置依赖

🚀 uv 安装（推荐）

在进行下一步操作之前，请确保电脑上已经安装了 uv：

• 安装地址：uv 官方安装指南
• 验证安装：终端输入命令 uv --version，如果正常显示版本号，证明已经安装成功
• 推荐理由：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确

🟢 Node.js 安装

项目依赖 Node.js，请前往官网下载安装：

• 下载地址：https://nodejs.org/en/download/
• 版本要求：>= 16.0.0

📦 Python 包安装

# 进入项目目录
cd MediaCrawler

# 使用 uv sync 命令来保证 python 版本和相关依赖包的一致性
uv sync

🌐 浏览器驱动安装

# 安装浏览器驱动
uv run playwright install

💡 提示：MediaCrawler 目前已经支持使用 playwright 连接你本地的 Chrome 浏览器了，一些因为 Webdriver 导致的问题迎刃而解了。

目前开放了 xhs 和 dy 这两个使用 CDP 的方式连接本地浏览器，如有需要，查看 config/base_config.py 中的配置项。

🚀 运行爬虫程序

# 项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改
# 一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
uv run main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
uv run main.py --platform xhs --lt qrcode --type detail

# 打开对应APP扫二维码登录

# 其他平台爬虫使用示例，执行下面的命令查看
uv run main.py --help

# 进入项目根目录
cd MediaCrawler

# 创建虚拟环境
# 我的 python 版本是：3.9.6，requirements.txt 中的库是基于这个版本的
# 如果是其他 python 版本，可能 requirements.txt 中的库不兼容，需自行解决
python -m venv venv

# macOS & Linux 激活虚拟环境
source venv/bin/activate

# Windows 激活虚拟环境
venv\Scripts\activate

pip install -r requirements.txt

playwright install

# 项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改
# 一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释

# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
python main.py --platform xhs --lt qrcode --type search

# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail

# 打开对应APP扫二维码登录

# 其他平台爬虫使用示例，执行下面的命令查看
python main.py --help

💾 数据保存

支持多种数据存储方式：

• CSV 文件：支持保存到 CSV 中（data/ 目录下）
• JSON 文件：支持保存到 JSON 中（data/ 目录下）
• 数据库存储
  • 使用参数 --init_db 进行数据库初始化（使用--init_db时不需要携带其他optional）
  • SQLite 数据库：轻量级数据库，无需服务器，适合个人使用（推荐）
    1. 初始化：--init_db sqlite
    2. 数据存储：--save_data_option sqlite
  • MySQL 数据库：支持关系型数据库 MySQL 中保存（需要提前创建数据库）
    1. 初始化：--init_db mysql
    2. 数据存储：--save_data_option db（db 参数为兼容历史更新保留）

使用示例：

# 初始化 SQLite 数据库（使用'--init_db'时不需要携带其他optional）
uv run main.py --init_db sqlite
# 使用 SQLite 存储数据（推荐个人用户使用）
uv run main.py --platform xhs --lt qrcode --type search --save_data_option sqlite

# 初始化 MySQL 数据库
uv run main.py --init_db mysql
# 使用 MySQL 存储数据（为适配历史更新，db参数进行沿用）
uv run main.py --platform xhs --lt qrcode --type search --save_data_option db

🚀 MediaCrawlerPro 重磅发布 🚀！更多的功能，更好的架构设计！

💰 赞助商展示

Swiftproxy - 90M+ 全球高质量纯净住宅IP，注册可领免费 500MB 测试流量，动态流量不过期！ > 专属折扣码：**GHB5** 立享九折优惠！

豌豆HTTP自营千万级IP资源池，IP纯净度≥99.8%，每日保持IP高频更新，快速响应，稳定连接，满足多种业务场景，支持按需定制，注册免费提取10000ip。

🤝 成为赞助者

成为赞助者，可以将您的产品展示在这里，每天获得大量曝光！

联系方式：

• 微信：yzglan
• 邮箱：[email protected]

🤝 社区与支持

💬 交流群组

• 微信交流群：点击加入

📚 文档与教程

• 在线文档：MediaCrawler 完整文档
• 爬虫教程：CrawlerTutorial 免费教程

其他常见问题可以查看在线文档

在线文档包含使用方法、常见问题、加入项目交流群等。 MediaCrawler在线文档

作者提供的知识服务

如果想快速入门和学习该项目的使用、源码架构设计等、学习编程技术、亦或者想了解MediaCrawlerPro的源代码设计可以看下我的知识付费栏目。

作者的知识付费栏目介绍

⭐ Star 趋势图

如果这个项目对您有帮助，请给个 ⭐ Star 支持一下，让更多的人看到 MediaCrawler！

📚 参考

• 小红书客户端：ReaJason 的 xhs 仓库
• 短信转发：SmsForwarder 参考仓库
• 内网穿透工具：ngrok 官方文档

免责声明