LittleCrawler – 多平台社交媒体爬虫

AI文摘 此内容由AI根据文章内容自动生成

AI Summary

标签：

LittleCrawler多平台内容采集多平台社交媒体爬虫社交媒体数据采集社交媒体监测工具社交平台信息爬取社媒内容抓取工具网络数据抓取自动化爬虫工具跨平台数据爬虫

项目介绍

一个基于 Python 的通用型社交媒体数据采集框架，主要面向小红书、知乎、闲鱼等平台的公开内容抓取。

它支持关键词搜索、详情页采集和用户主页采集等多种模式，能够批量获取笔记、文章、商品及作者相关信息，并将结果输出为 CSV、JSON、Excel 或存入数据库。

项目截图

项目架构

├── main.py                  # 程序入口
├── config/                  # 配置文件
├── src/                     # 核心源码
│   ├── core/                # 核心模块（基类、命令行、上下文变量）
│   ├── platforms/           # 平台爬虫实现
│   │   ├── xhs/             # 小红书爬虫
│   │   ├── xhy/             # 小黄鱼爬虫
│   │   └── zhihu/           # 知乎爬虫
│   ├── storage/             # 数据存储层
│   │   ├── base/            # 通用存储（DB、Excel、MongoDB）
│   │   ├── xhs/             # 小红书存储实现
│   │   ├── xhy/             # 小黄鱼存储实现
│   │   └── zhihu/           # 知乎存储实现
│   ├── models/              # Pydantic 数据模型
│   ├── services/            # 服务层
│   │   ├── cache/           # 缓存（本地/Redis）
│   │   └── proxy/           # 代理IP管理
│   └── utils/               # 工具函数
├── api/                     # Web API 后台
├── web/                     # 前端界面
├── tests/                   # 测试用例
├── docs/                    # 文档
├── data/                    # 数据输出
└── libs/                    # 第三方依赖（JS）

支持平台

下载地址