X-Kit：全自动抓取Twitter数据的开源工具，支持GitHub Actions部署

X-Kit 介绍

X-Kit 是一款强大的开源工具，专为采集和分析 Twitter(X) 平台上的用户数据而设计。它能够自动抓取指定用户的基础信息和推文内容，实现数据本地化存储，并通过 GitHub Actions 支持全自动化的数据更新流程。无论您是数据分析师、社交媒体专家还是研究人员，X-Kit 都能帮助您高效获取和管理 Twitter 用户数据。

X-Kit 亮点

• 自动数据采集: 一键抓取目标用户的个人信息和推文记录，无需手动操作
• 定时更新机制: 通过配置实现每30分钟自动获取最新推文，保持数据时效性
• 本地化存储: 将采集的数据以结构化形式保存在本地，便于后续分析和处理
• 自动化工作流: 利用 GitHub Actions 实现无人值守的数据采集和更新任务
• 批量用户管理: 支持批量关注功能，方便管理多个目标账号

X-Kit 使用教程

1. 配置必要的环境变量，在项目根目录创建 .env 文件并添加以下配置：

   AUTH_TOKEN=你的X认证Token
   GET_ID_X_TOKEN=用于获取用户ID的Token
   

2. 在 dev-accounts.json 文件中添加需要追踪的用户信息：

   {
     "username": "用户名",
     "twitter_url": "用户主页链接", 
     "description": "用户描述",
     "tags": ["标签1", "标签2"]
   }
   

3. 运行相应的脚本执行不同功能：
   • 获取用户基本信息：bun run scripts/index.ts
   • 采集最新推文数据：bun run scripts/fetch-tweets.ts
   • 执行批量关注操作：bun run scripts/batch-follow.ts
4. 查看采集的数据：
   • 用户信息存储在 accounts/ 目录下
   • 推文内容保存在 tweets/ 目录中，按日期分类整理

X-Kit 自动化部署

X-Kit 预置了多个 GitHub Actions 工作流：

• get-home-latest-timeline.yml: 每30分钟执行一次，自动获取最新推文
• daily-get-tweet-id.yml: 每日执行，更新用户信息数据
• post-twitter-daily.yml: 实现每日自动发布推文功能

X-Kit 获取方法

• GitHub 开源地址：xiaoxiunique/x-kit

技术框架

X-Kit 基于现代技术栈构建：

• Bun 运行时环境
• TypeScript 编程语言
• Twitter API 数据接口
• GitHub Actions 自动化流程

开源协议：MIT