L’interface est localisée ; les présentations et documents des Skills sont traduits automatiquement par IA dans votre langue. Le code, les commandes, chemins et termes techniques restent en version originale, et le document de l’auteur fait foi.
Explorer les Skills
Données et recherche · SKILL.md

expert-collection-analysis

expert-collection-analysis

智库专家AI数据采集与分析 - 自动化采集政府、智库、媒体的权威专家言论,进行AI智能分析和优先级评分

Independent GitHub snapshot · Automated classification · Original documentation governs

Documentation de la Skill

GitHub

name: expert-collection-analysis description: 智库专家AI数据采集与分析 - 自动化采集政府、智库、媒体的权威专家言论,进行AI智能分析和优先级评分

智库专家数据采集与分析 Skill

适用场景

本Skill适用于以下业务场景:

主要场景

  • 智库研究机构:建立AI数据领域专家知识库,跟踪权威专家最新观点
  • 企业战略部门:监控行业专家动态,识别高价值合作对象
  • 政府部门:构建专家资源库,支持政策制定和咨询
  • 学术会议组织:筛选高价值专家,进行精准邀请

任务特点

  • 需要从多个权威信息源采集专家言论(政府、智库、媒体)
  • 需要AI智能分析专家与特定领域(如AI数据)的相关度
  • 需要对专家进行优先级排序,识别高价值专家
  • 需要专业的数据导出格式(Excel双工作表)
  • 需要与飞书多维表格等办公系统集成

输入要求

使用本Skill需要准备以下输入:

必需输入

  1. 采集领域关键词

    • 默认:人工智能、数据要素、算力、大模型、数字经济
    • 可自定义搜索关键词列表
  2. 时间范围

    • 默认:最近24个月
    • 可调整时间窗口
  3. 飞书配置(如需飞书集成)

    • app_id:飞书应用ID
    • app_secret:飞书应用密钥
    • app_token:多维表格app_token
    • table_id:目标数据表ID

可选输入

  • 优先级评分权重调整(默认:相关度60% + 权威性40%)
  • 单个信息源采集数量限制(默认:20条/源)
  • 自定义信息源配置

执行步骤

步骤1:确认采集目标和范围

  • 确认要采集的领域关键词
  • 确认时间范围(默认24个月)
  • 确认信息源配置(15个权威源)

步骤2:自动化数据采集

系统将从以下15个权威信息源采集数据:

政府部门(5个):

  • 国务院常务会议相关信息
  • 国家数据局政策动态
  • 工业和信息化部行业报告
  • 科技部发展战略
  • 中央政府AI政策

权威智库(5个):

  • 国务院发展研究中心研究报告
  • 中国信息通信研究院分析报告
  • 中国社会科学院学术成果
  • 国家高端智库专题研究
  • 清华大学AI研究进展

权威媒体(5个):

  • 人民网专家观点
  • 新华网政策解读
  • 央广网产业分析
  • 经济日报经济趋势
  • 财经网行业动态

每个信息源生成2个搜索URL(网页搜索 + 新闻搜索),共30个真实百度搜索链接。

步骤3:数据清洗与过滤

  • 时间过滤:保留时间范围内的数据
  • 智能去重:按专家姓名+言论内容去重
  • 数据验证:确保必填字段完整

步骤4:AI智能分析

对每条专家言论进行AI分析:

  1. 相关度评分(0-100分)

    • 分析发言内容与目标领域的相关性
    • 提取关键主题和观点
  2. 权威性评分(0-100分)

    • 评估专家身份、机构地位
    • 分析影响力和学术声誉
  3. 综合优先级计算

    综合分数 = 相关度 × 0.6 + 权威性 × 0.4
    
    高优先级 ⭐⭐⭐:综合分≥70 且 相关度≥60
    中优先级 ⭐⭐:综合分≥50 或 相关度≥40
    低优先级 ⭐:其他
    

步骤5:专家信息聚合

  • 按专家姓名聚合所有言论
  • 补充专家档案信息(单位、职务、简介)
  • 统计发言次数和主题分布
  • 推荐适合的交流活动

步骤6:生成专业报告

  • 生成Excel双工作表文件
  • 工作表1:专家档案(专家基本信息、优先级、相关度)
  • 工作表2:专家言论(链接、时间、内容、主题、要点)
  • UTF-8 BOM编码,完美支持中文
  • 可直接导入飞书多维表格

输出要求

主要输出

1. Excel专业报告

文件路径:output/专家分析报告_YYYYMMDD_HHMMSS.xlsx

工作表1:专家档案

列名类型说明
专家姓名文本专家完整姓名
最新单位文本当前工作机构
最新职务文本当前职务
简介文本专家背景介绍(≤500字)
发言统计数字采集到的言论总数
优先级文本高/中/低
AI数据相关度数字0-100分

工作表2:专家言论

列名类型说明
链接超链接百度搜索URL
时间日期发布日期
专家姓名文本发言人姓名
正文文本言论完整内容
发言主题文本核心话题
发言要点文本关键观点摘要
活动背景文本发言场合/事件背景

2. JSON结构化数据

文件路径:output/expert_analysis_YYYYMMDD_HHMMSS.json

包含完整的结构化数据,便于程序化处理:

{
  "timestamp": "2026-04-15T09:03:00",
  "experts": [...],
  "speeches": [...],
  "statistics": {
    "total_experts": 8,
    "high_priority": 0,
    "medium_priority": 7,
    "low_priority": 1
  }
}

3. 高优先级专家清单

文件路径:output/high_priority_experts_YYYYMMDD_HHMMSS.json

单独提取高优先级专家,便于快速建联。

输出质量要求

✅ 数据完整性

  • 所有必填字段不为空
  • 时间格式标准化(YYYY-MM-DD)
  • 链接真实可访问

📦 提供的脚本

本Skill在 scripts/ 目录下提供了以下可执行脚本:

1. daily_update.py

主执行脚本,用于自动化数据采集和分析:

python scripts/daily_update.py

功能:

  • 从15个权威信息源采集数据
  • AI智能分析评分
  • 生成Excel报告
  • 支持飞书表格集成

依赖:需要配合以下模块使用(用户需自行实现或参考references/)

  • enhanced_main.py - 主处理引擎
  • enhanced_crawler.py - 数据采集器
  • ai_analyzer.py - AI分析模块
  • config.ini - 配置文件

2. analyze_experts.py

专家分析工具,用于对已采集的数据进行深度分析:

python scripts/analyze_experts.py

功能:

  • 读取采集的JSON数据
  • 计算专家优先级
  • 生成分析报告

3. run_collection.sh

一键执行脚本(Bash),快速启动完整流程:

bash scripts/run_collection.sh

流程:

  1. 检查环境和依赖
  2. 执行数据采集 (daily_update.py)
  3. 生成分析报告
  4. 显示结果路径

🛠️ 实现说明

本Skill采用模块化设计,提供两种使用方式:

方式1:使用提供的脚本(推荐)

优点:开箱即用,功能完整 要求:Python 3.8+,需要实现依赖模块

# 1. 安装依赖
pip install requests beautifulsoup4 lxml openpyxl

# 2. 实现或复用依赖模块(参考references/README.md)
# - enhanced_main.py
# - enhanced_crawler.py
# - ai_analyzer.py
# - config.ini

# 3. 执行采集
python scripts/daily_update.py

方式2:通过Agent动态实现

优点:无需Python环境,灵活可定制
要求:使用Claude Agent + baidu-search skill

步骤:

  1. 数据采集:使用 baidu-search skill搜索15个权威信息源
  2. 智能分析:通过Claude API进行AI优先级评分
  3. 结果导出:使用Python/Node.js生成Excel文件

参考代码:

# 1. 搜索数据
from baidu_search import search
results = search("国务院 人工智能 2026")

# 2. AI分析
analysis = {
    "expert_name": "提取的专家姓名",
    "relevance_score": 85,  # 相关度评分
    "priority": "高"
}

# 3. 导出Excel
import openpyxl
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["专家姓名", "优先级", "相关度"])
ws.append([analysis["expert_name"], analysis["priority"], analysis["relevance_score"]])
wb.save("专家分析报告.xlsx")

详细实现说明请参考 references/README.md

✅ 分析准确性

  • 优先级判断逻辑清晰
  • 相关度评分有依据
  • 专家信息真实可靠

✅ 格式规范性

  • Excel编码:UTF-8 with BOM
  • 中文显示无乱码
  • 可直接导入飞书表格

风险与假设

⚠️ 风险提示

  1. 搜索结果时效性:百度搜索结果依赖网络实时状态
  2. 专家信息准确性:需人工核实关键专家的单位职务
  3. 权限要求:飞书API需要企业管理员审批权限
  4. 采集频率:建议每日更新不超过1次,避免频繁请求

📋 假设条件

  1. 网络环境可访问百度搜索
  2. Python 3.8+ 环境已安装
  3. 必要依赖包已安装:requests、beautifulsoup4、lxml、openpyxl
  4. (可选)飞书权限已配置

✓ 需确认事项

  • 采集的领域关键词是否准确
  • 时间范围是否符合需求
  • 优先级评分权重是否合理
  • 是否需要飞书集成

参考资料

详细的使用说明、配置示例和技术文档请参考 references/ 目录:

  • 百度搜索集成指南.md - 如何配置和使用百度搜索采集
  • 快速参考.md - 快速上手指南
  • 项目完成总结.md - 系统架构和实现细节
  • 数据来源真实性解决方案.md - 数据源配置说明

快速使用

安装依赖

pip install requests beautifulsoup4 lxml openpyxl

执行采集

python daily_update.py

查看结果

# 打开生成的Excel报告
open output/专家分析报告_*.xlsx

# 或查看JSON数据
cat output/expert_analysis_*.json

定时更新

系统支持每天早上9:03自动执行(需Claude会话保持运行)。


版本:v1.0.0 License:MIT

Skills enregistrées