python是目前开发爬虫最好的语言，本次爬取youtube视频所需用到：
python环境，scrapy框架，pycharm编译器，mongo数据库
步骤：
1.windows python环境搭建和安装：
进入python官网https://www.python.org/进行下载python3.7，进行安装并配置环境变量
2.安装python编译器pycharm
进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装
3.安装mongodb数据库
进入mongodb官网进行下载https://www.mongodb.com/download-center/community
4.启动cmd通过以下命令安装scrapy框架
pip install scrapy
5..搭建scrapy爬虫框架并使用pycharm打开
通过命令 scrapy startproject youtube 创建爬虫项目，然后切换到youtube目录下创建爬虫文件：scrapy genspider youtubeInfo *使用pycharm打开，项目目录结构如图
6.scrapy各模块介绍:
item.py：用于设置爬虫想要爬取的字段
middlewares.py：中间件文件，用于处理反爬虫的文件，设置代理，异常处理等方式会写在这里面
pipelines.py：管道文件，主要用于数据保存
settings.py：通用配置文件，数据库设置，爬虫协议通常在这里面设置
spiders下的youtubeInfo.py文件：这是编写爬虫的文件，爬虫的爬取规则逻辑都在这里实现
爬虫文件编写完成后，在settings.py中将管道设置打开，通过scrapy crawl youtubeInfo 命令启动爬虫，爬虫数据被保存到mongodb数据库中
6.从mongodb数据库导出csv文件
本文地址：https://blog.csdn.net/he_ranly/article/details/108253759
