linux 爬虫，python爬虫用到的库
大家好，今天给各位分享linux 爬虫的一些知识，其中也会对python爬虫用到的库进行解释，文章篇幅可能偏长，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在就马上开始吧！
Python爬虫是什么
为自动提取网页的程序，它为搜索引擎从万维网上下载网页。
网络爬虫为一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。
扩展资料：
网络爬虫的相关要求规定：
1、由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。
2、按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。
3、文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能。
参考资料来源：百度百科-网络爬虫
学习爬虫对电脑有什么要求
现今，各种配置的电脑都可以用于学习Python。即使是老旧的赛扬处理器，奔腾4256M，甚至512内存的电脑，只要拥有20G以上的硬盘空间，也能够运行。
通常来说，电脑只需要能够流畅运行Windows XP或Linux操作系统即可。对于初学者而言，树莓派是一个极佳的选择，因为它不仅小巧便携，还具备强大的学习功能。
学习Python的关键不在于硬件配置，而在于个人的求知欲望。请不要以学习Python为借口，购买一台游戏电脑。希望每位学习者都能专注于知识的探索与积累。
使用Python进行编程时，可以利用开源的集成开发环境（IDE），如PyCharm或Visual Studio Code，它们能够在大多数配置的电脑上运行良好。
值得注意的是，虽然低端硬件可能会影响Python开发的效率，但不会对学习Python的核心内容造成影响。许多在线课程和教程都提供了针对不同硬件条件的学习指南，帮助学习者克服这些挑战。
总之，学习Python并不需要昂贵的硬件配置。重要的是保持对知识的热情，并充分利用可用资源进行学习。
Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为
Linux shell命令
1.百度蜘蛛爬行的次数
cat access.log| grep Baiduspider| wc
最左面的数值显示的就是爬行次数。
2.百度蜘蛛的详细记录(Ctrl C可以终止)
cat access.log| grep Baiduspider
也可以用下面的命令：
cat access.log| grep Baiduspider| tail-n 10
cat access.log| grep Baiduspider| head-n 10
只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。
3.百度蜘蛛抓取首页的详细记录
cat access.log| grep Baiduspider| grep“GET/ HTTP”
百度蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。
4.百度蜘蛛派性记录时间点分布
cat access.log| grep“Baiduspider”| awk‘{print$4}'
5.百度蜘蛛爬行页面按次数降序列表
cat access.log| grep“Baiduspider”| awk‘{print$7}'| sort| uniq-c| sort-r
文中的Baiduspider改成Googlebot都可以查看谷歌的数据，鉴于大陆的特殊性，大家应该对百度的log更为关注。
附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log| grep Mediapartners
Mediapartners-Google是什么呢?Google adsense广告之所以能与内容相关，因为每个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了，真厉害啊！
ps：linux下nginx如何启用网站日志，查看蜘蛛爬虫
默认的路径是你安装时候指定的
如果用的LNMP之类的安装包
你可以在SHELL下
whereisnginx
找到相应的路径之后
在NGINX下的CONF文件夹里看配置文件，日志文件如果记录了话
在配置文件里有路径的～
