虚拟主机运行爬虫(服务器虚拟化软件)
如何进行网站日志分析
一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。
2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。
3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baiduspider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot
二、如何看懂网站日志
（以下为一段日志记录）www.cafehome.com
58.180.251.134-- [25/Mar/2015:13:24:33+0800]"GET/m53256.html
HTTP/1.1" 200 12264"""Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36(KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0""-""-""-"
以下为字段解读：
通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋可以继续深入了解。
大型网站通常可以用以上的方法来进行做日志分析。
普通的个人站点，或者企业网站，则可以通过光年日志分析工具结合百度站长平台一起使用。
三、为什么要做网站日志分析
先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量
因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。
所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取调控：让更多优质的内容被抓取，过滤无效抓取。
网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。
四、怎么做网站日志分析
*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。
举个栗子：
老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。
分2种情况：
了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：
在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率
。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释这个概念，方便理解：
1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：
（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。
小结一下：
老站如何做网站日志分析（针对中文站点）：外界排除：
了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。
内在分析：
（1）使用工具：百度站长平台（非VIP账户看后文介绍）
（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。
五、用光年日志分析工具
非百度VIP：
步骤：
1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）
2.打开光年日志分析工具，上传网站日志。
3.查看分析结果。主要维度有这几个：
（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。
（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。
（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。
（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。
如何打包django去另一台机器运行
导读：本篇文章首席CTO笔记来给大家介绍有关如何打包django去另一台机器运行的相关内容，希望对大家有所帮助，一起来看看吧。
我有个linux的虚拟主机，我想运行django网站，怎么办？
我是linux主机,我这样在本地运行django
1在终端进入django项目的文件夹，是有manage.py的那个目录
2然后运行pythonmanage.pyrunserver
就可以跑起来了
pycharm虚拟环境中的项目如何在别的电脑上运行？
python的虚拟环境venv是不需要复制过去的。它是属于你自己的一个环境设置。路径或者其它的配置可能都不一样。
代码复制到其它电脑上的话需要在另外一台机器上重新配置python环境。
通常我在写项目的时候会把用到的依赖库比如Django，pillow,django-ckeditor等等写到一个叫requirements.txt的文件里面。而文件就放在项目根目录下。这样的话代码移植到别的电脑上或者部署的时候就可以根据requirements.txt文件内容安装依赖。
移植到别的电脑或部署服务器的时候直接重新创建venv然后在该环境下执行pipinstall-rrequirements.txt就可以了
希望能帮到你。还有问题可以回复追问。谢谢
djangoapp打包
1、首先，在你的django项目目录外为你的app（fileapp）创建一个文件夹，将其命名为django-fileupload
2、将fileapp文件夹迁移到django-fileupload目录下
3、创建django-fileupload/README.rst文件，输入以下相关内容
4、创建LICENSE文件，路径django-fileupload/LICENSE,输入license，如果没有，去github上自动生成一个
5、接着，创建一个django-fileupload/setup.py文件，用于提供关于怎样创建和安装这个app的一些细节，内容如下：
6、默认只有python模块和包会包含在包里，如果要包含额外的文件，我们需要创建一个MANIFEST.in文件，内容如下
7、以下建议再包含一些关于你的app的细节。创建一个空的文件夹，命名为docs，然后在django-fileapp/MANIFEST.in文件加上一行
注意：这个docs目录不会包含在包里，除非你添加一些文件进去
8、最后执行打包操作，执行pythonsetup.pysdist(需要在django-fileapp文件夹里执行)，django-fileapp/应该新增了一个叫dist的文件夹，里面就会生成一个包——django-fileapp-0.1.tar.gz
9、安装
不出意外的话，你的app应该能正常执行
10、卸载
11、查看安装后的app信息，如安装路径
如何在服务器上部署Django项目并使其在后台一直运行
前几天老师让我把一个Django项目（爬虫网页）放到校园内网上，但是我想先用自己的服务器来尝试一下。之前刚好有在DigitalOcean上买过服务器用来运行ss脚本，平时服务器一直放着没啥用，所以就拿它来试验一下。
废话不多说，第一步通过WinSCP软件把Django文件传到服务器上。
在服务器中安装Django需要的环境和我所需要的Python第三方库。
以上所有步骤完成后，还需要进行一步操作，这是我经历的一个坑。打开Django文件目录中的settings.py，把ALLOWED_HOSTS=[]改为ALLOWED_HOSTS=["*"]。
在服务器中打开到manage.py所在的目录，输入命令：
python3manage.pyrunserver0.0.0.0:8000
然后按下回车，在浏览器中输入：该服务器IP地址:8000，大功告成！
Attention:
1.python3不是特定的，是根据你的Django项目所需要的环境指定的。
2.8000是端口号，可以修改。
如果想要Django项目一直运行，关闭终端后还在运行，即需要运行如下命令，nohupcommand，command即位上文所说的python3manage.pyrunserver0.0.0.0:8000。
如何将django1.7程序打包成exe程序
python制作exe可执行文件的方法---使用pyinstaller
python生成windows下exe格式的可执行程序有三种可选方案：py2exe是大家所熟知的，今天要介绍pyinstaller，这个工具全平台可用。我曾使用python制作一个工具程序供公司同事使用后，由于公司使用maclinuxwindows都有很多，就使用过它来将程序做成可执行文件，兼容性好，只是会使得程序在linux平台和mac平台启动较慢（windows还是比较快的），但基本够用。
安装完pyinstaller之后就可以开始了。
1.使用pyinstaller生成可执行文件的方法
1.1将依赖文件集中到一个文件夹：
pyinstaller-D-wmain.py#把main.py替换成你的主入口python文件即可。
-w参数代表main.py是一个窗体程序。
1.2将所有依赖文件都打包到同一个可执行文件中：
pyinstaller-F-wmain.py
2.调查pyinstaller生成程序的加载过程
使用如下命令，可以得到运行时的跟踪，tracing，loader的加载过程。
pyinstaller-Fwdaui.py#把aui.py换成你需要侦测的文件即可。
结语：以上就是首席CTO笔记为大家整理的关于如何打包django去另一台机器运行的全部内容了，感谢您花时间阅读本站内容，希望对您有所帮助，更多关于如何打包django去另一台机器运行的相关内容别忘了在本站进行查找喔。
在Django中如何运行网站
导读：今天首席CTO笔记来给各位分享关于在Django中如何运行网站的相关内容，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
我有个linux的虚拟主机，我想运行django网站，怎么办？
我是linux主机,我这样在本地运行django
1在终端进入django项目的文件夹，是有manage.py的那个目录
2然后运行pythonmanage.pyrunserver
就可以跑起来了
django怎样开发一个可以外网用的网站
了解Python语法和基础
学习Django框架使用
试着用django做个简单例子（博客，论坛等）
申请服务器和域名
在服务器上搭建环境和拷贝自己的代码
在服务器运行后，打开浏览器敲域名即可访问该网站
如何在服务器上部署Django项目并使其在后台一直运行
前几天老师让我把一个Django项目（爬虫网页）放到校园内网上，但是我想先用自己的服务器来尝试一下。之前刚好有在DigitalOcean上买过服务器用来运行ss脚本，平时服务器一直放着没啥用，所以就拿它来试验一下。
废话不多说，第一步通过WinSCP软件把Django文件传到服务器上。
在服务器中安装Django需要的环境和我所需要的Python第三方库。
以上所有步骤完成后，还需要进行一步操作，这是我经历的一个坑。打开Django文件目录中的settings.py，把ALLOWED_HOSTS=[]改为ALLOWED_HOSTS=["*"]。
在服务器中打开到manage.py所在的目录，输入命令：
python3manage.pyrunserver0.0.0.0:8000
然后按下回车，在浏览器中输入：该服务器IP地址:8000，大功告成！
Attention:
1.python3不是特定的，是根据你的Django项目所需要的环境指定的。
2.8000是端口号，可以修改。
如果想要Django项目一直运行，关闭终端后还在运行，即需要运行如下命令，nohupcommand，command即位上文所说的python3manage.pyrunserver0.0.0.0:8000。
结语：以上就是首席CTO笔记为大家介绍的关于在Django中如何运行网站的全部内容了，希望对大家有所帮助，如果你还想了解更多这方面的信息，记得收藏关注本站。
