虚拟主机 日志分析？虚拟机找不到日志文件

如何进行网站日志分析

一、什么是网站日志

1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。

为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baiduspider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot

二、如何看懂网站日志

（以下为一段日志记录）www.cafehome.com

58.180.251.134-- [25/Mar/2015:13:24:33+0800]"GET/m53256.html

HTTP/1.1" 200 12264"""Mozilla/5.0

(Windows NT 6.1) AppleWebKit/537.36(KHTML, like Gecko)

Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0""-""-""-"

以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋可以继续深入了解。

大型网站通常可以用以上的方法来进行做日志分析。

普通的个人站点，或者企业网站，则可以通过光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析

先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量

因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。

所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取调控：让更多优质的内容被抓取，过滤无效抓取。

网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。

四、怎么做网站日志分析

*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。

举个栗子：

老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。

分2种情况：

了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。

分析内在：

在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释这个概念，方便理解：

1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。

小结一下：

老站如何做网站日志分析（针对中文站点）：外界排除：

了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：

（1）使用工具：百度站长平台（非VIP账户看后文介绍）

（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具

非百度VIP：

步骤：

1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）

2.打开光年日志分析工具，上传网站日志。

3.查看分析结果。主要维度有这几个：

（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

网站日志太大怎么分析日志太大怎么查看

如何做网站日志分析？

一、什么是网站日志？

1.网站日志是一个以log结尾的文件，记录各种原始信息，如web服务器收到的处理请求和运行时错误。

2.通过网站日志，可以清楚的知道用户在什么IP、什么时间、什么操作系统、什么浏览器、什么解析设备下访问了网站的哪个页面，访问是否成功。

3.搜索引擎也属于网站中的一类用户。我们今天的分享课主要是针对服务器上搜索引擎一样的用户留下的记录进行分析。

为了方便阅读搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识。下面是四个搜索引擎的logos百度蜘蛛:Baiduspider*搜狗:搜狗新闻蜘蛛*360:360蜘蛛*谷歌:Googlebot

二、如何理解网站日志

(以下为日志记录)www.cafehome.com

58.180.251.134--[2015年3月25日13时24分33秒0800]GET/m53256.html

HTTP/1.120012264Mozilla/5.0

(WindowsNT6.1)appleWebKit/537.36(KHTML，像壁虎一样)

chrome/35.0.1916.153Safari/537.36SE2。XMetaSr1.0

以下字段的解释:

通常，当日志文件较大时，需要结合shell和python来提取和分析数据。所以，读取网站日志中的字段有利于日常分析。这里就不赘述了。感兴趣的童鞋可以继续深入了解。

大型网站通常可以使用上述方法来做日志分析。

普通的个人网站，或者企业网站，可以通过光年日志分析工具，与百度站长平台配合使用。

三、为什么要做网站日志分析？

我们先来了解一下SEO流量的获取流程:抓取->索引->排名->点击->流量

所以获得SEO流量的前提一定是有价值的页面被搜索引擎抓取。

所以对于SEO运营来说，分析搜索引擎的网站日志是非常必要的:*分析是否有抓取:解决一定的索引问题。*发现异常:及时避免。比如有大量的异常页面，404等。*抓取控制:让更多的优质内容被抓取，过滤无效。

Webanalytics的最终目标:让更多有价值的页面被抓取，你就有机会获得索引，从而有机会获得SEO流量。

四、如何做网站日志分析

*定期监控搜索引擎抓取量的变化，历史数据的横向和纵向对比可以发现异常情况。*使用第三方站长平台，如百度站长平台，了解搜索引擎抓取频率的变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目和页面抓取量的变化。

举个栗子:

老站点(建站1年，有人维护的网站):Seo流量波动异常。

有两种情况:

了解外界:了解外界的前提是你平时有一定的网络基础。如果没有，也没关系。泡在2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如像百度搜索引擎，有站长平台，也会相应建立站长QQ群。在人脉的基础上，可以直接了解外界——有没有类似的波动？这个前提要和你短期的SEO操作一起考虑，避免误判。无人脉，泡泡群，泡泡站长平台。通常如果搜索引擎算法升级，群内或者站长平台都会有相关的小道消息。如果是搜索引擎自身算法升级导致的流量波动，就必须根据新的算法做出相应的站内优化。比如百度冰桶3.0版本提出，将严厉打击百度移动搜索中打断用户完整搜索路径的调用行为。如果站点有以上情况，就需要有针对性的优化:无论是通过对接的APPLINK调用，还是网页本身调用的应用，还是普通的网页，都应该是可返回可关闭的。用户验证搜索结果的准确性，不需要下载应用程序或获得许可。

分析内部:

在分析里面之前，再抛一下这个公式:Seo流量=抓取量*收录率(准确的说应该是索引率)*首页率*点击率。

。当抓取频率异常时，抓取量必然会减少。因此，排除外部因素，有必要对网站日志进行分析。如果你的站点是中文站点，并且是百度站长平台的VIP用户。那么，可以先使用第三方站长平台(比如百度)的“抓取频率”工具，了解搜索引擎的近期抓取频率、抓取时间、异常页面等。通常在这个工具的帮助下，我们可以对搜索引擎最近的抓取情况有一个初步的了解，也可以借助这个工具找到一些相应的解决方法。

这里，首先解释一下这个概念，以便于理解:

1.抓取频率:抓取频率是搜索引擎在单位时间内(天级)抓取网站服务器的总次数。如果搜索引擎对某个站点的抓取频率过高，很可能造成服务器不稳定，蜘蛛会根据网站内容更新频率、服务器压力等因素自动调整抓取频率。

2.抓取时间:是指搜索引擎每次抓取所花费的时间。影响抓取频率的可能原因有:

(1)如果抓取频率的上限被错误地调整和降低，将直接影响抓取量。抢量减少，指标量就少，流量也相应减少。

(2)运营层面:存在大量重复页面(案例一:自身网站存在大量重复内容。情况二:自己网站的内容大量收集互联网上已有的内容)。从搜索引擎的目标出发——搜索引擎想要抓取更多更好的页面，但是你的网站产生了大量的在线内容。为什么要在你的网站上浪费资源？另外，网站内容更新时间不长。建议通过定时、定期生产优质内容来解决这个问题。抓取时间越长，网站抓取越少。通常情况下，有可能服务器速度慢会导致抓取时间变长。还有一种可能是和网站本身的结构有关。太深的等级制度导致。

总结一下:

老网站如何做网站日志分析(针对中文网站):外部排除；

了解搜索引擎的最新算法是否有变化，同行是否有类似变化。

内在分析:

(1)使用工具:百度站长平台(非VIP账号，见下面介绍)

(2)分析方法:主要使用抓取频率分析工具进行分析，网站抓取频率、抓取时间、页面异常情况等数据变化。并与相关部门进行对接解决。

五、使用光年日志分析工具

非百度VIP:

步骤:

1.下载网站日志(如果是企业网站，可以直接找运维部的童鞋帮你下载。如果是个人站长，直接在你买的虚拟主机后台下载。该文件以。日志)

2.打开光年日志分析工具，上传网站日志。

3.检查分析结果。主要有以下几个方面:

(1)一般分析:各种爬虫的总抓取量、总停留时间、总访问次数。

(2)目录分析:分析各种爬虫抓取各个目录的情况。通过这个我们可以了解到搜索引擎对一些重要栏目的抓取，以及抓取了哪些无效页面。

(3)页面分析:通过页面分析，可以知道哪些页面被频繁重复抓取，可以据此进行优化和调整。比如一些网站的注册页面和登录页面，经常会发现被抓取了很多次。当这种情况发生时，我们通常会屏蔽登录/注册页面。

(4)状态码有两种:爬虫状态码和用户状态码。反映主用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解页面状态，并做出相应的调整，比如当网站中存在大量的404页面时。这需要进一步调查。比如一些团购页面，团购到期后页面直接变成404，但是死链列表没有提交到百度站长平台，这样很容易导致抓取无效。

sqlserver数据库日志文件太大，怎么清理？

收缩数据库一般情况下，SQL数据库的收缩并不能很大程度上减小数据库大小，其主要作用是收缩日志大小，应当定期进行此操作以免数据库日志过大

1、设置数据库模式为简单模式：打开SQL企业管理器，在控制台根目录中依次点开MicrosoftSQLServer-->SQLServer组-->双击打开你的服务器-->双击打开数据库目录-->选择你的数据库名称（如论坛数据库Forum）-->然后点击右键选择属性-->选择选项-->在故障还原的模式中选择“简单”，然后按确定保存

2、在当前数据库上点右键，看所有任务中的收缩数据库，一般里面的默认设置不用调整，直接点确定

3、收缩数据库完成后，建议将您的数据库属性重新设置为标准模式，操作方法同第一点，因为日志在一些异常情况下往往是恢复数据库的重要依据

互联网分析数据的条件？

第一阶段：数据收集

假设在线业务大多数都是在你公司官网上进行，那么大部分线上营销、搜索营销和用户行为活动的相关数据，都可以通过：

网页日志文件收集—你必须精通网页日志文件收集数据的原理，并且知道哪些数据是可收集的。网站日志文件可以"记录"所有用户在网站上加载的文件，因此你可以轻易地发现网页的哪些"部分"没有响应用户的请求。网站日志分析参考：网站日志分析。

网站分析—全球大部分网站都使用分析工具。网站分析工具一般具有图形界面，可以快速显示用户的数据趋势。所有数据可以以表格、文本文件甚至是PDF文件的形式下载到本地。

利用网站分析工具收集用户数据前，需要安装基础设置来追踪数据。通常要插入一些JavaScript的追踪脚本或者在网站所有HTML页面插入一些1*1像素的脚本。如果你需要收集的用户数据超出默认设置所收集的用户数据，需在常规追踪脚本外安装高级追踪脚本。

如何做好网站日志分析

在做网站日志分析之前，得先弄明白：

1.什么是网站日志？

2.在什么情况下需要做网站日志分析？

什么是网站日志？

网站日志，准确来说是服务器日志。通过服务器日志，我们可以了解到用户在什么IP、在什么分辨率的设备、什么时间、什么地区访问了我们的网站，以及当时访问的页面是否正常。

对于我们网站而言，搜索引擎也是网站用户之一。本文提到的网站日志分析，更多是在分析搜索引擎这种用户。

在什么情况下需要做网站日志分析？

1、老站点（建站1年且正常运营的网站）：Seo流量出现异常波动。

2、刚建立不久的站点（建站6个月以下的网站）：定期分析。

了解以上两种情况后，我们如何进行网站日志分析？

针对老站点网站日志分析

作为一个Seoer是需要定期做数据分析。了解网站Seo流量的波动情况。当网站Seo流量波动在10%及以上就需要进一步深入分析。

分2种情况：

了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。

有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。

无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。

如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。

比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。

如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。

分析内在：在分析内在之前，再次抛出这个公式：

Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率。当抓取频次、抓取时间出现异常必然引起抓取量的减少。

因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助百度站长平台的“抓取频次”工具，先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释2个概念，方便理解：

1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2.抓取时间：指的是搜索引擎每次抓取耗时。

影响抓取频次的可能原因

1.抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

2.运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。

抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致

小结一下老站如何做网站日志分析（针对中文站点）：

外界排除：了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：1.使用工具：百度站长平台。（非VIP账户看后文介绍）

2.分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

针对新站点如何做网站日志分析

对新站点做网站日志分析，主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期（沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段，我们将这个阶段称为沙盒，在沙盒里面的这段时间，我们将其称为沙盒期，沙盒期一般都是2-6个月。）进入沙盒期并不意味着站点不会被抓取，由于新站点建立之初，权重较低，内容量较少，因此抓取量等相应的也不会太多。

前期，我们分析新站点网站日志，主要是分析站点是否有被爬虫抓取过？如果没有的情况下，一来是要让站点持续更新优质的内容，二来，在站点建设较为完善的情况下，需要主动向搜索引擎提交链接，让爬虫发现你的站点。除此之外，还可以通过正确渠道交换一些优质的友情链接，吸引爬虫来抓取。

通常新站点建立之初较难获得百度站长平台VIP账号，那么分析网站日志，我们可以通过下载光年日志分析工具进行分析。

步骤

1、下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）

2、打开光年日志分析工具，上传网站日志。

3、查看分析结果。主要维度有这几个：

（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。