3.1抓取友好性
关于抓取的优先级,在此重点强调:
√网站更新频率:经常更新高价值的站点,优先抓取
√受欢迎程度:用户体验好的站点,优先抓取
√优质入口:优质站点内链接,优先抓取
√历史的抓取效果越好,越优先抓取
√服务器稳定,优先抓取
√安全记录优质的网站,优先抓取
顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素,站长可以通过本章节了解。
3.1.1URL规范
网站的URL如何设置,可参考2.3. 1 中的URL设置规范
3.1.1.1参数
URL中的参数放置,需遵循两个要点:
√参数不能太复杂
√不要用无效参数,无效参数会导致页面识别问题,页面内容最终无法在搜索展示
另外,很多站长利用参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为,这里强调下,尽量不要出现这种形式资源,例如:
3.1.2链接发现
3.1.2.1百度蜘蛛
很多站长会咨询如何判断百度移动蜘蛛,这里推荐一种方法:只需两步,正确识别百度蜘蛛
查看UA
如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA 1:
Mozilla/5.0 (Linux;u;AndROId 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; BAIduspider/2.0;+http://www.baidu.com/search/spider.html)
移动UA 2:
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1
(compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
PC UA 1:
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA 2:
Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
反查IP
站长可以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:
在Linux平台下,可以使用hostip命令反解IP来判断是否来自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。
这里需要在提出一点,建议使用DNS更换为8.8.8. 8 后进行nslookup反向解析,否则很容易出现无返回或返回错误的问题。
更多资讯关注靠谱推:http://www.jutui360.com/list-8/ 联系电话:400-606-5558 qq/微信:shijianyingxiao8靠谱推已与百度、搜狗、神马、360、头条、快手、广点通深度合作渠道,顶级代理,一手渠道,大量现户收量,返点高、开户快、框架稳定,流量稳定,合作客户超过200多家!
承接各类型广告投放有:游戏推广、电商推广、二类电商推广、祛斑祛痘推广、防脱生发黑发推广、衣服、鞋子、望远镜推广、海参推广、藏红花推广、茶叶推广、灭蚊灯推广、化妆品推广、口红推广、冬虫夏草推广、手机游戏推广、狐臭推广、减肥推广、脱毛推广、护肤推广等及各类小病种,靠谱推专业服务值得信赖!
(全媒体开户-靠谱推官微:)