网站布局
符合搜索引擎的网站布局就是扁平化的树形结构，设置合理的面包屑导航，首页-栏目页-文章页。控制在3-4层，太深给蜘蛛抓取带来麻烦，最好合理设置是三层，这种搜索引擎最喜欢爬取。也有利于蜘蛛抓取更多的页面。还有一点，给网站制作网站地图，方便蜘蛛抓取网站整体内容，通过地图蜘蛛能更快爬去网站页面，同时在robots里设置网站地图的地址，蜘蛛在访问robots文件时第一时间可以访问sitemap文件。