①网站结构要层次分明

尽可能短的距离到达最终内容页或者产品页！常用结构：树形结构。扁平式结构更好，直接从首页就可以到达各个内容页（适合于内容少的）。

 ②url要具有唯一性

比如说ete2.com与www.ete2.com与www.ete2.com/index.asp是三个一样的页面，但是路径不同，所以我们要确定一个主域名。也就是说我们程序要保证这篇文章就一个路径，而不是好几个不同的路径指向同一篇文章。

③路径中的参数尽量少。

正常的企业站 你会发现含有2个参数的收录明显不如含有一个参数的。

④建议有404页面、robots文件

这样可以避免蜘蛛爬行一些没必要收录的路径，从而减少了对网站有效内容的爬行频率。

⑤百度应该能分辨一些拼音，所以说有效的拼音目录也有利于百度对内容的一个识别。

⑥入口多了，爬行次数也应该会多。这应该就是外链的其中一个作用，增加蜘蛛进入网站的入口。

⑦网站地图这个是促使蜘蛛遍历网站内容的一个好方法。对于大型网站可以加一个tag标签页。