基本的搜索引擎优化技术是创建一个便于搜索引擎索引的网站，能够让搜索引擎顺畅的去爬取网站中的每一张页面，对于有些在HTML代码里面的程序，还没有识别抓取的能力。例如说，一些网站的图片、JS、Frame等，还没有完全判别这些文件所包含的信息。所以，一些比较复杂的程序代码，蜘蛛读取起来困难就更多了。
所以在规划一个网站的时候，程序员开发网站程序时，我们建议需要注意以下几点问题：
一、链接代码
整站内部任何一个链接，最好是以HTML的链接代码实现。千万不要通过程序，比如JS来传递链接，对于这样的链接代码，搜索引擎的蜘蛛是无法读懂的。
二、重点文本内容的处理
对于网页上的一些重点信息，为了方便数据的更新，网站管理员对这些信息进行封装或者嵌套处理。这在SEO的角度看来，是一个比较严重的错误。这样做的坏处在于，搜索引擎的蜘蛛会无法爬取到网页的正文并且会认为网页没有正文内容，是一张比较空洞的页面。这样的页面，如果在整站内部，占据一定比例的话，可能会引起搜索引擎的处罚，比如：内容相似度太高。