??Robots文件是當(dāng)搜索引擎在抓取和訪問(wèn)網(wǎng)站的時(shí)候所第一個(gè)訪問(wèn)的文件。
??我們?cè)谶@個(gè)文件上可以設(shè)置搜索引擎。設(shè)置哪些頁(yè)面可以被搜索引擎抓取,還有哪些頁(yè)面不被搜索引擎抓取。??如果是個(gè)人網(wǎng)站,涉及到個(gè)人隱私的部分可以設(shè)置成不被搜索引擎所抓取。這樣的話就不會(huì)在網(wǎng)站中搜索和檢查到。??如果是一般性的商業(yè)網(wǎng)站,我們會(huì)設(shè)置成所有的頁(yè)面都會(huì)被抓取。??這些是寫(xiě)入文件的時(shí)候一些常用的寫(xiě)法。里面的*號(hào)是代表所有,如果后面是空白,不寫(xiě)的話就是代表沒(méi)有。堅(jiān)持為客戶提供有價(jià)值的服務(wù)和內(nèi)容