譬如對於http://www.Google8.net/archives/000062.html ，搜尋引擎是否會索引？敷衍了事的答案是「會」。對一個站點中包含的子目錄，只要鏈向該層子目錄的連結提供有搜尋引擎能夠跟進的導航配置和URL結構，那麼所有的搜尋引擎都會對子目錄提供遍歷。網絡目錄結構 理想情況下，尤其對於一個規模比較小的站點來說，其目錄結構應該是單一的(flat)，即對實際的網頁不存在或只有一層子目錄。而對規模大一些的站點來說，兩到三層子目錄是最理想的。從搜尋引擎的角度看，一個單一的目錄結構為最佳。圖形、腳本、CGI-BIN和樣式表除外。它們應被放入子目錄中而不是根目錄下。
URL結構同時向搜尋引擎和你的訪問者清晰地表明了在你的網站中，你認為哪些網頁是最重要的。換言之，如果你覺得有一個頁面是非常重要的，則該網頁的URL就應使用頂級URL而不應將其放在子目錄下。
頂級網頁的URL結構一般如下所示：
http://www.Google8.net/Google.html
含一層子目錄的URL結構一般為：
http://www.Google8.net/archives/000063.html 其中：Google8.net是域名，archives一級子目錄名，000063.html是網頁名。
含兩層子目錄的URL的結構一般為：
http://www.danet.tw/curtain/2/product1.html 其中：danet.tw是域名，curtain是一級子目錄名，2是二級子目錄名，product1.html是二級子目錄下網頁名，等等，依此類推。
在對一個網站的檢索中，只要你的網站提供有搜尋引擎能夠跟進的導航配置和URL結構，則搜尋引擎通常會遍歷至少三層子目錄。不過，比子目錄的層次數更為重要的一點卻是：在你的子目錄下是否有來自其它網站的外部連結。假如你的網站有第四層目錄，且在該目錄下提供了非常重要的內容，同時又包含了大量的外部連結，那麼你盡可以放心，搜尋引擎照樣會對你的這個第四層目錄進行檢索的。
搜尋引擎營銷的小伎倆
在搜尋引擎的營銷中，有很多搜尋引擎營銷商都喜歡使用這樣一個小伎倆：由於他們知道搜尋引擎會自動檢索多層子目錄，於是他們就有意用復合關鍵詞/短語專門創建一個子目錄，以確保搜尋引擎能夠看到這個目標關鍵詞。但在我看來，這種伎倆其實不會有什麼實際的效果，因而並不可取。
例如，一個銷售有機茶的公司，如果使用以上策略，則可能有如下的URL和目錄結構：
http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html
其中：
1. tranquiliteasorganic.com是域名。
2. Oolong-tea是一級子目錄名，在其域名中包含了關鍵詞「oolong tea」，以連字符分開。
3. Oolong.html是二級目錄下的網頁名。
對使用了子目錄的URL結構http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html ]和頂級URL http://www.tranquiliteasorganic.com/Oolong.html ，哪一種要更好呢？對我來說，我是不會純粹為了能夠在搜尋引擎中取得好排名而去更改子目錄結構的。原因就在於在域名或URL中使用關鍵詞這個辦法或者壓根不重要，或者效果微乎其微。
我的答案要取決於這是一個什麼樣的網站。如果有機烏龍茶有很多種，而且這個網站提供了相當數量的關於烏龍茶的內容獨特和質量高的網頁，那麼我推薦使用子目錄結構。同樣，為了保證網站的一致性和易用性，我還希望他們能夠為提供的所有類型的茶都設立子目錄。可是既然我很難相信會有大量關於烏龍茶的內容獨特和質量高的網頁，因而我懷疑這個子目錄是否有必要。使用Robots Exclusion Protocol協議(拒絕Robots訪問協議)
在一個用數據庫驅動的網站上，在不同子目錄中放入類似或完全相同的內容是頗為普遍的，因為這樣可以提高用戶體驗。
我們再以上面的那個茶葉站點為例，假設該站點對每種茶葉都設立了不同子目錄，並提供有大量內容獨特和高質量的網頁，那麼對烏龍茶(oolong tea)，綠茶(green tea)和茶具這三者，它們的URL結構分別如下：
1. 烏龍茶頁：http://www.tranquiliteasorganic.com/Oolong-tea/Oolong.html
2. 綠茶頁：http://www.tranquiliteasorganic.com/Green-tea/Green.html
3. 茶具頁：http://www.tranquiliteasorganic.com/Tea-accessories/accessories.html
如果該網站亦提供有散裝的烏龍茶和綠茶，那麼對於該網站下一個關於泡茶茶具的網頁，將其放入烏龍茶，綠茶和茶具子目錄這三個目錄下也是合乎邏輯的。從易用性和用戶體驗的角度來看，這不失為一個好策略。然而對於搜尋引擎來說，它們卻往往把這樣的內容視為冗余內容。搜尋引擎不喜歡比較多數據庫驅動的站點的一個原因就是，它們常常一次又一次地得到相同的內容。
因而，如果泡茶茶具這個網頁在上述三個一級子目錄中都存在，搜尋引擎是否會認為這是冗余內容，而且可能因為這個站點提供這樣的內容而處罰它呢？最有可能發生的是，搜尋引擎只顯示該網站上包含很多鏈入連結的那個網頁，而不會顯示網站上的其它網頁。
同時，也有很多缺乏職業道德的搜尋引擎營銷商過分使用該策略，對完全相同的信息生成大量冗余內容。因而極有可能被搜尋引擎認為是SPAM而受到處罰。
為了使網站百分百的安全，你可以在網站的冗余內容中放入一個純文本文件robots.txt(Robots Exclusion Protocol)，在這個文件中聲明該網站中不想被robot訪問的部分，這樣就可以限定搜尋引擎對你網站的檢索範圍。不過，你還需要對站點的統計數據進行仔細的分析，看看哪個子目錄是最常用到的，對這樣的子目錄可不要放robots.txt文件哦。
在上述情形下，使用robots.txt文件解決了兩個問題。首先，它向搜尋引擎傳達了你並非故意傳輸冗余內容。其次，由於相關的容在適當的子目錄下仍然有效，所以對用戶體驗並無負面影響。
結論：一般來講，搜尋引擎在對子目錄的檢索上不存在問題。如果你發現把你的網站劃分為子目錄結構能夠為用戶提供更好的用戶體驗，那麼你盡可以這麼做。但是不要只是為了引起搜尋引擎的注意而創建子目錄。有許多策略都能夠達到這樣的目的，它們不但無需花費你很多時間，而且還會給你的網站帶來比較好的投資回報(ROI)。
這個用戶提出的問題引出了在搜尋引擎業界中引發激烈爭論的問題：一個網站何時使用子目錄(subdirectories)，子域(subdomains)或迷你網站(mini-sites)最合適？網站業主是否應利用目標關鍵短語創建自己網站的URL？是否子目錄的名稱中應包含關鍵短語？那又是後話了。
留言列表
