【網站架站、行銷、賺錢術】 課程 + 技術諮詢 教你全方位的網站架站技術 從網站網站架站,到網站行銷技巧、各種賺錢方式一次學會,馬上可以實際執行及運用。(生意馬上好!) 教你修改.設計.主題布景(型版) 你擔心型版(主題布景)沒地方下載?不用還要花錢請人修改,讓您100%學會型版(主題布景)設計。 提供網站安裝程式(含外掛程式) 課程中附贈網站安裝程式,外掛全部繁體中文化了!讓你賺得比學費還多,不用另外購買或花錢請人修改! 頁面構建器 Bootstrap 技術手冊 提供頁面構建器外掛程式也附給你(獨家中文化版喔!),還有CSS.Bootstrap語法手冊(也是中文化版),統統一次讓你擁有。 提供jQuery廣告看板掛載技術 要請專家幫你設計jQuery+JS+XML程式你要花5000元以上,各種廣告掛載更是不便宜!本課程中有附贈。 教你行銷及賺錢秘訣 總教頭提供實際職業架站及行銷賺錢經驗,錄影實際範例示範給你看!讓你完整學會各種技巧!快速成為:網站行銷賺錢達人。 傳授秘技、直接有效!(精準、快速、無學不會的擔憂....)

robots.txt應該寫的越簡單越好,不過後台的網頁是必須禁掉的,而且一個正規的網站需要有一個robots.txt檔案。
這裡幾種比較適合wordpress部落格的robots寫法,嚴格的、簡單的和合適的,隨你挑。

最簡單的寫法

User-agent: *
Disallow: /wp-
Disallow: /?s=
Sitemap: http://shandian.biz/sitemap.xml

解釋:
User-agent: *,容許所有蜘蛛訪問,限制以「wp-」開頭目錄及檔案,限制抓取站內搜尋頁面。
Sitemap是指你網站的目錄結構,通常是以xml檔案的形式存在。wordpress部落格可以通過Google XML Sitemaps外掛程式生成sitemap。

最嚴格的寫法

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
Sitemap: http://shandian.biz/sitemap.xml

解釋:
比最簡單的寫法要更嚴格,還限制抓取.php檔案、.inc檔案、.js檔案、.css檔案,限制抓取搜尋結果。

Disallow: /wp-* 會連同附件目錄一起限制抓取,如果想讓搜尋引擎抓取附件中的內容,將第三行的 # 號註釋去掉。Allow 不是所有搜尋引擎都支援。

比較合理的寫法

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://shandian.biz/sitemap.xml

容許所有搜尋引擎抓取,逐一列舉需要限制的目錄,限制抓取搜尋結果。

robots.txt其他寫法

為避免在搜尋引擎中出現重複頁面,Wordpress玩家自創了很多robots寫法,列舉一些常用的,作為參考(適用於偽靜態模式的永久連結):

Disallow: /page/

#限制抓取Wordpress分頁

Disallow: /category/*/page/*

#限制抓取分類的分頁

Disallow: /tag/

#限制抓取標籤頁面

Disallow: */trackback/

#限制抓取Trackback內容

Disallow: /category/*

#限制抓取所有分類清單

最後,推薦使用Google管理員工具,登入後訪問「工具 -> 分析 robots.txt」,檢查檔案有效性。