大家好，我是外貿(mào)老司機(jī)Allan。shopify入門小白或者對(duì)獨(dú)立站和跨境電商感興趣的朋友們，歡迎關(guān)注我，這里將持續(xù)分享更多運(yùn)營(yíng)干貨哦~
今天，我們將向你展示如何利用內(nèi)部鏈接、robots.txt 文件和 XML 站點(diǎn)地圖來幫助 Google 更快、更有效地抓取你的 Shopify 商店并為其編制索引。
Shopify 和 robots.txt：你需要知道的一切
簡(jiǎn)單地說，robots.txt 是一個(gè)簡(jiǎn)單的文本文件，它告訴 Google 你網(wǎng)站的哪些頁面要抓取，哪些不要抓取。
一般來說，seo 不需要 robots.txt 文件。但是，擁有 robots.txt 有幾個(gè)不容忽視的好處：
- 它可以防止 Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的頁面（例如，登錄/注冊(cè)頁面、帳戶頁面等）。
- 它可以防止 Googlebot 抓取和索引沒有 SEO 權(quán)重的頁面和資源（例如，“謝謝”頁面、預(yù)覽頁面、pdf 文件（例如，產(chǎn)品手冊(cè)）等）。
- 它可以防止 Googlebot 抓取薄內(nèi)容頁面或包含重復(fù)內(nèi)容的頁面。
- 它可以幫助搜索引擎更輕松地找到你的站點(diǎn)地圖（robots.txt 文件包含指向站點(diǎn)地圖的鏈接）。
- 它可以幫助 Google 更快、更有效地抓取你的網(wǎng)站并將其編入索引。
- 它可以優(yōu)化你的抓取預(yù)算（通過確保 Google 不會(huì)抓取不應(yīng)抓取和編入索引的網(wǎng)頁）。
你需要了解的有關(guān) Shopify 和 robots.txt 的信息：
圖片來源：Final Straw的 robots.txt 文件
在我們進(jìn)一步討論之前，讓我們解釋一下每個(gè)指令（即 robots.txt 文件中的每一行）的含義：
- “User-agent”指令指定指令適用于哪個(gè)爬蟲。換句話說，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用戶代理，則該用戶代理（例如“Googlebot”）應(yīng)遵循說明，但不同的代理（例如，“Bingbot” - Bing 的爬蟲）應(yīng)該繼續(xù)尋找更具體的指令。如果未指定用戶代理（如上述情況），則所有搜索引擎機(jī)器人（或爬蟲程序）都應(yīng)遵循這些說明。
- “允許”指令僅適用于 Googlebot。它告訴 Googlebot 它可以訪問特定網(wǎng)頁或子文件夾，即使其父頁面或子文件夾可能被禁止。
- “禁止”指令告訴搜索引擎機(jī)器人不要抓取和索引哪些頁面。
- “站點(diǎn)地圖”指令將搜索引擎機(jī)器人指向你的 XML 站點(diǎn)地圖的位置。
- “Host”指令包含你主頁的 URL（即你的主域名）。
現(xiàn)在你對(duì) robots.txt 的工作原理有了更好的了解，以下是你需要了解的有關(guān) robots.txt 文件和 Shopify 的信息：
- Shopify 會(huì)自動(dòng)生成你的 robots.txt 文件。
- 你的 robots.txt 文件位于你網(wǎng)站主域名的根目錄中。要訪問它，只需在主頁的 URL 中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”
- 你的 robots.txt 文件由 Shopify 維護(hù)。這意味著你無法編輯其內(nèi)容。但是，如果你不希望 Google 訪問你的 robots.txt 文件中未禁止的特定頁面，你可以使用“noindex”元標(biāo)記隱藏它們 - 一行代碼告訴搜索引擎不要索引特定的頁。實(shí)現(xiàn)“noindex”元標(biāo)記需要技術(shù)知識(shí)，因?yàn)槟阈枰远x theme.liquid 布局文件。
如果你不精通技術(shù)并且不熟悉 Shopify Liquid，最好聯(lián)系Shopify 專家并請(qǐng)求幫助。
此外，你可以使用像Smart SEO這樣的 Shopify SEO 應(yīng)用程序——Smart SEO只需單擊一下按鈕即可將“noindex”標(biāo)簽添加到頁面。
- 你可以通過注冊(cè)一個(gè)免費(fèi)的Google Search Console帳戶來監(jiān)控你的 robots.txt 文件阻止了哪些頁面。
如果你注意到你的結(jié)賬頁面已被你的 robots.txt 文件阻止，不必?fù)?dān)心 - 它不需要為 SEO 排名。此外，通過不抓取你的結(jié)帳頁面，搜索引擎機(jī)器人有更多時(shí)間抓取你網(wǎng)站上更重要的頁面（例如，你的主頁、類別頁面、產(chǎn)品頁面、博客和文章頁面等）。
但是，如果你的 robots.txt 文件阻止了直接影響你的底線的頁面（即類別頁面、產(chǎn)品頁面等），你應(yīng)該擔(dān)心。通常，發(fā)生這種情況的幾率幾乎為 0%（因?yàn)?Shopify 會(huì)自動(dòng)創(chuàng)建和管理你的 robots.txt 文件）。如果是這樣，請(qǐng)立即聯(lián)系 Shopify 支持團(tuán)隊(duì)。
Shopify 和 sitemap.xml：你需要知道的一切
你的 XML 站點(diǎn)地圖為 Googlebot（和其他搜索引擎機(jī)器人）提供有關(guān)你?Shopify 商店中的網(wǎng)頁和資源（例如媒體文件、pdf 等）的信息。基本上，它是你網(wǎng)站上最重要的頁面和資源的綜合列表。你的站點(diǎn)地圖還包含有關(guān)你的網(wǎng)頁的重要信息（例如，它們上次修改的時(shí)間、包含的圖像數(shù)量、它們與其他頁面或資源的關(guān)系等）。
站點(diǎn)地圖的目的是幫助 Google 更快、更有效地抓取你的網(wǎng)站。
與 robots.txt 文件類似，擁有站點(diǎn)地圖并不是絕對(duì)必要的 - Google 將能夠在沒有其幫助的情況下抓取你的網(wǎng)站（尤其是在你制定了強(qiáng)大的內(nèi)部鏈接策略的情況下）。但是，擁有站點(diǎn)地圖肯定會(huì)讓你受益。特別是在以下情況下：
- 如果你有一個(gè)大型目錄商店。想象一下，必須互連 1000 多個(gè)（甚至 100 個(gè)）產(chǎn)品頁面……不可能，對(duì)吧？
- 如果你的 Shopify 商店是新的，并且它的反向鏈接和互連仍然很少。
- 如果你的 Shopify 商店包含大量媒體文件，例如視頻和圖像。
- 如果你上傳了大量 pdf 文件（例如，產(chǎn)品手冊(cè)或說明）。
- 如果你發(fā)了很多文章。
- 此外，擁有站點(diǎn)地圖意味著 Googlebot（和其他搜索引擎抓取工具）會(huì)更頻繁地抓取你的網(wǎng)站。
你需要了解的有關(guān) Shopify 和 XML 站點(diǎn)地圖的信息：
圖片來源：Rebel Nell的站點(diǎn)地圖以上就是 Shopify 商店的典型站點(diǎn)地圖的外觀 - 有一個(gè)父站點(diǎn)地圖鏈接到產(chǎn)品、產(chǎn)品系列、博客和頁面的其他站點(diǎn)地圖（或子站點(diǎn)地圖）。這種分類有助于 Google 更輕松地導(dǎo)航和抓取你的 Shopify 商店。
每個(gè)附加站點(diǎn)地圖都包含一個(gè)廣泛的頁面列表。例如，Rebel Nell 的產(chǎn)品站點(diǎn)地圖，包含所有 Rebel Nell 產(chǎn)品頁面的鏈接，以及圖像信息、頁面上次修改時(shí)間、頁面修改頻率等。
以下是你需要了解的有關(guān) sitemap.xml 文件和 Shopify 的信息：
- Shopify 會(huì)自動(dòng)為你的商店生成一個(gè) sitemap.xml 文件。它包含指向你所有產(chǎn)品、產(chǎn)品圖片、頁面、集合和博客文章的鏈接。
如果你使用的是 Basic Shopify 計(jì)劃，那么只有你商店的主域具有生成的站點(diǎn)地圖文件并且可以被搜索引擎發(fā)現(xiàn)。如果你使用的是 Shopify、Advanced Shopify 或 Shopify Plus 計(jì)劃，那么你可以使用國(guó)際域功能來創(chuàng)建特定于區(qū)域或特定于國(guó)家的域。當(dāng)你使用國(guó)際域時(shí)，將為你的所有域生成站點(diǎn)地圖文件。你的所有域都可以被搜索引擎發(fā)現(xiàn)，除非它們重定向到你的主域。
來源：Shopify，查找并提交你的站點(diǎn)地圖- 你的站點(diǎn)地圖位于你?Shopify 商店域的根目錄中，即你可以通過將“/sitemap.xml”添加到你主頁的 URL（例如，“https://www.yourshopifystore.com/sitemap.xml”）來找到它。注意：你還可以在 robots.txt 文件中找到站點(diǎn)地圖的位置 - 它是在“站點(diǎn)地圖”指令中指定的。
- Shopify 每次更新商店時(shí)都會(huì)自動(dòng)更新站點(diǎn)地圖（例如，每次添加新產(chǎn)品或發(fā)布新博客文章時(shí)）。
- 你無法手動(dòng)編輯站點(diǎn)地圖。如果你希望從商店的站點(diǎn)地圖中排除某個(gè)頁面，你只能通過 Shopify API（通過代碼）來完成。如果你不精通技術(shù)，有一些應(yīng)用程序可以為你提供幫助。比如smart SEO，只需單擊一下按鈕，你就可以排除不想出現(xiàn)在站點(diǎn)地圖中的頁面。該APP會(huì)向它們添加 noindex 標(biāo)簽，并將它們從你的站點(diǎn)搜索頁面中排除。
圖片來源：smart SEO內(nèi)部截圖
請(qǐng)注意每個(gè)產(chǎn)品旁邊的復(fù)選框 - 如果選中了復(fù)選框，則產(chǎn)品的狀態(tài)設(shè)置為“活動(dòng)”。這意味著該產(chǎn)品包含在站點(diǎn)地圖中。如果你想從站點(diǎn)地圖中排除產(chǎn)品，你需要做的就是從復(fù)選框中刪除復(fù)選標(biāo)記。
Smart SEO 的評(píng)分為 ? 4.9。它有一個(gè)免費(fèi)版本和一個(gè)專業(yè)計(jì)劃，每月收費(fèi) 4.99 美元（提供 7 天免費(fèi)試用）。
如何將你的站點(diǎn)地圖提交到 Google Search Console：為什么這很重要以及如何去做
你可以隨時(shí)將你的 sitemap.xml 文件提交到 Google Search Console。這不是絕對(duì)必要的 - 即使你不提交，Google 也能找到你的站點(diǎn)地圖。
那為什么我們還是需要去提交呢？因?yàn)閷⒛愕恼军c(diǎn)地圖提交到 Google Search Console 將有助于 Googlebot 更快地抓取你的網(wǎng)頁和資源并將其編入索引。此外，將你的站點(diǎn)地圖提交到 Google Search Console 將提高你的排名，提升你的內(nèi)部鏈接工作，并最終擴(kuò)大你的覆蓋范圍。也就是說，提交你的站點(diǎn)地圖將為你帶來更多曝光率并帶來更多銷售機(jī)會(huì)。
如何將站點(diǎn)地圖提交到 Google Search Console：
- 確保你的網(wǎng)站不受密碼保護(hù) - 如果有密碼的話，Google 將無法訪問你的站點(diǎn)地圖。
- 創(chuàng)建一個(gè)免費(fèi)的Google Search Console帳戶。
- 使用 Google Search Console 驗(yàn)證你的域并確認(rèn)你是 Shopify 商店的所有者。注意：如果你的網(wǎng)站受密碼保護(hù)，你將無法驗(yàn)證你的域名。
- 將你的 sitemap.xml 文件提交到 Google Search Console。按照此處列出的步驟操作 → Shopify，查找并提交你的站點(diǎn)地圖
使用Smart SEO，你可以輕松地將站點(diǎn)地圖提交給 Google，而無需經(jīng)過使用 Search Console 的手動(dòng)過程。但是你仍然需要一個(gè)具有經(jīng)過驗(yàn)證的站點(diǎn)屬性的 Google Search Console 帳戶。
結(jié)論
今天，我們討論了搜索的工作原理。我們解釋了抓取、索引和排名之間的區(qū)別，以及shopify SEO技術(shù)與這些過程中的每一個(gè)的關(guān)系。
此外，我們還向你展示了如何通過以下方式幫助 Google 更快、更有效地抓取你的 Shopify 商店并將其編入索引：
- 創(chuàng)建強(qiáng)大的內(nèi)部鏈接策略
- 擁有無可挑剔的 robots.txt 文件
- 擁有無可挑剔的 sitemap.xml 文件并將其提交到 Google Search Console
如果你還有其他問題，請(qǐng)?jiān)谙旅娼o我們留言！
在下一篇文章中，我們將重點(diǎn)介紹網(wǎng)站架構(gòu)。更具體地說，我們將向你展示如何創(chuàng)建低深度頁面層次結(jié)構(gòu)、邏輯 URL 結(jié)構(gòu)和直觀的網(wǎng)站導(dǎo)航——這些是構(gòu)建技術(shù)優(yōu)化網(wǎng)站的關(guān)鍵步驟（而且，它有助于抓取和索引）。所以，請(qǐng)繼續(xù)關(guān)注！
（來源：公眾號(hào)：Allan說跨境電商獨(dú)立站）
?
