بودجه خزش چیست ؟

بودجه خزش چیست ؟ بودجه خزش یکی از آن موضوعات سئو سایت است که برخی از افراد از آن بی اطلاع هستند و بسیاری مطمئن نیستند که آیا باید نگران آن باشند یا نه. در ابتدا، زمانی که یک وب‌ سایت تازه شروع به کار می‌کند، ممکن است برایتان سوال شود که بودجه خزش چیست ؟ باید گفت که در ابتدا شاید خیلی مهم به نظر نرسد، که باعث می‌شود بسیاری آن را نادیده بگیرند. با این حال، با رشد سایت، توجه به آن به طور فزاینده ای حیاتی می شود. در نتیجه، همیشه سؤالات متعددی در مورد اینکه Crawl Budget چیست و یا کدام وب سایت ها باید به بودجه خزش خود توجه داشته باشند و چه استراتژی هایی را می توان برای بهبود آن به کار گرفت، وجود دارد. در این مقاله از آوین سئو به این سوالات می پردازیم.

بودجه خزش چیست؟

یودجه خزش چیست ؟ بودجه خزیدن به میزان منابعی اشاره دارد که موتورهای جستجو برای خزیدن سایت شما و نمایه سازی صفحات وب آن اختصاص می دهند. به عبارت ساده تر، گوگل ممکن است یک روز 6 صفحه را در سایت شما بخزد اما می تواند به 5000 یا حتی تا 4 میلیون صفحه در روز دیگر برسد.

بودجه خزش را می توان به دو جزء اصلی تقسیم کرد:

• Crawl Rate Limit

این کامپوننت محدودیتی را که موتورهای جستجو برای تعداد درخواست هایی که می توانند به سرور شما ارسال کنند را نشان می دهد. این محدودیت برای جلوگیری از بارگذاری بیش از حد روی سرور و حفظ سرعت سایت ایجاد شده است. اگر سرور شما سریع و بدون خطا پاسخ دهد، موتورهای جستجو ممکن است نرخ خزش را افزایش دهند.

• Crawl Demand

این جنبه به تقاضای موتورهای جستجو برای خزیدن صفحات خاص مربوط می شود. صفحاتی که اخیراً به‌روزرسانی شده‌اند یا حاوی محتوای جدید هستند، تقاضای خزیدن بیشتری را ایجاد می‌کنند. برعکس، صفحات قدیمی یا کمتر مهم کمتر خزیده می شوند.

به طور کلی، بودجه خزش تحت تأثیر عوامل مختلفی است.

خزش چگونه کار می کند؟

حالا که فهمید بودجه خزش چیست ، بیایید بررسی کنیم چگونه کار میکند. خزنده ای مانند Googlebot لیستی از URL ها را برای کاوش در یک وب سایت دریافت می کند. به طور سیستماتیک از طریق آن لیست می گذرد. گاهی اوقات، فایل robots.txt شما را بررسی می کند تا مطمئن شود که همچنان مجوز خزیدن در هر URL را دارد، سپس URL ها را یکی یکی می خزد. هنگامی که یک URL را می خزد و محتوای آن را تجزیه و تحلیل می کند، هر URL جدیدی که در آن صفحه یافت می شود را برای خزیدن در آینده به لیست کارهای خود اضافه می کند.

چندین رویداد می تواند باعث شود Google تصمیم بگیرد که یک URL باید خزیده شود.

• ممکن است لینک‌های جدیدی پیدا کرده باشد که به محتوا اشاره می‌کنند.
• ممکن است کسی لینک آن را در شبکه های اجتماعی گذاشته باشد.
• ممکن است در سایت مپ به‌روزرسانی شده باشد.

با این حال هیچ لیست قطعی از همه دلایلی وجود ندارد که چرا گوگل یک URL را می خزد اما زمانی که تشخیص داد که اقدامی لازم است، آن را به لیست کارهای خود اضافه می کند.

چگونه گوگل بودجه خزش را تعیین می کند؟

بودجه Crawl اساساً به زمان و منابعی اشاره دارد که Google مایل است برای خزیدن وب سایت شما اختصاص دهد. فرمول را می توان به صورت زیر خلاصه کرد:

بودجه خزش= نرخ خزش + تقاضای خزش.

عواملی مانند Domain Authority، بک لینک ها، سرعت سایت، خطاهای خزیدن، و تعداد صفحات فرود همگی بر میزان خزیدن سایت شما تأثیر می گذارند. به طور کلی، سایت‌های بزرگ‌تر نرخ خزش بالاتری دارند، در حالی که سایت‌های کوچک‌تر، سایت‌های کندتر یا آن‌هایی که تغییر مسیرهای بیش از حد و خطاهای سرور دارند، کمتر خزیده می‌شوند.

گوگل همچنین بودجه خزش را بر اساس «تقاضای خزش» تعیین می کند. URL های محبوب تقاضای خزیدن بیشتری را به خود جلب می کنند زیرا هدف گوگل ارائه جدیدترین محتوا به کاربران است. گوگل علاقه ای به محتوای قدیمی در فهرست خود ندارد، بنابراین صفحاتی که مدتی است خزیده نشده اند نیز شاهد افزایش تقاضا خواهند بود. اگر وب سایت شما تحت انتقال سایت قرار گیرد، گوگل تقاضای خزیدن را افزایش می دهد تا ایندکس خود را با URL های جدید شما سریعتر به روز کند.

بودجه خزش وب سایت شما می تواند نوسان داشته باشد و مطمئناً ثابت نیست. اگر میزبانی سرور یا سرعت سایت خود را افزایش دهید، Googlebot ممکن است شروع به خزیدن بیشتر در سایت شما کند و تشخیص دهد که می تواند تجربه وب بهتری را ارائه دهد.

چرا Crawl Budget برای سئو مهم است؟

به طور خلاصه، اگر گوگل صفحه ای را ایندکس نکند، برای هیچ چیزی رتبه بندی نمی کند، که می تواند بر عملکرد سئوی شما تاثیر منفی بگذارد. بنابراین، اگر تعداد صفحات شما بیشتر از بودجه خزیدن سایت شما باشد، ممکن است صفحاتی داشته باشید که فهرست نشده باقی بمانند.

با این حال، چند موقعیت وجود دارد که باید به بودجه خزیدن خود توجه کنید:

• شما در حال راه اندازی یک سایت بزرگتر هستید: اگر یک وب سایت (مانند یک سایت تجارت الکترونیک) با بیش از 10000 صفحه دارید، ممکن است گوگل برای یافتن همه آنها مشکل داشته باشد.
• شما اخیراً دسته ای از صفحات را اضافه کرده اید: اگر به تازگی بخش جدیدی با صدها صفحه معرفی کرده اید، باید مطمئن شوید که بودجه خزیدن شما امکان فهرست بندی سریع همه آنها را فراهم می کند.
• تغییر مسیرهای بیش از حد: بسیاری از تغییر مسیرهای غیر ضروری و زنجیره های تغییر مسیر می توانند بودجه خزیدن شما را از بین ببرند.

با در نظر گرفتن این موضوع، در اینجا چند راه ساده برای به حداکثر رساندن بودجه خزیدن سایت شما وجود دارد.

7 نکته برای افزایش بودجه Crawl

حالا که کاملا فهمیدید بودجه خزش چیست و چه اهمیتی در سئو دارد، می توانید برای به حداکثر رساندن کارایی خزیدن خود به آنها رسیدگی کنید.

در اینجا برخی از اقدامات کلیدی وجود دارد که می توانید انجام دهید:

افزایش سرعت سایت

افزایش سرعت سایت شما می تواند به گوگل کمک کند تا سایت شما را سریع تر بخزد، که می تواند منجر به استفاده بهتر از بودجه خزیدن شما شود. علاوه بر این، برای تجربه کاربری (UX) و سئو سایت مفید است.

راه های زیادی برای افزایش سرعت صفحه شما وجود دارد، از جمله:

• بهینه سازی تصاویر: از ابزارهای آنلاین مانند Image Compressor برای کاهش اندازه فایل ها بدون به خطر انداختن کیفیت تصویر استفاده کنید و یا فرمت تصاویری که داخل سایت میخواهید بگذارید را webp کنید.
• به حداقل رساندن کد و اسکریپت های خود: استفاده از یک ابزار آنلاین مانند Minifier.org یا یک افزونه وردپرس مانند WP Rocket را در نظر بگیرید تا کد وب سایت خود را برای زمان بارگذاری سریع تر ساده کنید.
• استفاده از شبکه تحویل محتوا (CDN): CDN شبکه توزیع شده ای از سرورها است که محتوای وب را بر اساس موقعیت جغرافیایی آنها به کاربران ارائه می دهد و زمان بارگذاری سریعتر را تضمین می کند.

استفاده از پیوندهای داخلی استراتژیک

یک سیستم پیوند داخلی با ساختار مناسب می تواند یافتن و درک محتوای شما را برای خزنده های موتور های جستجو آسان تر کند. این می تواند منجر به استفاده کارآمدتر از بودجه خزش شما شود و پتانسیل رتبه بندی شما را افزایش دهد.

وب سایت خود را به صورت سلسله مراتبی تجسم کنید، با صفحه اصلی در بالا، که به دسته ها و زیر شاخه های مختلف منشعب می شود. هر شعبه باید کاربران را به صفحات یا پست های خاص تری مرتبط با دسته ای که به آن تعلق دارد هدایت کند. این یک ساختار واضح و منطقی برای وب سایت شما ایجاد می کند و آن را کاربرپسند و قابل دسترس برای موتورهای جستجو می کند. اینکار همچنین به شما کمک می کند تا از صفحات یتیم جلوگیری کنید.

به روز نگه داشتن نقشه سایت

داشتن سایت مپ به روز راه دیگری برای راهنمایی گوگل به مهم ترین صفحات شماست. به روز رسانی نقشه سایت خود هنگام اضافه کردن صفحات جدید می تواند احتمال خزیدن آنها را افزایش دهد (اگرچه این تضمین نمی شود).

گوگل توصیه می کند فقط URL هایی را که می خواهید در نتایج جستجو نشان داده شوند به نقشه سایت خود اضافه کنید. این به جلوگیری از هدر رفتن بودجه خزش کمک می کند.

همچنین می توانید از تگ <lastmod> برای نشان دادن آخرین باری که یک URL خاص به روز شده است استفاده کنید اما اجباری نیست.

مسدود URL هایی را که نمی خواهید موتورهای جستجو ببینند

از فایل robots.txt خود برای به حداقل رساندن احتمال خزیدن گوگل در صفحاتی که می‌خواهید خصوصی نگه دارید، استفاده کنید. این می تواند به کاهش بودجه خزش هدر رفته کمک کند.

حذف تغییر مسیر های غیر ضروری

تغییر مسیرها کاربران (و ربات‌ها) را از یک URL به URL دیگر می‌برد، که می‌تواند زمان بارگذاری صفحه را کاهش دهد و بودجه خزش را هدر دهد. این می تواند به خصوص اگر زنجیره های تغییر مسیری داشته باشید، که زمانی رخ می دهد که چندین تغییر مسیر بین URL اصلی و URL نهایی وجود دارد، مشکل ساز باشد.

برطرف کردن لینک های خراب

لینک های شکسته آنهایی هستند که به صفحات زنده منتهی نمی شوند و اغلب به جای آن کد خطای 404 را برمی گردانند. این لزوماً چیز بدی نیست، زیرا صفحاتی که دیگر وجود ندارند معمولاً باید کد وضعیت 404 را برگردانند. با این حال، داشتن پیوندهای زیاد که به صفحاتی که وجود ندارند، می تواند بودجه خزیدن شما را هدر دهد.

به این دلیل است که ربات‌ها ممکن است همچنان سعی کنند آنها را بخزند، حتی اگر چیز ارزشمندی در صفحه وجود نداشته باشد. علاوه بر این، برای کاربرانی که روی آن لینک ها کلیک می کنند، می تواند خسته کننده باشد.

حذف محتوای تکراری

محتوای تکراری زمانی رخ می دهد که صفحات بسیار مشابهی در سایت خود داشته باشید، که می تواند بودجه خزیدن شما را هدر دهد زیرا ربات ها اساساً چندین نسخه از یک صفحه را می خزند.

محتوای تکراری می‌تواند به روش‌های مختلفی ظاهر شود، مانند صفحات یکسان. همچنین می تواند از پارامترهای URL، یک مشکل رایج در وب سایت های تجارت الکترونیک، ناشی شود.

چگونه گزارش آمار خزش خود را بررسی کنیم؟

می‌توانید با بررسی آمار خزیدن در Google Search Console، امار خزش بودجه را شناسایی کنید.

بررسی گزارش آمار خزش در Google Search Console به شما کمک می کند تا درک بهتری از نحوه تعامل Googlebot با وب سایت خود داشته باشید. در اینجا نحوه استفاده از آن برای دیدن آنچه که خزنده Google انجام داده است آورده شده است.

سرچ کنسول را باز کنید و وب سایت خود را انتخاب کنید. سپس از منوی Search Console گزینه «setting» را انتخاب کنید.

می توانید گزارش خزش خود را در 90 روز گذشته در بخش آمار خزیدن مشاهده کنید. برای دسترسی به آن بر روی “Open Report” کلیک کنید.

آیا هر سایتی باید نگران بودجه خزش خود باشد؟

وب‌ سایت‌ های کوچک‌ تری که صرفاً روی رتبه‌ بندی چند صفحه تمرکز می‌ کنند، معمولاً نیازی به نگرانی در مورد بودجه خزش ندارند. با این حال، وب‌ سایت‌ های بزرگ‌ تر – به‌ ویژه آنهایی که تغییر مسیرهای بیش از حد دارند – باید نگران باشند

وب سایت های بزرگی که در معرض خطر بالاتری برای به حداکثر رساندن بودجه خزش خود هستند، اغلب ده ها هزار صفحه فرود دارند. سایت‌های تجارت الکترونیک، به‌ویژه، می‌توانند تحت تأثیر مسائل مربوط به بودجه خزیدن قرار گیرند.

دلایل متعددی وجود دارد که چرا سایت های تجارت الکترونیک باید به بودجه خزش خود توجه بیشتری داشته باشند. بسیاری از پلتفرم های تجارت الکترونیک به عمد هزاران صفحه فرود را برای SKU های خود یا برای هر شهر یا ایالتی که در آن محصولات می فروشند ایجاد می کنند. این نوع سایت ها به طور مرتب صفحات فرود خود را به روز می کنند تا اقلامی را که موجودی ندارند منعکس کنند، محصولات جدید اضافه کنند یا تغییرات موجودی دیگر را ایجاد کنند. سایت های تجارت الکترونیک معمولا صفحات تکراری دارند.

سوالات متداول

بودجه خزش چیست ؟

بودجه خزش تعداد صفحاتی که موتورهای جستجو در یک وب سایت در یک بازه زمانی خاص می خزند اشاره دارد.

چگونه می توانم بودجه کرال خود را افزایش دهم؟

گوگل ارتباط قوی بین اعتبار صفحه و بودجه خزیدن را نشان داده است. هرچه اعتبار یک صفحه بیشتر باشد، بودجه خزیدن آن بیشتر است. به زبان ساده، برای افزایش بودجه خزیدن خود، روی افزایش اعتبار صفحه خود تمرکز کنید.

چه چیزی می تواند بودجه خزش من را محدود کند؟

محدودیت‌های Crawl که به عنوان محدودیت‌های بار میزبان نیز شناخته می‌شوند، تحت تأثیر عوامل مختلفی مانند وضعیت وب‌سایت و قابلیت‌های میزبانی قرار دارند. خزنده های موتورهای جستجو برای جلوگیری از غرق شدن سرور وب طراحی شده اند. اگر سایت شما خطاهای سرور را برمی گرداند یا اگر زمان پاسخ برای URL های درخواستی اغلب طولانی است، بودجه خزیدن شما محدودتر خواهد شد.

آیا باید از URL های متعارف و متا روبات استفاده کنم؟

قطعا! درک تفاوت بین مسائل نمایه سازی و مسائل خزیدن بسیار مهم است. URL های متعارف و متا تگ های ربات سیگنال های واضحی را به موتورهای جستجو ارسال می کنند.