چگونه بودجه خزیدن خود را بهینه کنیم • Yoast

گوگل همیشه هر صفحه یک سایت را فورا تجزیه و تحلیل نمی کند. گاهی اوقات ممکن است هفته ها طول بکشد. این می تواند به تلاش های SEO شما آسیب برساند. ممکن است صفحه فرود تازه بهینه شده شما ایندکس نشود. در این مرحله، زمان آن رسیده است که بودجه خزیدن خود را بهینه کنید. در این مقاله به این خواهیم پرداخت که «بودجه خزیدن» چیست و برای بهینه سازی آن چه کاری می توانید انجام دهید.

بودجه کرال چیست؟

بودجه خزیدن تعداد صفحاتی است که گوگل در یک روز معین در سایت شما می خزد. این عدد روزانه کمی متفاوت است، اما در کل نسبتاً پایدار است. گوگل می تواند هر روز شش صفحه از سایت شما را بخزد. می تواند 5000 صفحه را مرور کند. حتی می تواند 4,000,000 صفحه را هر روز بخزد. تعداد صفحات خزیده شده توسط گوگل، “بودجه” شما به طور کلی بر اساس اندازه سایت شما، “سلامت” سایت شما (تعداد خطاهایی که گوگل با آن مواجه می شود) و تعداد لینک ها تعیین می شود. دارد سایت شما. برخی از این عوامل چیزهایی هستند که می توانید بر آنها تأثیر بگذارید. ما در یک لحظه به آن باز خواهیم گشت.

خزنده چگونه کار می کند؟

روباتی مانند Googlebot فهرستی از URL ها را برای خزیدن در یک سایت به دست می آورد. او به طور سیستماتیک این لیست را طی می کند. گاهی اوقات فایل robots.txt شما را واکشی می‌کند تا مطمئن شود که همچنان مجاز است هر URL را بخزد، سپس URL‌ها را به صورت جداگانه تجزیه می‌کند. پس از اینکه عنکبوت یک URL را خزید و محتوا را تجزیه و تحلیل کرد، URL های جدیدی را که در آن صفحه یافت می شود اضافه می کند که باید دوباره در لیست کارها بخزد.

چندین رویداد می تواند باعث شود که گوگل باور کند که یک URL باید خزیده شود. ممکن است پیوندهای جدیدی پیدا کرده باشد که به محتوا اشاره می کنند، یا شخصی آن را توییت کرده است، یا ممکن است در نقشه سایت XML به روز شده باشد، و غیره، و غیره. اما هنگامی که آن را تعیین می کند، آن را به لیست کارها اضافه می کند.

بیشتر بخوانید: قاچاق ربات: چیست و چرا باید مراقب باشید »

چه زمانی بودجه خزیدن یک مشکل است؟

اگر گوگل نیاز به خزیدن URL های زیادی در سایت شما داشته باشد و خزیدن های زیادی را اختصاص داده باشد، بودجه خزیدن مشکلی نیست. اما فرض کنید سایت شما 250000 صفحه دارد و گوگل هر روز 2500 صفحه را در آن سایت خاص می خزند. برخی از آن ها (صفحه اصلی را دوست دارند) بیشتر از بقیه می خزند. اگر اقدامی انجام ندهید، ممکن است تا 200 روز طول بکشد تا Google متوجه تغییرات خاصی در صفحات شما شود. بودجه اکتشاف اکنون یک مسئله است. از طرفی اگر روزی 50000 خزیده باشد، اشکالی ندارد.

مراحل زیر را دنبال کنید تا متوجه شوید که آیا سایت شما مشکل بودجه خزیدن دارد یا خیر. این فرض را بر این می‌گذارد که سایت شما دارای تعداد نسبتاً کمی URL است که گوگل آن‌ها را می‌خزد اما فهرست نمی‌کند (مثلاً به این دلیل که متادیتا اضافه کرده‌اید). noindex).

1. تعداد صفحات سایت خود را تعیین کنید. تعداد URL ها در نقشه سایت XML شما می تواند شروع خوبی باشد.
2. به کنسول جستجوی گوگل بروید.
3. به “تنظیمات” -> “آمار خزیدن” بروید و میانگین صفحات خزیده شده در روز را محاسبه کنید.
4. تعداد صفحات را بر عدد «میانگین خزیدن در روز» تقسیم کنید.
5. اگر تعداد صفحات شما بیشتر از 10 باشد، احتمالاً باید بودجه خزیدن خود را بهینه کنید (بنابراین شما 10 برابر بیشتر از صفحات خزیدن روزانه گوگل دارید). اگر عددی کمتر از 3 به دست آورید می توانید چیز دیگری بخوانید.

گوگل چه URL هایی را می خزند؟

شما واقعاً باید بدانید که گوگل چه URL هایی را در سایت شما می خزند. گزارش های سرور سایت شما تنها راه “واقعی” برای دانستن است. برای سایت های بزرگتر می توانید از چیزی مانند Logstash + Kibana استفاده کنید. برای سایت های کوچکتر، بچه های Screaming Frog یک ابزار تجزیه و تحلیل فایل لاگ SEO را منتشر کرده اند.

گزارش های سرور خود را دریافت کنید و آنها را بررسی کنید

بسته به نوع میزبانی خود، ممکن است همیشه نتوانید فایل های گزارش خود را بازیابی کنید. با این حال، حتی اگر شما فکر شما باید روی بهینه سازی بودجه خزیدن کار کنید زیرا سایت شما بزرگ است باید آنها را دریافت کنید. اگر هاست شما به شما اجازه نمی دهد آنها را تهیه کنید، وقت آن است که هاست را تغییر دهید.

تنظیم بودجه خزیدن سایت شما کمی شبیه تعمیر خودرو است. شما نمی توانید با نگاه ، به بیرون مشکل را حل کنید. شما باید این موتور را باز کنید. نگاه ، به روزنامه ها در ابتدا ترسناک خواهد بود. شما به سرعت خواهید دید که وجود دارد طرح سر و صدا در سیاهههای مربوط بسیاری از 404 های رایج را خواهید یافت که آنها را پوچ می دانید. اما شما داشتن برای تعمیر آنها شما باید از سر و صدا دور شوید و مطمئن شوید که سایت شما در هزاران 404 قدیمی غرق نشده است.

به خواندن ادامه دهید: تعمیر و نگهداری وب سایت: صفحات خطای 404 را بررسی و رفع کنید »

بودجه خزیدن خود را افزایش دهید

بیایید به مواردی نگاه کنیم که تعداد صفحاتی که گوگل می تواند در سایت شما بخزد را بهبود می بخشد.

تعمیر و نگهداری وب سایت: کاهش خطاها

اولین قدم برای خزیدن صفحات بیشتر این است که اطمینان حاصل کنید که صفحات خزیده شده یکی از دو کد بازگشتی ممکن را برمی‌گردانند: 200 (برای “OK”) یا 301 (برای “به جای آن به اینجا بروید”). همه کدهای برگشتی دیگر هستند نه خیلی خوب. برای درک این موضوع، به گزارش های سرور سایت خود نگاه کنید. گوگل آنالیتیکس و اکثر بسته های تحلیلی دیگر فقط صفحاتی را ردیابی می کنند که به 200 سرویس داده اند، بنابراین شما خطاهای زیادی را در سایت خود پیدا نخواهید کرد.

هنگامی که گزارش های سرور خود را دریافت کردید، خطاهای رایج را پیدا کرده و رفع کنید. ساده ترین راه این است که همه URL هایی را که 200 یا 301 برگردانده اند، بگیرید، سپس آنها را بر اساس تعداد دفعات دسترسی به آنها رتبه بندی کنید. رفع یک خطا ممکن است به این معنی باشد که باید کد را اصلاح کنید. یا ممکن است لازم باشد URL را به جای دیگری هدایت کنید. اگر می‌دانید چه چیزی باعث این خطا شده است، می‌توانید منبع را نیز اصلاح کنید.

کنسول جستجوی گوگل یکی دیگر از منابع خوب برای یافتن خطاها است. برای اطلاعات بیشتر در این مورد، راهنمای کنسول جستجوی ما را بخوانید. اگر Yoast SEO Premium دارید، می توانید به راحتی آنها را با استفاده از مدیر تغییر مسیر هدایت کنید.

بخش هایی از سایت خود را مسدود کنید

اگر بخش هایی از سایت خود دارید که لازم نیست در گوگل باشند، آنها را با استفاده از فایل robots.txt مسدود کنید. البته فقط در صورتی این کار را انجام دهید که بدانید در حال انجام چه کاری هستید. یکی از مشکلات رایجی که در مورد سایت های تجارت الکترونیک بزرگ می بینیم این است که آنها میلیاردها راه برای فیلتر ، محصولات دارند. هر فیلتر می تواند URL های جدیدی برای گوگل اضافه کند. در چنین مواردی، می‌خواهید مطمئن شوید که به گوگل اجازه می‌دهید فقط یک یا دو مورد از این فیلترها را بخزد و نه همه آنها را.

زنجیره های تغییر مسیر را کاهش دهید

وقتی URL 301 را تغییر مسیر می دهید، اتفاق عجیبی رخ می دهد. گوگل این URL جدید را می بیند و این URL را به لیست کار اضافه می کند. این همیشه بلافاصله دنبال نمی شود. او آن را به لیست کارهای خود اضافه می کند و ادامه می دهد. وقتی ریدایرکت‌های زنجیره‌ای را انجام می‌دهید، برای مثال، وقتی غیرwww را به www، سپس http را به https هدایت می‌کنید، همه جا دو تغییر مسیر دارید، بنابراین خزیدن همه چیز بیشتر طول می‌کشد.

لینک های بیشتری دریافت کنید

گفتنش آسان است اما انجامش سخت است. دریافت لینک های بیشتر فقط برای عالی بودن نیست، بلکه برای اطمینان از دیگران است دانستن شما عالی هستند. همه چیز در مورد روابط عمومی خوب و تعامل با رسانه های اجتماعی است. ما در مورد لینک بیلدینگ مطالب زیادی نوشته ایم. پیشنهاد می کنیم این سه مقاله را مطالعه کنید:

1. ایجاد لینک از دیدگاه سئوی جامع
2. لینک بیلدینگ: چه کاری را نباید انجام داد؟
3. 6 مرحله برای یک استراتژی لینک سازی موفق

هنگامی که مشکل نمایه سازی حاد دارید، ابتدا باید خطاهای خزیدن خود را بررسی کنید، بخش هایی از سایت خود را مسدود کنید و زنجیره های تغییر مسیر را اصلاح کنید. لینک بیلدینگ روشی بسیار کند برای افزایش بودجه خزیدن شماست. از طرف دیگر، اگر قصد دارید یک سایت بزرگ بسازید، لینک بیلدینگ باید بخشی از فرآیند شما باشد.

TL;DR: بهینه سازی بودجه خزیدن سخت است

بهینه سازی بودجه Crawl برای افراد ضعیف نیست. اگر سایت خود را به خوبی نگهداری می کنید یا اگر سایت شما نسبتا کوچک است، احتمالاً این کار ضروری نیست. اگر سایت شما متوسط ​​است و به خوبی نگهداری می شود، انجام این کار بر اساس نکات بالا بسیار آسان است.

استعداد فنی سئوی خود را ارزیابی کنید

بهینه سازی بودجه خزیدن بخشی از سئوی فنی شماست. آیا کنجکاو هستید که سئوی فنی کلی سایت شما چگونه با آن مطابقت دارد؟ ما یک آزمون فنی تناسب اندام SEO ایجاد کرده ایم که به شما کمک می کند تا بفهمید روی چه چیزی باید کار کنید!

به خواندن ادامه دهید: Robots.txt: راهنمای نهایی »