اذن دهید با نگاه خویش گوگل معنی نرخ خزش را برای شما توضیح دهیم:
«نخستین از هر چیز بایستی بگم که نرخ خزش موضوعی وجود ندارد که سبب ساز نگرانی شما بشه.
سئو سایت درحالتی که قرار را بر این بزاریم که محتوا فورا بعداز نشر کراول و ایندکس میشه، پس نگرانی درباره نرخ خزش منطقی وجود ندارد.
در حالتیکه تعداد صفحه های وبسایت شما به چندین صد عدد میرسه، کراول شدن بی نقص این صفحه های امری هویدا و روتینه. اینکه مشخص و معلوم کنیم چه محتوایی در چه وقتی کراول بشه موضوعیه که بایستی گرفتاری تارنما های بلندمرتبه با تعداد صفحه های بالا باشه.»
گوگل بدین توضیح بسنده نکرده و برای موشکافی دقیقتر این معنی، مارا با دو واحد سنجش تازه آشنا میکند.
دارایی ما یحتاج هر وب سایت چطور گزینش می گردد؟
گوگل با استعمال از دو فاکتور Crawl Limit و Crawl Demand، میزان دارایی ما یحتاج هر وب سایت را معلوم میکند:
Crawl limit / host load: منابع سرور وب سایت ما چه تعداد خزش را میتواند تحمل نماید؟
همانگونه که میدانید هر توشه که گوگل یک ورقه را کراول میکند، یک درخواست بر اساس دسترسی به منابع تارنما به سمت سرور ارسال میگردد. درحالتی که این درخواست ها بیش تر از حد از طرف ربات های گوگل ارسال خواهد شد، منابع سرور تارنما نمیتوانند به تمامی این درخواست ها جواب دهند و در سود وبسایت از عمل میفتد (یا این که به اصطلاح down می گردد). گوگل از کجا میفهمد گنجایش خزش وب سایت ما چقدر میباشد؟ به 2 طرز:
آرم های باگ سرور: درخواست های ربات های گوگل مطابق خزش چندبار به وسیله سرور با ایراد روبرو گردیده اند
تعداد وب سایت های فعال در هاست: چنانچه تارنما شما در هم اکنون انجام بر روی یک کدام از هاست های اشتراکی میباشد و صدها وبسایت دیگر فعال دراین هاست وجود داراهستند و وبسایت شما از لحاظ محتوا و صفحه ها والا میباشد، دراین حالت نرخ کراول شما محدودیت متعددی خواهد داشت.
در شرایطیکه دراین مجموعه قرار دارید، خوب میباشد از هاست های منحصر به فرد استعمال نمائید تا هم نرخ خزش شما ارتقا پیدا نماید و هم سرعت بار گذاری صفحه ها بهبود داده گردد.
2. Crawl demand / crawl scheduling: کدام یک از صفحه های، بها کراول شدن (یا این که مجدد کراول شدن) را داراست؟
این بها بر طبق فاکتورهای پایین اندازه گیری میگردد:
محبوبیت ورقه: چه تعداد پیوند داخلی و فرنگی کیفیت عالی بهاین برگه داده گردیده و در چه تعداد عبارت کلیدی مقام داراست؟
تازگی محتوا: محتوای ورقه یکسری وقت یک توشه بهروزرسانی می گردد
نوع کاغذ: به عنوان مثال کاغذ گروه بندی را با شیت حالت و قانون ها مقایسه فرمائید. احتمال تغییر و تحول محتوا در کدام یک بیشتر به چشم می خورد
برای شناخت بیشتر با معنا تازگی محتوا میتوانید به نوشته ی علمی الگوریتم freshness گوگل مراجعهنمایید.