|
Getting your Trinity Audio player ready...
|
تحليل سجلات الخادم (Log File Analysis): كيف تكشف “الحقيقة” المخفية عن زحف جوجل وتحسن “ميزانية الزحف” (Crawl Budget)؟ 2026
معظم مسوقي السيو يعملون في “الظلام”. يستخدمون أدوات تزحف للموقع (مثل Screaming Frog) ويظنون أن هذا هو ما يراه جوجل. لكن الحقيقة مختلفة. سجلات الخادم (Server Log Files) هي “الصندوق الأسود” لموقعك. هي السجل الحقيقي لكل طلب يصل للخادم. هنا ترى متى زار جوجل، ماذا طلب، وكم استغرق من الوقت. لا تخمينات. هذا المقال يدخل في عمق التحليل التقني. للمواقع السعودية الكبرى (الأخبار، المتاجر، البوابات)، تحسين “ميزانية الزحف” (Crawl Budget) ليس رفاهية، هو ضرورة. إذا كنت تنشر 1000 مقال يومياً، وجوجل تزحف لـ 100 فقط، لديك مشكلة “هدر للموارد”. تحليل سجلات الخادم (Log File Analysis) يكشف الصفحات المهملة، الصفحات المكررة التي تستهلك طاقة جوجل بلا داعٍ، والصفحات التي لا تُزحف أبداً (Orphan Pages). في هذا المقال “الموسوعي” والتحليلي، سنفتح ملفات الـ Logs ونقرأها. سنشرح كيف تكتشف “عناكب وهمية” (Fake Bots)، وكيف تحسن “معدل الزحف” (Crawl Rate). شركة الصقر للتسويق الرقمي تضع لك “الميكروسكوب” لفحص صحة موقعك من الداخل.
المقدمة: ما هو ملف الـ Log؟
– هو ملف نصي (Text File) يسجله الخادم (Apache, Nginx) تلقائياً.
– يسجل كل “طلب” (Request).
مثال لسطر واحد:
`66.249.66.1 – – [10/Oct/2023:13:55:36 +0000] “GET /products HTTP/1.1” 200 1024 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”`
– هذا السطر يحوي: IP الزائر، التاريخ، نوع الطلب (GET)، الصفحة المطلوبة (/products)، الكود (200)، حجم الصفحة، والـ User Agent (Googlebot).
المحور الأول: ما هي “ميزانية الزحف” (Crawl Budget)؟
– ليست “مالاً”. هي “وقت وجهد” جوجل.
– جوجل تحدد لكل موقع “عدد صفحات” تزحفها يومياً.
– المواقع الصغيرة: لا مشكلة لديهم (جوجل تزحف للكل).
– المواقع الكبيرة (100,000+ صفحة): مشكلة كبيرة. جوجل تزحف لـ 10% فقط.
الهدف: جعل جوجل تزحف للصفحات “المهمة” وتتجاهل “القمامة”.
عوامل تحديد الميزانية:
⚙️ المعادلة:
1. Crawl Rate Limit: (سرعة الزحف). تعتمد على صحة الخادم (TTFB). إذا كان سيرفرك بطيئاً، جوجل تبطئ الزحف لإنقاذك من الانهيار.
2. Crawl Demand: (طلب الزحف). تعتمد على “شعبية” الموقع وجدة المحتوى. المواقع الإخبارية لديها “طلب زحف” عالي.
المحور الثاني: التحقق من “هوية” جوجل (Verifying Googlebot)
مشكلة كبيرة: أي شخص يمكنه تسمية برنامجه “Googlebot” في الـ User Agent.
– اللصوص، السبامرز، وأدوات الاست scraping تستخدم هذا للدخول.
– إذا حسبت الزحف بناءً على الـ User Agent فقط، ستحصل على أرقام خاطئة.
الحل (DNS Verification):
1. خذ الـ IP من الـ Log.
2. قم بـ Reverse DNS Lookup.
3. يجب أن يعود الناتج: `crawl-66-249-66-1.googlebot.com`.
4. ثم قم بـ Forward DNS للتأكد.
أدوات مثل “Screaming Frog Log File Analyzer” تقوم بذلك تلقائياً.
المحور الثالث: ماذا نبحث في الـ Logs؟ (Key Metrics)
1. الزحف حسب نوع المحتوى (Crawl by Content Type):
– هل جوجل تزحف لملفات CSS و JS أكثر من صفحات المنتجات؟
– هل تزحف لصفحات “البحث الداخلي” (Search Results) أو “الترشيحات” (Filters)؟ هذه صفحات “مستنقع” لا يجب أن تُزحف.
2. أكواد الاستجابة (Status Codes):
– 200: مثالي.
– 301/302: redirects تستهلك ميزانية الزحف. جوجل تتبعها وتأخذ وقتاً.
– 404: صفحات مكسورة. إذا كانت جوجل تزحف لـ 1000 صفحة 404 يومياً، فهذا هدر.
– 5xx: أخطاء سيرفر. خطيرة جداً. تقلل “سرعة الزحف” (Crawl Rate).
3. الصفحات غير المزحوفة (Uncrawled Pages):
– قارن قائمة الـ URLs في Sitemap مع الـ URLs في الـ Log.
– صفحات موجودة في Sitemap ولم تزحفها جوجل = مشكلة في “الأولوية”.
– صفحات مزحوفة وليست في Sitemap = اكتشاف ذاتي (جيد أو سيء حسب المحتوى).
المحور الرابع: استراتيجيات تحسين الميزانية (Optimization Strategies)
1. إغلاق “مستنقعات الزحف” (Crawl Traps):
- صفحات الترقيم (Pagination): لا تدع جوجل تزحف لـ 1000 صفحة ترقيم (`page=1000`). استخدم `rel=”next”` و `rel=”prev”` أو `Noindex` للصفحات العميقة.
- معاملات البحث (Parameters): `?color=red`, `?sort=price`. استخدم “URL Parameters Tool” في Search Console لتخبر جوجل: “لا تزحف لهذه المعاملات”.
- التقويمات: تقويم لا نهائي (Infinite Calendar).
2. تحسين سرعة الخادم (Server Performance):
– TTFB (Time to First Byte) يجب أن يكون أقل من 200ms.
– استخدام CDN (Cloudflare) يخفف الحمل ويزيد سرعة الزحف.
3. تحديث Sitemap:
– ضع فقط الصفحات “المهمة”.
– لا تملأه بصفحات 404 أو صفحات ضعيفة.
Sitemap هو “بطاقة العشاء” لجوجل. لا تدعها تدفع ثمن وجبة لا تأكلها.
المحور الخامس: تحليل الـ “Hits” مقابل “Sessions”
– Hits: عدد الطلبات. (الصورة الواحدة = Hit واحد).
– Sessions: زيارة كاملة.
التركيز على Sessions أهم. جوجل تزور موقعك، وتأخذ “لقيمات” (Pages).
Active vs Passive Crawling:
– Active: جوجل تأتي بمفردها (اكتشاف روابط).
– Passive: جوجل تأتي بسبب Sitemap أو طلب Indexing.
المحور السادس: الأدوات والتنفيذ (Tools)
– Get the Logs: من استضافة موقعك (cPanel, AWS S3).
– Analyze:
1. Screaming Frog Log File Analyzer: الأشهر والأسهل.
2. Splunk: لتحليلات متقدمة وكبيرة.
3. ELK Stack (Elasticsearch, Logstash, Kibana): للمواقع الضخمة (مستوى Enterprise).
4. Excel/Google Sheets: (للبيانات الصغيرة).
المحور السابع: الأسئلة الشائعة حول تحليل السجلات
ما هو Log File Analysis؟
تحليل سجلات الخادم لمعرفة كيف تزحف محركات البحث.
ما هو Crawl Budget؟
عدد الصفحات التي تزحفها جوجل في موقعك خلال فترة زمنية.
هل أحتاج هذا للمواقع الصغيرة؟
لا. للمواقع أقل من 10,000 صفحة، عادة لا مشكلة.
كيف أحصل على الـ Logs؟
من لوحة تحكم الاستضافة أو من المطور.
هل تقدم الصقر خدمات تحليل Logs؟
نعم. للعملاء الكبار.
ما هي أداة التحليل؟
Screaming Frog Log File Analyzer.
ما هي “Crawl Trap”؟
صفحات غير محدودة تضيع وقت جوجل (مثل التقويمات).
آخر تحديث للمقال: 2026-04-20
