ما هي عناكب Google؟

شاركShare on Facebook10Tweet about this on TwitterShare on Google+1Pin on Pinterest0Share on Tumblr0Share on StumbleUpon0Share on LinkedIn0

 best search engine optimization

قبل أن تنتشر مواقع الويب بشكل ملحوظ كانت محركات البحث موجودة  لتساعد الناس على الحصول على المعلومة من شبكة الانترنت. وكانت هناك برامج مثل gopher و Archie تعمل بشكل دوري على فهرسة وأرشفة الملفات المخزنة في السيرفرات المتصلة بشبكة الانترنت.

في أواخر الثمانينيات ومع انتشار شبكة الانترنت أصبح الحصول على المعلومة أمرا سهلا وكما وفرت الكثير من الوقت للباحثين وما كان عليهم سوى معرفة كيفية استخدام برامج مثل gopher و Archie و Veronica وغيرها.

في الوقت الحالي تقتصر عملية البحث على شبكة الانترنت على مواقع الويب لذا قامت محركات البحث في التركيز على محتويات المواقع. في الماضي كانت محركات البحث تساعد الباحثين في الحصول على الملفات وتحدد لهم مكان الملفات بالضبط.

لكن في الوقت الحالي عملية العثور على المعلومة في مئات الملايين من المواقع يتطلب أن تس

تخدم محركات البحث برامج و روبوتات تسمى العناكب مثل عناكب Google تعمل على بناء قوائم للكلمات البحثية Keywords تجمعها من خلال عملية زحفها على المواقع.

أحد مساوء تلك العملية هي وجود الكثير من كلمات البحث التي تضطر محركات البحث بالتفتيش في العديد من مواقع الانترنت للحصول على المعلومة الدقيقة وبناء تلك القائمة.

ماذا تعني Web Crawling ؟

زاحف الويب Web crawling أو Web Crawler عبارة عن برنامج بسيط اوتوماتيكي يفحص صفحات الويب لانشاء فهرس للبيانات وعادة ما تنشأ تلك البرامج لتستخدم مرة واحدة فقط ولكن لفترة طويلة وكما توجد استخدامات عديدة لزاحف الويب وربما أكثرها شهرة واستخداما في محركات البحث التي تساعدها على تقديم محتوى جيد لمتصفحي شبكة الانترنت.

وكمأ أن لـ Web Crawler زاحف الويب استخدامات أخرى تشمل علماء اللغة وباحثس ومستطلعي الاسواق لتحديد وتقيم أداء واتجاهات السوق أو اي شخص يبحث عن المعلومات على شبكة الانترنت لأي سبب ما وقد تجد أسماءا مختلفة لزاحف الويب مثل عناكب الانترنت أو bots او web robot وكما يمكن شراء برنامج crawler من على شبكة الانترنت.

وكما تستخدم محركات البحث برامج Web Crawler بشكل دائم لتجميع البيانات من المواقع العامة لكي تساعدهم على تلبية احتياجات الباحثين وتقدم مواقع الويب داخل الصلة بعمليات البحث.

كيف تبدأ عناكب Google رحلتها على شبكة الانترنت؟

نقطة البداية المعتادة هي قائمة السيرفرات الأكثر استخداما وصفحات الويب الأكثر شعبية وتبدأ بالبحث من خلالها وفهرستها وتتبع كل رابط داخل الموقع ومن هناك تبدأ العناكب في التجول والسفر على شبكة الانترنت والعمل على فهرسة الأجزاء الأكثر شهرة واستخداما.

قامت شركة Google بانشاء محرك بحث حيث قاما سيرجي بين ولاري بيج بانشاء نظام يعتمد على الكثير من العناكب تعمل سويا ويستطيع كل عنكبوت من عناكب Google الاتصال بأكثر من 300 موقع في نفس الوقت وفي أوقات الذروة يمكن استخدام أربعة من عناكب Google للزحف لأكثر من 100 موقع في الثانية وتولد أكثر من 600 كيلوبايت في الثانية وكما تعمل أنظمة google بسرعة لتوفير البيانات اللازمة للعناكب.

في الماضي كانت تعتمد Google سيرفر خاص لتزويد عناكب Google بعناوين المواقع بدلا من الاعتماد على مزودي خدمة الانترنت لتزويدهم ببيانات DNS التي تقوم بترجمة أسماء السيرفرات الى عناوين. لكن في الوقت الحالي تستخدم Google نظام DNS خاص بها لكي لا يتعطل عمل عناكب Google.

كما تقوم عناكب Google بفحص صفحات HTML بحثا عن أمرين:

  • عنوان الرئيسي للصفحة title والعناوين الفرعية subtitles
  • الوسوم meta tags

وكما تم انشاء عناكب Google لفهرسة كل كلمة في صفحات الويب باستثناء كلمات مثل an و the وغيرها من الكلمات وهناك عناكب لها اهتمامات أخرى. هذه الاهتمامات المختلفة تستخدم لجعل العناكب تعمل بشكل أسرع وتقديم للمستخدم نتائج بحث أكثر دقة.

شاركShare on Facebook10Tweet about this on TwitterShare on Google+1Pin on Pinterest0Share on Tumblr0Share on StumbleUpon0Share on LinkedIn0

Comments

comments

اضف رد

لن يتم نشر البريد الإلكتروني . الحقول المطلوبة مشار لها بـ *

*