أكدت دراسة أجراها معهد NEC للبحوث، على 11 محرك بحثٍ مستخدمة في إنترنت، أن هذه المحركات لم تتمكن من التأقلم مع النمو الكبير لمواقع ويب، وبينت هذه الدراسة أن محركات البحث، وهي برامج تساعد مستخدمي إنترنت في إيجاد المعلومات بمجرد إدخال بعض الكلمات أو الجمل، لا تغطي سوى قسم ضئيل من صفحات ويب، وأن إدراج الصفحات الجديدة ضمنها يستغرق وقتاً طويلاً.
وجدت الدراسة أن محرك البحث (Northern Light)، هو أكثر المحركات شمولاً، لكنه، على الرغم من ذلك، لا يغطي سوى (1/6) من صفحات إنترنت التي يمكن لمحركات البحث أن تصل إليها. ويذكر أن هذه النسبة كانت، قبل 18 شهراً، تصل إلى (1/3) من صفحات إنترنت.
يأتي محركا البحث (AltaVista) و(Snap)، في المرتبة الثانية بعد محرك (Northern Light)، أما محرك البحث (HotBot)، الذي تصدر القائمة في دراسةٍ سابقةٍ بنسبة تغطية تعادل 34 بالمائة، فلم تتجاوز نسبته، في هذه الدراسة، 11 بالمائة. وأظهرت الدراسة أن المتوسط الزمني لإدراج صفحة ويب جديدة في محركٍ للبحث، يزيد على ستة أشهر، ويعني ذلك أن الصفحة تحتاج إلى ستة أشهر، كمدة متوسطة، ليتم إدراجها في محركٍ للبحث.
وقدّر العالمان ستيف لورنس، وسي لي جايلز، المتخصصان في مجال الكمبيوتر، في معهد NEC للبحوث، الواقع في مدينة برينستون، في ولاية نيو جيرسي الأمريكية، أن صفحات ويب التي يمكن تنفيذ عمليات بحث عليها، تقدر بما يعادل 800 مليون صفحة، تحتوي على 6 ترليون رمز، بينما كان عدد الصفحات في دراسةٍ أجريت عام 1997، حوالي 320 مليون صفحة. ونذكر للمقارنة، أن عدد الرموز في الكتب الموجودة في مكتبة الكونجرس الأمريكي، التي تحتوي على رفوف تمتد إلى 532 ميلاً، يعادل 20 تريلون رمز.
تستخدم محركات البحث، برامج خاصة تسمى العناكب “spiders”، تزور مواقع إنترنت المختلفة، وتحفظ كل صفحةٍ ضمن قواعد بياناتها، ثم تنتقل عبر الوصلات التشعبية الموجودة في هذه الصفحة لإيجاد غيرها من الصفحات. وبعد إدراج الصفحة في محرك البحث، يمكن للمستخدم أن يدخل كلمةً فيه، ويبحث المحرك في الصفحات المفهرسة عن هذه الكلمة، ويعرض كل صفحةٍ تتضمنها، وتفهرس محركات البحث الصفحات التي توجد وصلات تشعبية كثيرة تشير إليها، خلال زمنٍ قصير، ولهذا السبب تتطلب المواقع الجديدة زمناً أطول حتى تتم فهرستها ضمن هذه محركات.
ويقول ستيف لورنس أنه من المحتمل أن يكون تَأخُر محركات البحث في إدراج الصفحات ضمنها، أمراً مقصوداً، إذ تمتلئ قواعد البيانات التابعة لهذه المحركات، وتصبح عملية إضافة موقع جديد إليها، عملية مكلفة، خاصةً أن هذه الإضافة لا تزيد، معظم الأحيان، من الأرباح الإعلانية.
ويعتقد مارك كريلينستاين، المدير العام التقني في شركة (Northern Light)، أن الجزء الذي تغطيه محركات البحث يزيد عما هو موضح في الدراسة، لاعتقاده أن الدراسة بالغت في تقدير حجم إنترنت الحقيقي. ويتساءل كريلينستاين: هل من المفروض أن تغطي محركات البحث كل موقعٍ جديد في ويب؟
يعتقد كريلينستاين أن هذه المحركات يجب أن تركز على المواقع الجيدة، التي تشغل اهتمام معظم مستخدمي إنترنت، ويضيف قائلاً : “إن نمو ويب السريع، لا يعني أن جودتها تنمو بذات المستوى!”.
