গুগুল ইনডেক্স ও ওয়েবের পেইজ সংখ্যা:
একসময় ধারনা করতাম ওয়েবের পেইজের সংখ্যা নির্দিস্ট, কিন্তু প্রতিদিন বাড়ে। এবং গুগুল এর সম্ভবতঃ ৯৫% ইনডেক্স করে রেখেছে।
পরে জেনেছি, এটা ভুল। ওয়েবের পেইজের সংখ্যা অনেকটা ইনফিনিট এর মত। এবং গুগুল এর ১% ও ইনডেক্স করে না। শুধু জরুরী পেইজগুলো করে।
যেমন কেউ একজন একটা Todo লিস্ট করে ওয়েবে দিলো যেখানে Next, Previous করে আগের দিন পরের দিনে যাওয়া যায়।
এখন তার স্ক্রিপ্টে যদি লিমিট দেয়া না থাকে তবে next, previous করে হাজার হাজার বছর পর্যন্ত যাওয়া যাবে। এবং প্রতিটা পেইজই রেন্ডার হবে। এই একটা স্ক্রিপ্ট দিয়েই লক্ষ লক্ষ পেইজ জেনারেট হচ্ছে।
নামাজের সময় সূচিতে আমি শুধু মাত্র আজকের সময় দেখিয়েছি। তারিখ বলে দিয়ে অন্য কোনো দিন দেখা যায় না। এর পরও ২০ হাজার শহরের জন্য ২০ হাজার পেইজ আছে। যেগুলো প্রতিদিন বদলায়।
এখন তারিখ দিয়ে দিলে এই ২০ হাজার শহরের প্রতিটার জন্য আরো ১০ লক্ষ করে পেইজ রেন্ডার হবে।
অথচ গুগুল একটা সাইট থেক সর্বোচ্চ ৫০ হাজার পেইজ ইনডেক্স করে।
এজন্য পারলেও, এবং সহজ হলেও অনেক কিছু সিমিত রাখতে হয় গুগুলকে খুশি রাখার জন্য।