أول من فكر في تأسيس هذه الجامعة هو الدكتور هرمان شابيرا أستاذ الرياضيات في جامعة هيدلبرغ بألمانيا، يوم نشر في الصحف، بين عامي 1882 و1884 سلسلة مقالات دعا اليهود فيها إلى إقامة جامعة تحفظ تراثهم العلمي والأدبي القديم، وتسهم في نهضتهم العلمية الحديثة. وأبدى الدكتور شابيرا رأيه هذا للمؤتمر الصهيوني الأول عام 1897، ولكن آراءه بقيت عند حد القول.
وفي عام 1901 حاول حاييم وايزمان أن يقنع المؤتمر الصهيوني الخامس، كي يقوم بدراسة دقيقة ليقرر ما إذا كان بالإمكان تأسيس جامعة يهودية. ولكن تيودور هرتسل لم يضع هذا الاقتراح للتصويت، بل اكتفى بأن وعد بدراسة المسألة في اجتماع المجلس الصهيوني العام.
وفي عام 1902 استأنف وايزمان مساعيه، وأسس في جنيف مكتباً غايته السعي لإيجاد مؤسسة للدراسات العالمية. ونشر بياناً بالاشتراك مع مارتين بوبر وبرثولد فايول. وفي أيار 1902 رفع هرتسل عريضة للسلطان يطلب فيها السماح لليهود بتأسيس جامعة بالقدس. لكن السلطان رفض طلب هرتسل تأسيس جامعة في القدس. وفي عام 1913 أقر المؤتمر الصهيوني الحادي عشر الخطة المرسومة لتأسيس جامعة يهودية، وكان ذلك بناء على طلب قدمه إلى المؤتمر الدكتور أوسيشكن، وعاضده في ذلك الدكتور حاييم وايزمان. فابتاع اليهود، في تلك السنة (1913)، الأرض التي يقوم عليها بناء الجامعة. وفي 24 تموز 1918 وضع الدكتور وايزمان الحجر الأساس للبناء. وفي أول نيسان 1925 تم تدشين الجامعة.