בית העלמין הישן ברחובות הוקם בשנת תר”ן (1890) ונקרא “תר”ן המייסדים”. עוד בשנת תר”ן נפטר אחד מצעירי היישוב, האיכר יעקב קרלינסקי, שהיה מזכיר “חובבי ציון” לצד אפרים צבי חרל”פ ודאג לפועלי היישוב. כשהיה בדרכו לרמלה לחפש קרקע להתיישבות בעבור הפועלים נפל מסוסו ומת, ויש המשערים שנשדד. מאחר שקרלינסקי נפטר אך כחצי שנה לאחר הקמת היישוב, לא היה פתרון קיים לקבורתו. את חמשת הדונמים הראשונים תרם מר אליהו זאב הלוי אפשטיין ז”ל, שהבין את הצורך בקרקע להקמת בית עלמין.
בבית העלמין קבורים האדמו”ר רבי דוד משה מקרעטשניף זצוק”ל וכן הרבנים הראשיים לרחובות: הרב בר שאול זצ”ל. הרב שמחה קוק זצ”ל.
כן טמון במקום אפרים זק”ש, שהתיישב ברחובות ב-1908, הקים בה רשת מים מרכזית לראשונה בתולדות היישוב העברי והוא ידוע כ”אבי התימנים” לאחר שעזר בקליטתם וייסד את שכונת שעריים.
עוד ממקימי רחובות הקבורים בבית העלמין הישן הם משה סמילנסקי, מראשוני החקלאים ביישוב שפעל רבות למען ענף ההדרים בארץ ולימים היה נשיא התאחדות האיכרים; החלוץ אהרן אייזנברג שפעל להרחבת המושבה; והקולונל אליעזר מרגולין, ממפקדי הגדודים העבריים במלחמת העולם הראשונה.