לאחר נישואיו עבר להתגורר בתל אביב, אביו הרב בן ציון רבין פתח בית כנסת בשכונת פלורנטין, שם הוא היה מעביר שיעורי תורה בשפה הבוכרית וכל בני העדה היו מגיעים להתבשם ולהנות מדברי תורתו. תקופה זו הייתה עבורו קשה מבחינה כלכלית, אך הוא המשיך בהתמדה בלימוד התורה במסגרת כולל "תורה והוראה" של הרב אליהו שרם בבני ברק. בתקופה זו נרקמה ידידות בינו לבין הרב עובדיה יוסף, שכיהן אז כרבה הראשי של תל אביב ונהג למסור שיעור קבוע בכולל.
לאחר שקיבל סמיכה להוראה ולדיינות החל לשמש כרב צעיר באחת משכונות תל אביב, ובמקביל התמנה לעמוד בראש מערך הכשרות של המועצה הדתית בעיר. מאוחר יותר הצטרף לבית הדין הרבני בתל אביב, תחילה כדיין ובהמשך כאב בית דין. עם השנים רכש לעצמו שם של תלמיד חכם הבקי בפרטי דיני אישות, גיטין ובירורי יהדות, ונודע ביסודיותו ובדקדוקו ההלכתי.
בהמשך העתיק את מגוריו לעיר בני ברק ע"פ עצתו של אביו ובהמשך עבר גם אביו להתגורר בסמוך לביתו, ושם הוקם מחדש בית הכנסת ברחוב בן זכאי. לאחר פטירת הוריו הרחיב את ביתם לפעילות בית כנסת ובית מדרש בשם "שערי ציון". בעשר שנותיו האחרונות למד שם בקביעות במסגרת הכולל של בנו. פעילותו הציבורית לא פסקה והוא המשיך לייעץ, לפסוק ולסייע לבני עדתו בכל עניין.
בנו וממשיך דרכו, רבה הראשי של העדה הבוכרית הרב בנציון הכהן רבין מתאר על כך במילים: "זו היתה הדרך שבה גדל אבי זצ"ל – להיות קשור בכל נימי נפשו לחיי בית אביו, וזאת הדרך שאותה הנחיל אחריו, ולכן עמל בעשר אצבעותיו להקים מקום תורה ובית כנסת, כדי שכל בני המשפחה יהיו קשורים למקום, וזכה שמקום זה שוקק חיים של תורה ותפילה במשך כל שעות היום באברכים שלומדים במקום במסגרת כולל ושיעורי תורה קבועים ומניינים קבועים שברוך ה' מתרבים מיום ליום".
בשנות התשעים, עם גלי העלייה הגדולים מברית המועצות לשעבר, הבין הרב פנחס את גודל הצורך לסייע לעולים הבוכרים שהגיעו ארצה להסדיר את מעמד יהדותם. הוא הקדיש את עיקר זמנו ומרצו לעיסוק בבירורי יהדות, בהנפקת תעודות ובסיוע למשפחות רבות שנזקקו לעדות הלכתית לצורך נישואין וגיור. במשך שנים ישב שעות ארוכות עם עולים, בחן מסמכים, שמע עדויות, וחיפש פתרונות הלכתיים שהיו גם מדויקים וגם מלאים חמלה. בזכות מומחיותו הרבה פנו אליו רבים מרחבי הארץ והעולם לקבלת עצה והכוונה בעניינים הלכתיים, במיוחד בתחום הגיטין והבירורים.
כאשר הוקם קונגרס יהודי בוכרה העולמי על ידי מר לב לבייב, פנה אליו לבייב בבקשה לשמש כרב העדה הבוכרית בארץ ובעולם. בתחילה סירב מתוך ענווה ורצון להתרכז בלימוד, אך לבסוף נענה לבקשה מתוך תחושת שליחות כלפי בני העדה. במסגרת תפקידו כרב העדה הבוכרית, פעל יחד עם מזכ"ל איגוד הרבנים הרב יצחק אמינוב לחיזוק החיים הדתיים והרוחניים של בני העדה בארץ ובעולם, דאג להעמקת הזהות היהודית בקרב הדור הצעיר, ועודד רבים לפנות ללימודי תורה, רבנות ודיינות. הוא ראה בכך המשך ישיר למחויבותו לעדה ולחיזוק הקשר של הדורות החדשים למסורת.
