傳說宗喀巴誕生以后，從剪臍帶滴血的地方長出一株白旃(zhan)檀樹，樹上十萬片葉子，每片上自燃顯現出一尊獅子吼佛像（釋迦牟尼身像的一種），“袞本”（十萬身像）的名稱即源于此。宗喀巴去西藏6年后，其母盼兒心切，讓人捎去一束白發和一封信，要宗喀巴回家一晤。宗喀巴接信后，為學佛教而決意不返，給母親和姐姐各捎去自畫像和獅子吼佛像1幅，并寫信說：“若能在我出生的地點用十萬獅子吼佛像和菩提樹（指宗喀巴出生處的那株白旃檀樹）為胎藏修建一座佛塔，就如與我見面一樣”。第二年，即明洪武十二年（1379），香薩阿切在信徒們的支持下建塔，取名“蓮聚塔”。此后180年中，此塔雖多次改建維修，但一直未形成寺院。明嘉靖三十九年（1560），撣師仁欽宗哲堅贊于塔側倡建靜房1座修禪。17年后的萬歷五年（1577），復于塔之南側建造彌勒殿。至此，塔爾寺初具規模。萬歷十年（1582）第三世達賴喇嘛索南嘉措第二次來青海，翌年春，由當地申中昂索從措卡請至塔爾寺。三世達賴向仁欽宗哲堅贊及當地申中、西納、祁家、龍本、米納等藏族部落昂索指示擴建塔爾寺，賜贈供奉佛像，并進行各種建寺儀式。從此，塔爾寺發展很快，先后建成達賴行宮、三世達賴靈塔殿、九間殿、依怙殿、釋迦殿等。經四世達賴指示，萬歷四十年（1612）正月，正式建立顯宗學院，講經開法，標志著塔爾寺成為格魯派的正規寺院。