整个赞丹寺依山而建，气势雄伟壮观，分红白两个建筑群，远看外形酷似布达拉宫，该寺是藏北地区最早的黄教寺庙，也是藏北最大的佛教古建筑群。    据史料记载，该寺初建于五世达赖喇嘛时期，当时五世达赖喇嘛在蒙古固始汗兵力的援助下，首先在西藏东部地区施行了清教政策，用武力摧毁了很多以苯教为主的寺庙，强迫其他教派的许多寺庙改为黄教寺庙。    根据赞丹寺的寺志，该寺是在没收其他另外七座非黄教寺庙的财产的基础上新建而成的，据说还有大量的苯教景点收藏在该寺内。赞丹寺建成后称为除布达拉宫的郎杰扎仓后的第一个直接由地方政府噶厦所统管的寺庙。