平安時代から室町時代にかけて、現在地の東方（旧郡山中央卸売市場付近）に天台宗正覚寺というお寺がありました。これが阿弥陀寺の前身です。
安積の地は南北朝期に篠川（笹川）御所、宇津峯城を廻っていく度かの戦の舞台となりました。正覚寺もその災いを被り、広大な堂塔伽藍ことごとく炎上いたしました。その際幸いにもご本尊阿弥陀如来は、僧侶の手によって地中深く埋められ、難を免れたのであります。
後に檀越今泉家の手によって当寺に遷座され、天正2年（1574）に真言宗の寺として中興開山、その後二度の火災に遭いながらも、ご本尊と過去帳は、そのたびごとに難を免れて、今日に至り、歴代住職は、法灯を伝えております。