概要＝弥生時代中期の銅鐸が発見されている

古くは「兄神社」と称していたと伝えられることから、初代天皇の神武天皇の「兄」に当たる五瀬命ほか二神を祭神としたもので、明治時代に定められた。古文献では当社の祭神については様々な記述がある。社名より平安時代の参議秋篠安仁（あきしののあに）や右近衛大将安倍朝臣安人（あべのあそんやすひと）、和珥氏の祖神であるとするもの、天照大神、五十狭芹彦命（吉備津彦命）、また、単に当地の地主神であるとする説もある。このように諸説あって定められないことから、1870年（明治3年）の『神社明細帳』では「未詳」と書かれている。現在の五瀬命は1875年（明治8年）に安仁神社社務（神職）が作成した『安仁神社御傳記』に初めて現れるが、1925年（大正14年）に社務所が作成した『安仁神社誌』では、やはり定められないとして社名に神をつけた「安仁神」としている。第二次世界大戦後の1952年（昭和27年）に作成された『神社明細帳』で再び五瀬命とされ、現在に至る。元々、社殿は背後の宮城山（みやしろやま）の山頂にあったが、1344年（康永3年）に火災で焼失した。その後、備前藩主池田綱政によって現在地である中腹に再建され、備前藩の祈願所となった。