Köyün ismi, yapılan büyüden dolayı Azem olarak anılıyor. Büyüyü ise köye göçen bir çobanın yaptığına inanılıyor.