Первый армянский священник появился в Харькове в 1870 году. Армянский молельный дом находился в начале XX века на ул. Дмитриевской, 24. В 1902 году был перемещён в Инструментальный переулок (связывает площадь Конституции с улицей Пушкинской), в дом № 3 приват-доцента Харьковского университета Рихтера. Во флигеле этого дома размещалась квартира священника Серапиона Самуэляна Тер-Хачатуряна. В 1910 году армянская церковь снова поменяла адрес, переехав на на ул. Чернышевскую, 5, и разместилась на участке, принадлежавшем Г. Давтянцу.
В первые годы советской власти армянская религиозная община продолжала существование. 3 августа 1925 года было зарегистрировано «Христианское религиозное общество армянского вероисповедания», созданное при храме Святого Георгия на ул. Чернышевской. Это церковное здание было разрушено в годы Второй мировой войны.
В новейшую эпоху истории города новая армянская церковь была возведена по адресу ул. Шевченко, 144.
На время строительства культурного центра, в цокольном этаже церкви Сурб Арутюн проходят занятия по армянскому языку, истории и танцам.