Το κτήριο του μουσείου ανεγέρθηκε το 1904 από την εβραϊκή κοινότητα Θεσσαλονίκης . Ονομάστηκε τότε «Τζεντίντ Χάνι» (Νέο Κτήριο). Ήταν  μία από τις τυπικές  εμπορικές στοές που χτίστηκαν από το 1880 ως το 1910 στο κέντρο της Θεσσαλονίκης για να στεγάσουν νέες επιχειρηματικές λειτουργίες. Στο κτήριο αυτό,  στεγάστηκαν κατά καιρούς σημαντικές επιχειρήσεις, όπως επί παραδείγματι η Τράπεζα Αθηνών  (1906-1925) και η εφημερίδα L’Independent (1909-1941).