Conçu comme marché et entrepôt couverts, les Halles aux Draps furent construites le long d'une voie navigable (aujourd'hui couverte), l'Ieperlee. Leur construction s'acheva en 1304.
Au cours de la guerre 1914-1918, le bâtiment fut entièrement détruit, à l'exception d'un bout de tour et de quelques murs. La reconstruction fut confiée aux ingénieurs architectes J. Coomans et P.A Pauwels.
Au-dessus de la ‘Donkerpoort' sous le blason, on peut admirer la statue de Notre-Dame de Thuyne, patronne de la ville.
Au milieu des Halles aux Draps s'élève le robuste beffroi (70m). La flèche actuelle surmontée d'un campanile et d'un dragon (1692) a été reconstruite à l'identique. A l'origine, la partie inférieure de la tour faisait office de salle de trésor. L'étage du milieu abritait la salle d'armes. C'est d'ici qu'a lieu le ‘lancer de chats'.
Dans la ‘Klokkenluidershuis' (maison du sonneur) se trouvent les 49 cloches qui composent le carillon.