Zámok vo Veľkých Losinách postavil významný moravský rod pánov zo Žerotína. Neskoro renesančná stavba zo záveru 16. storočia nahradila schátranú pevnosť. Vonkajšie fasády zdobia listové sgrafito, ale bosované oblúky arkád na nádvorí už predznamenávajú nastupujúce baroko.
Práve v čase nastupujúceho baroka bol zámok honosne vybavený, bez úhony prežil tridsaťročnú vojnu a vďaka tomu môžu návštevníci uvidieť ojedinele zachovalé interiéry zdobené výnimočnou kolekciou gobelínov a kožených tapiet. Za zmienku stoja tiež najstaršie dvojsedadlové nosidlá na svete alebo zámocká knižnica. Keďže zámok dodnes nepodľahol elektrifikácii, prebiehajú tu v lete obľúbené večerné prehliadky s baterkou. Veľmi príjemná je aj prechádzka zámockým parkom, kde sú prezentované vzácne druhy drevín.
Losinský zámok, respektíve losinské panstvo, je spojené s takzvanými čarodejníckymi procesmi, ktoré tu prebiehali v rokoch 1678–1692. Za obeť inkvizičného tribunálu tu padlo 56 nešťastníkov.
V roku 1802 predal Ľudovít Anton zadlžené panstvo poručníkom Karla Liechtensteina z moravskorkumlovskej rodovej sekundogenitúry. Liechtensteinovci najskôr pristúpili k rozsiahlej rekonštrukcii barokovej zámockej záhrady, na ktorej mieste v priebehu 19. storočia vybudovali existujúci anglický krajinársky park. Interiéry tzv. „vysokého zámku“ boli upravené len minimálne. Stavebnými úpravami prešlo iba prízemie zámku za účelom zriadenia prevádzkových priestorov. Naopak, veľkej pozornosti sa tešil tzv. "nízky zámok". Pred polovicou 19. storočia bolo opravené a vybavené dnešné empírové krídlo, nasledovali ďalšie priestory zariadené v štýle druhého rokoka.
Všetky tieto úpravy sa sústredili na premenu starého zámku na romantické letné sídlo. Tieto snahy o postupné zvelebenie zámku môžu návštevníci uvidieť na prehliadkovej trase "Liechtensteinovej na Losinách".
Od roku 1945 je zámok majetkom štátu. Prvým kastelánom sa stal Jozef Helekal. Obdobie konca 40. a najmä priebeh 50. rokov predznamenali dnešnú podobu zámockého areálu aj rozsah mobiliára. Postupne boli na Veľké Losiny zvezené mobiliáre z okolitých zámkov. Veľmi významnou osobnosťou bol zámocký záhradník Šín, ktorý propagoval pestovanie rhododendrónov a mnohé exempláre v zámockom parku pochádzajú z jeho výsadby.
Veľmi významné bolo rozmedzie rokov 1964 – 1966, kedy prebehla generálna rekonštrukcia arkád „vysokého zámku“.
Nezmazateľne sa do histórie zámku vpísal rok 1969, kedy tu bol natočený film podľa rovnomennej knihy „Kladivo na čarodejnice“.