Presné údaje o tom, kedy bol Toporecký kaštieľ postavený nie sú známe, ale vyplývajúc z faktov, že Toporec bol od prelomu 13./14. stor. sídlom roku Gőrgeyovcov, je možné predpokladať, že najstaršia časť kaštieľa (dnešná severozápadná) mohla pochádzať ešte zo začiatku 14. stor. Postupný stavebný vývoj kaštieľa nie je doposiaľ známy, nakoľko sa na objekte neuskutočnil archeologicko-architektonický výskum, ktorý by pomohol odhaliť dejiny objektu. Najstaršia podoba kaštieľa bola pravdepodobne, ako to v minulosti bolo bežné kombináciou kamenných múrov a drevených častí. Podľa starších záznamov mal kaštieľ kedysi deväť pivníc, z ktorých jedna bola zakopaná v zemi, pričom sa v lete odkopávala a slúžila ako sakrálny priestor toporeckých a okolitých protestantov v čase prenasledovania. Bola asi 10m dlhá 5m široká, boli v nej oltáre, kazateľnica, potreby na krstenie a podlaha bola z vytesaných kamenných tabúľ. Miesto tohto pivničného chrámu v súčasnosti nie je známe. Dnešný suterén naznačuje len ? pivničných priestorov. Aj tu by výskum veľmi pomohol objasniť nejasnosti. Prízemie kaštieľa má 17 miestností. Na poschodí sa okrem 12 izieb nachádzala jedna veľká rytierska sála. V nej „namiesto portrétov slávnych predchodcov sú povešané rôzne poľovnícke trofeje: 1200 kusov jeleních parohov, spolu so starými zbraňami a inými starožitnosťami“. (Albert Gőergey)
Posledná podoba kaštieľa, ktorú dokumentujeme na základe dobových fotografií predstavovala dvojpodlažný objekt obdĺžnikového pôdorysu s manzardovou strechou a malým nádvorím uprostred. Južné krídlo kaštieľa tvorí vstup a teda pôvodne predstavovalo čelné krídlo kaštieľa. Fasáda bola jednoduchá s jemne vystupujúcim rizalitom uprostred, zakončeným trojuholníkovým tympanónom. Rizalit je troj-osový pričom okná boli zasadené do šambrán s nadokennými segmentovými rímsami. Nad vstupnými dverami sa na druhom podlaží nachádzal balkón na kovaných konzolách. Rizalit bol členený štyrmi pilastrami s eklektickými hlavicami. Okná po stranách od rizalitu boli taktiež zasadené do šambrán, avšak iba s jednoduchou nadokennou rímsou. Kaštieľ bol v minulosti údajne obohnaný múrom, ktorý dnes už nie je viditeľný pretože bol odstránený začiatkom 20. stor.. Archeologický prieskum terénu by však určite odhalil jeho hrúbku aj polohu. Údajne sa hradby ťahali rovnobežne so stenami kaštieľa zo severnej časti vo vzdialenosti 10m a východnej časti kaštieľa 20m. Múry boli v každých 10-15m prerušené, kde boli umiestnené akoby strážne vežičky. Na severnej strane boli 4, na východnej ďalšie 4. Informácie o múroch z južnej a západnej stany nie sú známe. Spomína sa, že v čase reformácie medzi týmito múrmi bola kedysi umiestnená aj elitná škola, kde vychovávali šľachtických mladých pánov.
Areál kaštieľa bol rozsiahly s mnohými oddychovými zónami. Dnešná podoba areálu ani zďaleka nenaznačuje jeho dávnu atmosféru. Okolo kaštieľa sa rozprestieral park o rozlohy cca 3 holdy (stará uhorská mierka používaná v 1. pol. 20. storočia, čo v prepočte predstavuje asi 1,72 ha) s množstvom okrasných rastlín a stromov. V areáli obzvlášť vynikala 400-500 ročná lipa s obvodom skoro 8m, do ktorej však udrel blesk a tak dnes sa už jej koruna nevyníma v areáli. V juhozápadnej časti niekdajšieho areálu bolo jazero, ktoré dostávalo vodu z jedného z prameňa v pivnici v parku. Dnes už nie je známe miesto toho prameňa ani pivnice. Bohužiaľ ani pohľad na dnešné „jazero“, ktoré bolo prestavané na umelú fontánu nemá čo ponúknuť návštevníkovi parku. Vedľa fontány boli kedysi ešte 3 veľké 100-120 ročné lipy, z ktorých do dnešných dní stojí už len jedna. Kedysi ich posadili traja bratia Juraj, Ján a František Gőergey. Z nich dnes stojí už len Jurajova lipa, pod ktorou je pochovaná jeho manželka Vilma Perciánová s ich piatimi malými deťmi, ktoré zomreli ešte v detstve. Neďaleko od kaštieľa stál trojizbový záhradný domček postavený z kameňa s červenými stenami. V roku 1618 ho dali postaviť Štefan Gőrgey a jeho manželka Zuzana Segneyová. „Na prednej čelnej strane tohto domčeka bol do čiernej skaly vyrytý nasledovný nápis: Urodzený a ctený veľkomožný pán Štefan Gőrgey z Hrhova spolu s jeho milujúcou manželkou Zuzanou Segneyovou pochádzajúcou z Ploského, dali postaviť sebe, svojím deťom a vrúcnym priateľom na potešenie a zábavu. Všetci, ktorí chvália Pána 1. marca 1618.“ (Albert Goergey) Domček bol zbúraný okolo v roku 1875 a dnes sa v areáli teda nenachádza. Severne od kaštieľa sa nachádzala ešte jeden veľmi starý strom medzi konármi ktorého bol skrytý záhradný domček, „kde v tom čase páni hrali karty a popíjali víno počas spevu vtákov“. Ďalej asi tak dvesto krokov severne od kaštieľa v údolí popri brehu potoka bola divá záhrada a v nej ďalší letný altánok. V údolí „Dolina“ bol ďalší drevený domček. Na tomto jedinom mieste akoby tradícia a minulosť nestratili svoj domov, pretože tu zvykli oslavovať majáles a dožinkové slávnosti, čomu toto miesto slúži dodnes. Neďaleko záhrady sa do dnešných dní zachoval pánsky domček „Jobovec“ ako pripomienka na počesť Jóba Gőrgeyho.
Týchto pár riadkov je len niečo z mála doposiaľ známych informácií o areáli Toporeckého kaštieľa roku Gőrgeyovcov. Archeologickoarchitektonický výskum je nevyhnutný pre ďalšie poznanie tohto objektu. Avšak predovšetkým je neodkladná akútna potreba opravy. Kedysi čarovné miesto plné histórie je dnes na pokraji zrútenia. Našou túžbou je zachrániť chátrajúci kaštieľ a vrátiť tomuto miestu to, čo mu patrí. Aby významné objekty súvisiace s našou históriou nezapadli prachom a neudupali sme ich vlastnými nohami, ale prehovorili a poučili nás o histórii našich predkov. Pri spracovaní tohto textu boli vo veľkej miere použité informácie z dokumentu: Gőrgey Albert, Z DEJÍN TOPORECKÉHO A HRHOVSKÉHO RODU GŐRGEYOVCOV A RODU ŠVÁBOV ZO ŠVABOVIES A SLOVENSKEJ VSI, Spišské noviny, Sp. Nová Ves 1909