Obec je vstupní branou jedné z přístupových cest do střediska zimních sportů - Deštného v Orlických horách, k obci náleží části Brocná a Svinná. V době kolonizace vzniklo ve zdejším podhůří Orlických hor několik hradů, jejichž zbytky jsou ještě dnes patrné. Jedná se o hrad Skuhrov, Nový hrad (též Klečkov) a Hlodný. V podhradí se postupně usazovali zemědělci a dali tak vzniknout obci, která nesla stejný název jako hrad - Skuhrov. Podle dochovaných pramenů vedla podél řeky Bělé v dávných dobách obchodní stezka do Kladska a Slezska. Na ostrohu nad řekou stával hrad Mutiny Skuhrovského z rodu Drslavců, jednoho z vůdců odporu proti Braniborům ve východních Čechách. Podle hradního pána převzala obec v podhradí svůj název, který byl později doplněn označením "nad Bělou".
První historicky ověřené zprávy o Skuhrově se datují od roku 1279 (Dalimilova kronika). V této době byl zdejší hrad sídlem Mutiny z rodu pánů z Dobrušky. Pod jeho vedením se obec úspěšně rozrůstala, v roce 1310 se stala městečkem, roku 1396 pak městem s právem pečeti, dvou trhů ročně a středem rozsáhlého panství. Po husitských válkách připadl hrad a celé panství jako odúmrť panovníkovi. Král Ladislav Pohrobek jej daroval Zdeňkovi ze Šternberka, v roce 1455 byl podstoupen Jiřímu z Poděbrad a v roce 1495 koupil celé panství Vilém z Pernštejna. Za držení Benjamina z Vlkánova byl hrad již pustý. Třicetiletá válka znamenala úpadek i pro městečko, které bylo téměř opuštěno.
Nový rozmach přineslo 18. století. Na řece Bělé se začalo s budováním hamrů, které zpracovávaly železnou rudu z okolních míst. Koncem 18. století byla panem F. Wildmanem v místech bývalých hamrů zbudována železárna. Její majitelé se střídali s větší, či menší úspěšností v podnikání. Roku 1817 ji koupil František Kolovrat Liebštejnský a zcela ji přebudoval. "Růženina huť" (viz foto), nazvaná podle manželky zakladatele, se stala již tehdy známou svými výrobky. Roku 1897 koupili tento závod bratři Porkertovi. Podnik byl přebudován na slévárnu šedé litiny a postupně modernizován. Tak byl položen základ ke stoletému trvání továren a výrobků značky Porkert. Současně s rozvojem průmyslu nastal ve Skuhrově i rozmach živností, řemesel, obchodu i spolkové a osvětové činnosti.
Mezi další významné kulturní památky se řadí sochy sv. Václava a sv. Jana Nepomuckého z první poloviny 19. století z původního kamenného mostu přes řeku Bělou a tzv. Panský dům z roku 1806. Mezi památná místa v okolí obce patří především Lipka na Hraštickém kopci (459 m). Její rozložitá koruna zve k posezení a rozjímání nad krajem spisovatelů Aloise Jiráska a Karla Poláčka.