Nejstarší zmínky o obci pocházejí z roku 1631. Olešnice patřila ke Hrubé Skále, po bitvě na Bílé Hoře připadla Albrechtovi z Valdštejna.

Významnou kulturní památkou Olešnice je barokní socha Panny Marie Bozkovské, která se nachází na místě bývalé kašny. Z dalších kulturních pamětihodností se na území obce nachází zbytky hradu Chlum ze 14. století, památkově významné jsou rovněž lidové stavby - např. roubený dům č.p. 16 s vyřezávanou čtyřpatrovou lomenicí pojizerského typu. V osadě Mlýnice je zachovaný dosud fungující mlýn. Za návštěvu stojí také zbytky vodojemu na návsi v Pohoří. Z vodojemu se dochovala výrobní deska větrného kola, které sloužilo k čerpání vody z 56 m hluboké studny.