Откритите по склоновете на крепостта фрагменти от питоси и глинени съдове от ІV в. сл. Хр. сочат, че най-вероятно крепостта е използвана от траките и в по-късните епохи от тракийското племе сапеи. Историците сочат, че на територията на Средните Родопи досега са регистрирани само три тракийски крепости, от които "Заград" е най-старата.При проучвания през 2007 г., около крепостта са намерени кости на на жертвено животно на около 3500 години.

След частичните проучвания цялостни археологически разкопки не са правени, крепостта вероятно е ползвана и в Средновековието и е свързана с миналото на населението на Забърдо. Селището им е много старо, има доказателства съхранявани както в централния архив, така и в библиотеката "Николай Вранчев" в Смолян, че то е съществувало още преди земите около Забърдо да станат част от Османската империя. Заград е било първото им населено място през 15 в. с население около 2500 души. Имало стража, която подавала сигнал със запален огън от околните върхове при опасност и тогава населението се е прибирало в крепостта.

По време на турските нашествия в средата на ХІV век именно в тази част на Родопите стават първите най-масовите помохамеданчвания на християни, наложени с изключителна жестокост. Селото съществувало и на 10-ина км на североизток от сегашното, на пътя за "Чудните мостове", но е нападнато от османците през 1680 г. и жителите му бягат тук, под тракийското светилище Заград. Днес е останала легенда, която разказва, че тук на Чуката, или в местността Айдарски камък, се намирала крепостта на Гордю войвода Заград. 

Той и хората му оказали ожесточена съпротива на турците, но не успели да спрат пълчищата на нашественика. Крепостта паднала и нейните защитници били хвърлени живи, заедно с конете им в близката пропаст, наричана от тогава Челевещница, в която, след проведени археологически проучвания, наистина са намерени множество човешки кости и оръжия.

През 1964 г., по време на IV международна пещерна експедиция, са проведени проучвания. В пропастта са открити върхове от пики и копия, принадлежности от конски амуниции, които също специалистите ги отнесоха към късното средновековие. Находките в момента се съхраняват в Музея по спелеология в гр. Чепеларе. През 1989 г. Георги Райчев също посещава пропастта, където открива 2 бр. човешки челюсти, които в момента се намират в Музеят в гр. Чепеларе.

Според преданието, след падането на България под турско робство, Родопите е последната твърдина на българщината. По долината на р. Чая постепенно падат родопските крепости Зареница при с. Нареченски бани и Калето при с. Забърдо. Обсадена - крепостта Калето до последно се отбранява. След многократните предложения от страна на турците да се предадат защитниците, отчаяно една нощ те правят опит за пробив в обсадата. Една част от защитниците, успели да пробият обсадата се изтеглят от Забърдо в посока крепостите Беден и Девин. Друга част от защитниците, пленени са били хвърляни от турците в пропастта.

При проникването на спелеоложкият екип в пропастта са открити човешки кости. Тук са открити още два меча, които впоследствие изследователите ги предават на съхранение в Пловдивският археологичен музей. Първоначално те се датират като славянски оръжия.

Според изследванията на оръжията през 2002 г. находките се отнасят към епохата на траките. Това определение е от директора на Пловдивският археологичен музей - ст. н.с. Костадин Кисьов, който от дълги години е правил археологически проучвания в околностите на гр. Чепеларе. Единият от мечовете е от трако - илирийски тип (т. Нар. Ромфея), а другият е кръстат тип меч. Причината за попадането на хората, както и от конете би могло да се предполага, че местните тракийски племена са били в непрекъсната вражда и при някоя от тези междуособици, хората, заедно с въоръжението са били хвърлени там - акт на отмъщение.

Вълната на помохамеданчването не отминала жителите на Забърдо, което тогава се намирало от другата страна на хребета недалеч от Ер-кюприя. Поколенията си препредават историята, според която веднъж пристигнал с еничарите си един турски военачалник дели Софта и заобиколил селото. По това време хората се намирали в църквата. Изловил ги той, наредил ги на площада, изтърсил пред тях два товара фесове и казал: - Избирайте или фесовете, или главите. Изплашили се хората. Някои не могли да издържат и грабнали фесовете. Други обаче отказали да се помохамеданчат. тогава дели Софта ги затворил в църквата и заповядал на ордата си да ги изколи. Измъкнали енирачите ятаганите и започнали да колят. Църквата се огласила с викове и писък. От този именно писък /цирикане/ тя била наречена "Цирикова черква". 

Помохамеданчените жители на селото не могли да останат повече тук, където били избити техните братя и роднини. Те се преселили и основали ново село. Предишното селище останало да се нарича от местните Старо село. Новото им село, преди да се нарече Забърдо, носело името Чукуркьой (село в дол).

Легенда разказва, че в пещера под Заград - Тъмната /Тьовната дупка/ се скрили местни хора, които не искали да приемат исляма, но били открити от турците, които запалили пред входа на пещерата голям огън и така издушили хората вътре. Същото е преданието и за отстоящата само на 200 м втора пещера под хълма - Сливова дупка, където са намерени кости само на деца.

За жертви, криещи се от нашествениците, се разказва свързано и с недалечните пещери наречени само Челевешки (Човешки) - едната във високата част на Айдарски камък западно от Забърдо и другите две при близките села Орехово в местността Дуплевски камък (махала Заграо) и в местността Робката при с. Павелско. Пак на кланетата се отдава и името на скалата Костен камък, а други много българи нежелаещи да отстъпят от вярата си са изклани от турците и на отсрещния връх срещу крепостта - Цирикова черква, където също има крепост и пещера.

Тази крепост, заедно с по-далечната крепост Зареница и срещуположната на Заград на възвишението Камъка охранявали пътищата по речните долини и древния тракийски маршрут от Абдера на Бяло море през Пловдив до Дунава станал по-късно римски път използван до 18 век. Част от римския път, виещ се недалеч от Забърдо, може да се види и сега.

Части от античния път, свързващ пряко главния град на провинция Тракия Филипопол към Егейското крайбрежие, известен като Виа Егнатия, е запазен по билото на планинския хребет Чернатица над село Забърдо.

Някои изследователи предполагат, че този път е използван още от времето на Александър Македонски през ІVв пр.Хр. при похода му срещу тракийското племе трибали. Счита се, че той следва един от древните търговски пътища, прекосявали планината през І хил. пр. Хр. През І -ІІ в римляните полагат тук типичната за имперските пътища солидна каменна настилка. Тя е съхранена в съвременността на участъци, по протежение на близо 10км. Най-дългият, много добре запазен участък е 3-километров, по билото на планината, след туристическата хижа"Персенк", под връх Малък Персенк, на около 1800м надморско равнище, и достига до местността Мезаргидик. 

След местността Мезаргидик пътят продължава все в южна посока, заобикаля западно от подножието на вр. Персенк и преминавайки през местността "Глухите камъни" достига до Мечи чал. Социализиран е като археологически обект през 2007 г. по проект на Община Чепеларе по програма ФАР Трансгранично сътрудничество България - Гърция. Има поставени указателни табели, отговарящи на стандарта за европейско културно наследство от разклона на съвременното шосе Пловдив - Смолян при с. Хвойна, при с. Забърдо и от с. Орехово. 

Присъства в карти на планината и в издадените от община Чепеларе карти и рекламни материали. Трасето е много добре маркирано. Обектът е археологическа недвижима културна ценност. Вероятно до потурчванията в 17-ти век стените на крепостта край Цирикова черква оцелели, но след това тя окончателно е била изоставена.

Според османски списък на селищата, предвид облагането им с джизие от 8 ноември 1635 година, броят на немюсюлманските семейства в Забърдо е 135.

Според преброяването на населението в Царство България през 1910 година, към 31 декември същата година в Забърдо (Чукуркьой) живеят 1181 души, от който 172 български и 41 мохамедански семейства - повечето от тези мохамедани се изселват в Турция през Междусъюзническата война.

По-голямата част от основателите на селището Чепеларе са преселници от село Забърдо, където в началото на 1729 година тринадесет души от Забърдо и трима преселници от други населени места закупуват общо 16 дяла от имот, представляващ планината "Хаджиица" с владало (тапия), издадено от турският ефкаф (нотариус), намиращ се в Пловдив, при което след това те се заселват постоянно в землището и оттогава Чепеларе става същинско постоянно заселище като населено място с различни махали - "Горната махала", "Долната махала", "Шабановската махала", "Сивковската махала" и други. 

Единият от упълномощените представители за продажба на планината "Хаджиица" е хаджи Юмер от село Чепели, Гюмюрджинска кааза, продал част от дяловете на съпритежателите за 800 гроша. Според изследванията и справките на Васил Дечев, писател и изследовател на Родопите, от 1728 година до 1750 година в село Чепеларе имало 19 семейства, 14 семейства преселени от село Забърдо и 5, които заедно със семейството на преселените там местни управници Исеин бея и Мехмед Кьорходжа, съставлявали около 100 жители.

Спомен от тогавашното време е възстановеното в селото Забърдовско колело. В селото изчисляват, че същата въртележка в Забърдо е имало още от 1780 година. И понеже била от дърво е възстановявана отново и отново, като последната съществувала до 1948 г. Сега отново е възстановена за нов живот в новия век.

В началото на XX век селото има предимно помашко население и остава изолирано, след като повечето помаци от съседните села се изселват от страната. По време на Балканската война, както много помаци в Родопите, жителите на селото са покръстени, но впоследствие се връщат към традиционната си религия.

През 20-те години на миналия век царят и правителството, за да задържат селяните високо в планината и да спрат започнал процес на изселване, раздали безвъзмездно 7 800 декара първокласни гори. 

В края на 50-те години, още преди началото на Възродителния процес, хората от Забърдо доброволно се отказват от мюсюлманските си имена. През 70-те години джамията е изоставена и по-късно е разрушена, а през 2003 година на входа на селото е осветена малка църква.

Към читалище "Христо Ботев" в селото функционира Център за традиционна култура, туризъм и устойчиво развитие с етнографска изложба. Тя притежава голямо количество експонати. Посетителите на изложбата могат да се запознаят и с начина на изработването им, като посетят Центъра за традиционна култура, туризъм и устойчиво развитие, намиращ се в същата сграда. Етнографската изложба в село Забърдо може да бъде посетена всеки ден сутрин от 8,30 до 12 часа и следобед от 13,30 до 17 часа.