Brenda mureve të kalasë së Ali Pashës, pjesa më e madhe e kështjellës se vogël të Bajazidit II qëndron akoma në këmbë. Ajo zë një hapësirë prej 56 me 40m dhe ndodhet rreth 50m nga shkëmbinjtë e bregut të lumit. Evlia Çelebiu e ka përshkruar atë me fjalët e mëposhtme:
“Kështjella ndodhet në bregun e lumit Egri, mbi një shkëmb të lartë dhe të rrëpirë në një sipërfaqe të rrafshët por të pjerrët. Pas rrethimit, banditët e tërbuar e shkatërruan kështjellën në atë shkallë, saqë riparimi apo rindërtimi ishte i pamundur. Në vitin e përmendur, Gedik Ahmed Pasha ndërtoi afer saj, mbi këtë shpat, një kështjellë të bukur dhe të re prej guri të një forme drejtkëndore, duke përdorur gurët e kështjellës së vjetër; një kështjellë si ajo e Shedadit, e cila është në të vërtetë si “Muri i Edenit.” Ajo është një kështjellë e vogël, perimetri i së cilës është 600 hapa. Ajo nuk ka ndonjë hendek, por muret e saj janë shumë të trasha dhe 40 ells (masë gjatësie 45 inç). Ajo ka gjithsej dy hyije, njërën me pamje nga lindja dhe tjetrën nga veriu. Në kështjellë ndodhen 40 shtëpi të vogla dhe të pakëndshme të mbuluara me tjegulla të kuqe dhe pa kopshte rreth tyre. Ndodhet vetëm një xhami e vogël e Bajazid Veliut, e cila ka një minare të vogël dhe të ulët. Gjithashtu, në këtë kështjellë ndodhen edhe cistema, një depo municioni dhe hambarët janë të mbushur me mel”.
“Viti i përmendur” i këtij teksti është viti 897 (A.D. 1491-92), i cili në të vërtetë është viti i ekspeditës ushtarake të Bajazidit II. Megjithatë, Gedik Ahmed Pasha vdiq në vitin 1482 dhe nuk ka të bëjë fare me ndërtimin e kështjellës së Tepelenës. Siç shihet sot, kështjella është përforcuar nga dy kulla shumëkëndore në anët jugore dhe perëndimore, me pamje nga stera. Të përfshirë në mure shohim bazën e minares, e cila është sigurisht ajo që është përmendur nga Evlia. Një ekzaminim më i afert i kështjellës së vjetër zbulon dy lloje të ndryshme teknike ndërtimi murature. E vjetra dhe ajo origjinalja është një punë kluasonazhi e një lloji të rëndomtë. Ndonjëherë ajo ka dy shtresa tulle midis vargjeve prej blloqesh të prera trashë dhe në raste të tjera ajo ka vetëm një shtresë. Lloji i dytë i punës ndërtuese është i një cilësie më të ulëi dhe i përkët një riparimi, që ka mundësi të lidhet me trazirat e fillimit të shekullit XVII. Si e tërë, kështjella e Bajazidit është vetëm një fortesë kufitare e parëndësishme, e cila shfaq pak interes për arkikitekturën ushtarake modeme, meqë ndërtesa është e bërë sipas traditës së Mesjetës së vonë. Kështjella e ndërtuar nga i njëjti sulltan në një zonë të afërt me Patrën (Kështjelllën e Moresë) apo me ato të Prevezës apo Durrësit paraqesin një stil më të zhvilluar të arkitekturës ushtarake, me përmasa të veçanta të marra nga artileria. Si bazë e një gamizoni dhe fortesë modeste në kohërat e revoltës, kështjella e Tepelenës do të kishte qenë e mjaftueshme, por jo për një rrethim të vazhdueshëm nga një ushtri e armatosur mirë. Riparimi i kësaj kështjelle u bë në vitin 1968 nga Instituti i Monumenteve të Kulturës. Për këtë arsye, në kështjellë u bë një studim i plotë, rezultatet e të cilit u përdorën pjesërisht në këtë libër.