قلعه لمبسر ۴۸۰ متر طول و ۱۹۰ متر عرض دارد و ضخامت دیوارهای آن با دو لایه، حدود ۱۰ متر است. در بخش شمالی قلعه دیوارهایی به قطر ۱۲۰ سانتی‌متر وجود دارد که جایگاه فرمانروای قلعه بوده است. باروی غربی و برج‌های آن نسبت به باروی شرقی استحکام زیادی ندارد. درسمت غرب بر سر هر تیزی و پیش‌آمدگی کوه، برجی کوچک ساخته‌اند که فاصله‌ی آنها از یکدیگر در حدود یک متر است. در بخش شرقی قلعه، بارویی بلند را به ارتفاع ۱۰ متر احداث کرده‌اند. به نظر می‌رسد این بخش از برج، برای دیده‌بانی محافظان قلعه بوده است تا با داشتن دید وسیع، از فراز بر مهاجمین تسلط داشته باشند. این بارو سالم‌ترین قسمت دژ محسوب می‌شود و مشرف بر رود جاری در کنار آن است. در سه سمت دیگر قلعه به دلیل نفوذناپذیری طبیعی،‌ باروهایی کوتاه‌تر بنا کرده‌اند. دروازه‌ی جنوبی که کف آن حدود صد و پنجاه متر پایین‌تر از دروازه‌ی شمالی است، وضعیت سالم‌تری دارد. این دروازه شامل دو در پشت سر یک‌دیگر می‌شود که اختلاف سطح این دو حدود ۶ متر است. در اول رو به مغرب باز می‌شود و در دو طرف آن برج‌های بلندی قرار داشته است. آنچه امروزه از برج سمت چپ می‌توان دید، ارتفاعی بیش از ۶ متر دارد. پس از این در، راه قلعه پیچ می‌خورد و به در دوم منتهی می‌شود که اتاق نگهبانان در کنار آن است. دیوار و تاق این دو درگاه از سنگ تراشیده‌ی مکعبی ساخته شده‌اند.