يُعدّ الخليفة عليّ بن أبي طالب -رضيَ الله عنه- أوّل من بنى السّجون في الإسلام، فكان عليّ بن أبي طالب -رضيَ الله عنه- قد أعدّ للسجن داراً مخصّصاً في الكوفة وسمّاه نافع؛ وهو سجنٌ بُني من القصب في مدينة الكوفة في العراق، إلّا أنّه لم يكن حصيناً فنقبه اللّصوص وفتحوه وهربوا منه، فهدمه وبنى سجناً آخر أوثق منه من المَدَر والحجر، وسمّاه مُخيِّساً، والمُخَيّس هو من التخسيس، وسمّي السّجن بذلك لأنّه يُخيّسهم ويذلّهم، وكان علي بن أبي طالب -رضي الله عنه- يقول شعراً في ذلك: «أَما تَراني كَيِّساً مُكَيّسا، بَنَيْتُ بَعْدَ نافِعٍ مُخَيَّسا، بَابًا كَبِيرًا وأَمِيناً كَيِّسا». ولم يرد في الرّوايات أنّ رسول الله -صلّى الله عليه وسلّم- استعمل السّجون في عصره، وكذلك في عهد الخليفة أبي بكر -رضيَ الله عنه-، وأمّا في عهد عمر بن الخطّاب -رضيَ الله عنه- فقد كان يُعاقِب المُخطئ بحبسه في المسجد أو في خيمة، ورُويَ أنّ الحبس في زمنه كان السّجن بوضع المحبوس ببئرٍ مظلمة، كما فعل مع الحطيئة حين قال فيه هجاءً قبيحاً فحبسه في بئر، وفي عهده -رضي الله عنه- اشترى له عامِلُه في مكّة المكرّمة داراً من الصّحابي صفوان بن أميّة -رضيَ الله عنه-؛ ليتّخذها سجناً، وكان عمر بن الخطّاب -رضيَ الله عنه- يُفضّل سجن القتلة واللّصوص على نفيهم، ليتأكّد من توبتهم، وليأمن شرّهم في المكان الذي يُنفون له، وأمّا في عهد عثمان بن عفّان -رضيَ الله عنه- فقد ورد أنّه استعمل السّجن وحبس أحد لصوص بني تميم حتّى مات.