詹姆斯·梅特兰·斯图尔特于1908年出生在美国宾夕法尼亚州印第安纳郡（Indiana, Pennsylvania），一个苏格兰后裔，基督教喀尔文教派长老会虔诚信仰的家庭。父母都是大学毕业，他们让儿女有同等机会受大学教育。吉米·斯图尔特是家中长子，有两个妹妹。父祖三代都经营五金行，家境富裕；而母亲的音乐及美术素养，对三名子女的影响更大，音乐经常充满了这个和乐的家庭。<br/> 童年时期的吉米·斯图尔特，一个害羞的小男孩，课余的时间常躲在家里的地下室做飞机模型、绘制机械设计图、还有自己写了剧本与妹妹们排演、以及在家乡的默片戏院打工。家人主要希望他能够继承父业。他曾一度想要就读海军学院，但并未得到父亲同意，飞行则是吉米·斯图尔特自幼的梦想。<br/> 1932年斯图尔特毕业于普林斯顿大学建筑系。中学则毕业于位在宾州，人才辈出的梅瑟斯堡学院（Mercersburg Academy）。他的中学及大学时期，在学校社团都极为活跃，他专长演奏手风琴，因此加入学校的管弦乐团。他亦是美式足球队、棒球队、田径队队员，擅长跳高、掷标枪，尤其更是长跑健将。他还是唱诗班及合唱团团员、暑期的建筑研究社社员、童军团成员及终身的支持者、年监的美术编辑、文学协会的成员，他也有写诗的天份，并在多年後出版诗集。斯图尔特在普林斯顿大学参加的社团，尚包括两个全美国闻名，至今皆已有一百多年历史的「普林斯顿美食社」（Princeton Charter Club）、以及话剧团「普林斯顿三角俱乐部」（Princeton Triangle Club）。他在建筑系的成绩依旧非常优异，擅长工程制图及化学等科目，并且曾经以一篇机场设计的论文获得奖学金。<br/> 然而吉米·斯图尔特是在大学时期参加的话剧团，发掘自己真正的兴趣，他在学校话剧团已经当上主角。从斯图尔特的大学时代开始，那时适值经济大恐慌期间，百业萧条，即使是当时美国最热门的建筑业也不免受到影响；不过其时也是有声电影开始发展、「好莱坞黄金时代」的初期。在普林斯顿建筑系，成绩优秀的斯图尔特决心成为演员。<br/> 不同于多数其他的演员，吉米·斯图尔特不但未曾上过戏剧学校，也没上过任何表演专门的课程。他凭藉的，除了天份，再来就是学校社团的经验。他在Princeton Triangle Club时，认识长他一个年级的同学约书亚·罗根（1908~1988），毕业以後受到罗根之邀，参与在波士顿的学生剧团，之后再转往百老汇参与舞台剧演出，并认识亨利·方达（1905~1982）、玛格丽特·苏利文（1909~1960）（先后成为亨利·方达与导演威廉·惠勒的第一任妻子），并结为朋友。<br/> 吉米·斯图尔特来到百老汇的数个月后，又成为舞台剧的主角，演出获致成功，而且被当时的媒体加以报导。在1932年到1934年之间，这4位好友并肩为自己的梦想－以及经济不景气的压力－而奋斗着。之后罗根前往莫斯科进修，其后回到百老汇；苏利文、斯图尔特和方达，他们各有际遇，都到好莱坞发展。约书亚·罗根后来成为普立兹奖、东妮奖得主的舞台剧导演、斯图尔特和方达皆是一代银幕传奇、玛格丽特·苏利文亦是1930、1940年代著名的一线女星。这些年轻人后来都在好莱坞星光大道上留名。