沃尔特·弗雷泽1945年3月29日出生于休斯敦 ,弗雷泽在家里9个孩子中排行老大,高中时就习惯做老大位置。他是橄榄球队的四分卫,还是棒球队的接球手。他的篮球技术是在粗糙不平的砂土地上练出来的,那是20世纪50年代种族隔离的南方提供给黑人学校的唯一场地。弗雷泽很早就形成了自己的篮球哲学,一直带到职业赛场,侵略性的防守第一,再有就是传球给空挡队友永远比自己烂投更有效。
弗雷泽大学选择了南伊利诺伊大学。在弗雷泽的领导下,南伊利诺伊大学成为第一个在NIT(早期和NCAA锦标赛齐名的大型赛事)捧杯的小学校。沃尔特大四入选全国最佳阵容 。