某学校利用假期组织教师集体旅游，与某旅行社签订了一份费用达10万元的旅游合同，合同约定，由学校预交3万元定金给旅行社。后由于旅行社方面的原因，旅游合同没有履行，双方就3万元定金的返还发生了争议：旅行社认为应如数返还，而学校则认为应双倍返还。请分析：旅行社应向学校返还多少钱?