სამუელი დაიბადა ჰამილტონში, ვიქტორიაში, მარეისა და კლიფორდ სამუელის ვაჟი. იგი გაიზარდა ადელაიდაში, სამხრეთ ავსტრალიაში და 2001 წელს დაამთავრა როსტრევორის კოლეჯი. მას ჰყავს უმცროსი ძმა, ბენედიქტი, მწერალი, პროდიუსერი და მსახიობი, ასევე უფროსი და, ბრიჯეტი, სცენაზე მენეჯერი. მიუხედავად იმისა, რომ როსტრევორის კოლეჯში უფროსი საშუალო წლები დაასრულა, სამუელმა ბოლო წლის დრამა ჩაატარა ქრისტიან ძმების კოლეჯში, ამანდა პორტუსის მეთვალყურეობის ქვეშ, სადაც მან ითამაშა ტომ სნუტის (კედლის) ნაწილი როსტრევორის კოლეჯში შექსპირის შუახნის ოცნების წარმოებაში, ასევე ითამაშა “Belvile” CBC- ის Aphra Behn- ის წარმოებაში. Xavier Samuel მოგვიანებით დაესწრო Flinders University Drama Center 2005 წელს, სადაც სწავლობდა ცნობილ მოქმედი მასწავლებლის პროფესორ ჯული ჰოლედეს ქვეშ. მან ითამაშა ჰამლეტი სამაგისტრო წარმოებაში.