说它古老，是因为拜伦家族早先跟随着“征服者威廉”一起从诺曼底来到英国，在16世纪的十字军远征中，战功显赫，历代都受到国王的赏赐，并封为勋爵。还是婴孩的拜伦，怎么也不会想到，在他10岁的时候，竟会成为纽斯台德世袭领地的主人。

　　诗人拜伦的父亲约翰•拜伦，年轻时在法国陆军学校受教育，毕业后成了英国陆军的近士卫官。他性情暴烈，行为粗野，又喜欢豪饮滥赌，欠下巨额债务。当他20岁从美国回到伦敦后不久，就拐走了卡尔马瑟侯爵夫人，花天酒地，大肆挥霍着侯爵夫人从她父亲那里继承得来的每年4000英镑的收入。但是，4000英镑到底维持不了他的奢侈生活和巨额赌债。两人只好离开英国，又逃到法国去。在那里生下女儿奥古丝塔，她就是诗人拜伦的同父异母姐姐，是拜伦一生中最亲密的朋友，对拜伦的生活和创作产生过重要的影响。生下女儿不久，卡尔马瑟侯爵夫人就病死了。

　　这位失去4000英镑收入的浪荡子又悄然回到英国，看上了一个出身于苏格兰贵族家庭的名叫凯瑟琳•戈登的少女，虽然她相貌不佳，却拥有着23000镑的财产——其中3000镑是现金——这对他来说太有诱惑力了，因为它能偿还过去的赌博欠债。1784年5月，他们在巴思温泉结婚，这位夫人就是拜伦的母亲。新婚夫妇回到北苏格兰戈登的家中，可是，他的赌博、好酒和游荡生活很快又把戈登家的财产挥霍荡尽了。夫妇俩变卖了土地和家产，移住到法国，生活一天天地贫困起来。

　　1787年夏，已有身孕的约翰•拜伦夫人因怀念自己的故乡，单身回到了伦敦，这位俭朴的苏格兰妇女在伦敦一条街上租了房子安顿下来，可她丈夫为了躲债依然在法国流浪，没钱的时候就常常来信向手头并不宽裕的妻子索讨。在拜伦3岁的时候，他的父亲终于在“没有衬衫、没有一文钱，惟一的一件衣服也早已百孔千疮”的潦倒境遇中死去，据说是自杀的。、丈夫的死对妻子是个惨重的打击，加上生活的日益拮据和自己的不幸遭遇，使拜伦母亲的性格变得十分暴躁乖戾，喜怒无常。拜伦的幼年就是在贫困的境遇中跟着脾气不好的母亲在北苏格兰度过的。