彭于晏从小父母离异,妈妈拉拔他和2个姊姊长大,并将3人送到加拿大读书。他日前接受专访时提到,小时候最喜欢盯着天空变幻的云朵发呆,「看着云从兔子变成大象,脑袋也会说着一个个故事。」但妈妈也因此常被请到学校,老师提醒她:「你儿子有问题。」
彭于晏说:「单亲家庭的小孩,都比其他人懂得察言观色。」因此,他童年有大部分时间,都在自言自语中度过。当时2个姊姊也认为他是「神经病」,因为他常自顾地把玩「圣斗士星矢」公仔,抱着公仔睡觉;他也会为公仔编故事,让它们谈恋爱,或是互相打斗,甚至还以各式腔调诠释不同公仔的个性。他小学三年级时,他妈妈送给他一辆单车,没想到隔天车就被偷了,他认为自己没照顾好车,非常内疚,「也没有脸再要一台。」便再也没碰过单车,更不知道有自行车竞赛的运动。