第一次，是宝玉和黛玉初见的时侯。宝黛二人都似曾相识，特别是宝玉对黛玉更是欢喜异常。他先是说看着黛玉面善，就象是远别重逢，然后又问黛玉可曾读书，送了黛玉字，颦颦。
当宝玉问黛玉有没有玉，问的很突兀。黛玉认为通灵宝玉是个稀罕物，是宝玉的宝贝，哪里能都有呢。所以经过思虑就说没有。他认为这样说，才更表明通灵宝玉的珍贵，而贾宝玉听了这样的回答会很高兴。
但是黛玉会错了宝玉的意思。宝玉满面痕地狠命的摔玉。说通灵宝玉不分人的高低贵贱，连黛玉这样的神仙般的妹妹都没有，而自己却天天挂在身上。
宝玉这一摔，暴露了他对通灵宝玉的抵触情绪。因为这块玉，是他衔在嘴里，和他一起降落尘世的。他的祖母和母亲都认为玉就是他的命根子。而从小他的身上就带着一束光环，他被世人认为大有来历，而这也许给他带来了无名的压力。
在宝玉的心里，他只想做个和他的兄弟和姊妹一样的人，他不想因为有块玉，和姊妹们有距离。他反感把他的安危与通灵宝玉联系在一起，认为只要通灵宝玉完好无损，他也会平安无事。在别人眼里非比寻常的通灵宝玉，贾宝玉并不看重，他也并不认为，他比家里的姊妹们有更优越的地位。
而这块通灵宝玉一定给他带来过无名的烦恼。所以他觉得有这块通灵宝玉无趣，觉得不是什么吉利的东西。而细读整部红楼梦，通灵宝玉也确实没给他带来多少好运。
在宝玉的心里，黛玉容貌出众，举止脱俗，是神仙一样的人品，如果通灵宝玉真得有灵气的话，那么他应该挂在黛玉的身上，而不是他身上。既然黛玉没有，他也不想有，他才能和黛玉拉近距离。所以他满面痕地摔了通灵宝玉。
贾宝玉第二次摔玉，是清虚观打醮回来。在清虚观，张道士曾想为宝玉提亲，而宝玉因为史湘云有一个金麒麟，看到张道士送的贺礼里有一个金麒麟而偷偷地揣在怀里，而这一切都被黛玉看在眼里。
由于薛姨妈有意无意的散布，金玉良缘的说法日盛。但宝玉从小和黛玉耳鬓厮磨，情投意合。他对黛玉存的这份心思，总是不好说出口，所以想着法子去试探。
在宝玉的心里，他认定的是木石前盟，而不是什么金玉良缘。所以张道士提亲的事让他万般烦恼。而他本以为黛玉会明白他的心，明白他为何烦恼。
所以当黛玉问他为何不去看戏，他认为是奚落他。而黛玉对宝玉的心思也不好说出口，所以也变着法子对宝玉试探。
父母双亡寄人篱下的林黛玉对自己的姻缘满怀焦虑。在荣国府盛传的金玉良缘更是让他存在极大的心理压力。他明知道宝玉心里喜欢的是他，却违心地说宝玉因为张道士说亲，怕阻挠了他和宝钗的金玉良缘的好姻缘，所以拿黛玉撒气。
黛玉的几句半真半假的话，更是让宝玉异常恼怒，说又说不出，赌气抓下通灵宝玉来，咬着牙狠命往地下摔。他这一摔，是向黛玉表明了他的心。他想要的是木石前盟，不是什么金玉良缘。或许他以为，把玉砸碎了，金玉良缘的说法就会不攻自破吧。
但最终，宝玉黛玉都逃不掉宿命，他们的缘份也仅仅成就了一段凄美的爱情故事。而宝玉无论怎么摔，也摆脱不掉通灵宝玉带给他的命运。
