В феврале 1858 года Джон Грей умер от туберкулеза и был похоронен в Эдинбурге на кладбище Greyfriars Kirkyard («Грейфраерс»). Пес сопроводил гроб до места захоронения, а когда товарищи покойного Грея ушли, он остался жить на могиле. На протяжении последующих 14 лет Бобби можно было практически всегда увидеть на могиле хозяина. Лишь иногда он отлучался для того, чтобы перекусить: преданного пса подкармливал хозяин близлежащего кафе. А во время сильных морозов грелся в ближайших домах. Однажды Бобби чуть было не уничтожили, как бездомного пса. Но собака уже стала настолько знаменитой, что сам мэр города поручил взять ее под ответственность муниципалитета. С тех пор Бобби ходил в ошейнике, подтверждающим его законное право на дальнейшую жизнь в Эдинбурге.
Бобби умер в январе 1872 году и был похоронен на том же кладбище, где и его хозяин. Сейчас в Эдинбурге есть бар «Грейфраерс Бобби», рядом с ним находится памятник собаке, выполненный в натуральную величину. Его установили в конце 1873 года — через два года после смерти Бобби. А спустя столетие, в 1981 году, на могиле Бобби Обществом помощи собакам Шотландии был установлен красный гранитный камень. Надпись на нем гласит: «Грейфраерс Бобби. Умер 14 января 1872 года в возрасте 16 лет. Пусть его преданность будет уроком нам всем».