Einer Legende nach trug sich vor vielen hundert Jahren, in der ehemaligen Residenz (heute der alte Hof) der bayrischen Herzoge, folgendes zu:
Kaiser Ludwig der Bayer verbrachte seine Kindheitstage in der herzoglichen Residenz in München. Sein Vater hatte, wie es damals so üblich war, zur Belustigung des Hofes einen Hofnarren, der für das Wohlbefinden und die Späße in der Residenz sorgen sollte. Neben dem Narren gab es auch ein kleines Äffchen, der zusätzlich den Hofstaat erfreute. Er war zutraulich und sehr beliebt und brachte einen jeden zum Lachen. Weil er so lieb und ohne Scheu war, durfte er sich frei im Anwesen bewegen.

So hatte er auch Zugang zu den Räumen des kleinen Kronprinzen Ludwig der Bayer. Oft beobachtete das Äffchen die Amme, wie sie den kleinen Ludwig im Arm schaukelte, um ihn in den Schlaf zu wiegen. Eines Tages, als die Amme das Zimmer verließ, versuchte das Äffchen selbst, den kleinen Prinzen zu schaukeln. Er nahm ihn aus dem Bettchen und tat es der Amme gleich. Just in diesem Moment kam sie zurück und sah das Äffchen mit dem Jungen im Arm. Entsetzt von dem Anblick schrie sie um Hilfe. Völlig verschreckt rannte das Tier mit dem Kind im Arm los, die Amme mit Geschrei hinterher. Auch die Bediensteten taten es ihr gleich, denn alle sahen den kleinen prinzen in Gefahr und wollten ihn retten. Immer noch von der Angst gepackt schlüpfte das Äffchen durch eine Luke im Dach und brachte Ludwig auf die Spitze des Eckturms. Nun versammelte sich der gesamte Hofstaat im Hof und bangten um das Leben des Prinzen. Nach einiger Zeit, nachdem es in der Residenz vor Spannung ruhig geworden war, beruhigte sich auch der Affe und brachte Ludwig von Bayer wieder zurück in seine Wiege. Seither, so sagt man, wurde der Affe in Stein auf diesen Eckturm gesetzt, um dieser unglaublichen Geschichte ein Denkmal zu setzen.