Az impozáns épület a francia császárról kapta a nevét, aki 1809. augusztus 31-én itt hajtotta álomra a fejét. A 19. század végén átalakították, szobrokkal díszített hatalmas kapuját, valamint a földszinti boltozatokat lebontották. Az idők során működött a házban leányiskola, később lakások és üzletek. A régi győriek közül sokan töltöttek felejthetetlen órákat első emeleti nagy termében, Krízishelyzet! Könnyező gomba a Napóleon-házban