Esser ging nicht unter in dem Wirbel praktischer Thätigkeit, er bewahrte sich immer ein unnahbares Fleckchen idealen Strebens, stand nie stille. Theilnahmsvoll erhielt er sich in Kenntniß der neuesten musikalischen Erscheinungen und wurde nicht müde, aus allen Quellen der Kunst und Wissenschaft sich befruchtende Bildungs-Elemente zuzuführen. So hat denn keiner von Esser’s Freunden jemals die vier hohen Treppen seiner Wohnung in der Kärntnerstraße erklettert, ohne durch ein anregendes Wort, eine belehrende Mittheilung, eine ironisch gewürzte Kritik musikalischer Tagesbegebenheiten entschädigt zu werden. Dort oben, im Kreise der Seinen, war Esser am gesprächigsten und heitersten. Esser war ein treuer, besorgter Familienvater und erzog seine beiden Kinder — ein reizendes Geschwisterpaar — fast ohne jede fremde Hilfe. In seinem kleinen Kreise war er stets bemüht, Interesse anzuregen für alles Große, Gute und Schöne, mochte es nun der Kunst, Wissenschaft oder Industrie angehören; hatte er in langen Winter-Abenden durch sein reiches Wissen in ernster Unterhaltung fördernd und geistig belebend gewirkt, so konnte er dann auch in satyrisch scherzender Laune Manches aus seinen Lebenserfahrungen behandeln. Esser zeigte sich oft unzugänglich und schroff gegen Menschen, die ihm unsympathisch oder mißfällig waren; auch konnte er in seinem Urtheil streng bis zur Härte sein. Ungerecht oder von niedrigen, kleinlichen Motiven befangen war er niemals. Esser’s Gespräch und Haltung verrieth jederzeit den hochgebildeten Geist in der schwachen, kranken Hülle. Diesen armen, kranken Körper zu pflegen, zog er denn jedes Jahr im Sommer nach seinen geliebten Bergen. Namentlich in Berchtesgaden verlebte er mit seiner Familie und dem ihm innigst befreundeten Ehepaar Dessoff glückliche Tage. Hier im Gebirge schien ihm die Gesundheit zurückzukehren, und er componirte dann mit einer Frische, einer Lust, die ihn alle früheren Leiden vergessen ließ. Esser war trotz leiser Beklemmungen ein sehr geübter, ausdauernder Bergsteiger; seine Kinder, seine Frau lernten in seiner Begleitung ohne jede andere Führung, die schönsten Punkte unseres herrlichen Alpenlandes, sowie des baierischen Hochgebirges kennen. In  den letzten Jahren war ihm die Existenz in staubiger Stadtluft so sehr zur Pein geworden, daß er nach seiner Pensionirung Salzburg zum ferneren Aufenthalte wählte. Leider erwies sich die sonst so kräftigende Luft zu rauh für ihn; seinen letzten Plan, nach Meran oder Arco zu gehen, hätte er früher ausführen müssen, um sich seiner Familie, seinen Freunden länger zu erhalten. Schon im Winter 1870 auf 1871 lebte er in Salzburg ganz zurückgezogen. „Ich bin glücklich,“ schreibt er an Frau Dessoff, „Ihnen melden zu können, daß ich diesen Winter kein Concert und keine Theater-Vorstellung zu besuchen brauchte, obgleich die Salzburger selbst über die ihnen gebotenen Kunstgenüsse enthusiasmirt sind und ich wahrscheinlich auch hier in den Geruch eines Sonderlings komme. Freilich könnte ich auch nicht, wenn ich selbst wollte, da ich wieder sehr mit krankhaften Zuständen geplagt bin, die mich fortwährend zwingen, alle Aufregungen in Theatern und Concerten zu vermeiden.“ Die Wiener Musikzustände, insbesondere die des Hofoperntheaters, verfolgt er trotzdem aus der Ferne mit ungeschwächtem Interesse. Nicht ohne freudige Erregung vernimmt Esser im Januar dieses Jahres die Nachricht von der bevorstehenden Wiederholung seiner zweiten Orchester-Suite in C-moll im Philharmonischen Concert. „Eine zweite Aufführung,“ schreibt er an Dessoff , „ist beinahe von noch entscheidenderem Gewichte für die Zukunft einer Composition, als eine erste.“ Es liegt ihm daher viel an einem günstigen Platz im Programme für sein Werk, das er zu Anfang oder bald nach dem Anfange gegeben wünscht, nur möge man „die Suite nicht ans Ende des Programmes setzen und ihr dadurch eine Concurrenz aufbürden, welcher sie nicht gewachsen ist“. Er bittet ferner Dessoff, „in dem ersten Satze von den Posaunen etwas wegzustreichen“, da Lachner geäußert habe, die allzu freigebige Verwendung der Posaunen habe in München die Wirkung des ersten Satzes beeinträchtigt. „Ich zweifle nicht,“ schließt Esser in seiner bescheidenen Weise, „daß er Recht hat und ich gefehlt habe, wie ich denn immer eher an meine Fehler glaube, als daran, daß mir ein Anderer Unrecht thue.“ Leider hat Esser dieser trefflichen und vom Publicum so warm auf genommenen Aufführung seines Werkes nicht beigewohnt. „Ich wäre (schreibt er von Salzburg) unter meinen jetzigen nervösen Verhältnissen durchaus nicht im Stande, eine solche Aufführung ruhig vom Zuschauerraume aus anzuhören und zu ertragen, weil mich jede Berührung mit dem Publicum förmlich krank macht. Es ist dies eigentlich kein Gefühl der Angst vor einem Durchfalle, als ein mir ganz unerklärliches nervöses Aufgeregtsein, welches mächtiger ist, als mein Verstand, der es vergeblich zu unterdrücken sucht. Aus diesem Grunde habe ich höchst selten Aufführungen meiner Compositionen, selbst kleinerer, wie Lieder u. dgl., beigewohnt und könnte es umsoweniger bei größeren. Das einzige Mittel, diese Nervosität zu bannen, ist, wenn ich selbst dirigire und also genöthigt bin, während der Aufführung meine Aufmerksamkeit auf die Technik der Ausführung zu concentriren. Aus diesem Grunde nahm ich die Einladung, die ersten Aufführungen meiner Arbeiten zu dirigiren, an, nicht weil ich geglaubt hätte, daß sie unter der Direction eines Anderen nicht ebenso gut zur Production gelangt wären, sondern um mir selbst die Möglichkeit zu verschaffen, der ersten Aufführung derselben beiwohnen zu können.“ Inzwischen wird der Zustand von Esser’s Gesundheit immer bedenklicher, seine Schwäche immer anhaltender. Die letzte Arbeit, die Esser beschäftigt, ist ein (von Schott in Mainz bei ihm bestellter), Clavier-Auszug aus Weber’s „Oberon“. Im März 1872 schreibt er an Freund Dessoff: „Wenn Sie Professor Dittel sehen, so bitte ich Sie, ihn freundlichst zu grüßen und ihm mitzutheilen, daß ich mich merkwürdigerweise noch immer am Leben befinde — ein Umstand, der sich freilich jeden Tag ändern kann.“ Diese Aenderung bereitete sich schon mit grausamer Stetigkeit vor, als Esser obige Zeilen schrieb. In den Armen seiner mit aufopfernder Liebe ihn pflegenden Gattin verschied Esser am 3. Juni 1872. Die Theilnahme an diesem Verluste war eine allgemeine und aufrichtige. Wir hoffen, daß Esser’s musikalische Freunde, Dessoff an der Spitze, dafür sorgen werden, daß seine reifsten Werke nicht in Verschollenheit gerathen. Ihn selbst, den seltenen Mann, wird Niemand vergessen, der je in künstlerischem oder freundschaftlichem Verkehr mit ihm gestanden.