Mit einem MemoFeld ist dies nicht möglich. Auch Rtf von Delphi taugt nichts.

Du müsstest es mit TWebBrowser machen, damit kannst du via HTML Smileys einfügen. Allerdings ist die Umsetzung etwas kompliziert, aber ich weiß, das es möglich ist, weil ich sowas schon mal irgendwo in Delphi gesehen habe und ich weiß noch, das es Mithilfe von TServerSocket:12345 und Navigate('http://localhost:12345'); realisiert wurde und auf dem ServerSocket der Chattext jeweils zum TWebBrowser geschickt worden ist.

Alternativ (wahrscheinlich einfacher): Eigene Renderengine basteln via TImage

1) Doch, du kannst zwei Serversocket paralell laufen lassen.
Den ersten Benutzt du so wie du es immer machst, der zweite Serversocket ist NUR dafür da, dem TWebBrowser HTML-Code zu schicken, nur müssen die beide auf verschiedenen Ports laufen. Den TServerSocket (ich nenn es mal ssweb) für den WebBrowser läuft zB auf Port 12345.
Dann schreibst du im WebBrowser1.Navigate('http://localhost:12345'); und ab OnConnect spielt nun der "ssweb" der HTTP-Server der im Stream dann laufend und unnterbrocfhen dem TWebBrowser den Text gibt.
Statt Memo1.Lines.Add(...); heißt es nun ssweb.Socket.SendText(...);
Der Rest (dein anderer Serversocket und die Chatverwaltung) bleibt gleich.
Allerdings solltest du dich mit dem HTTP-Protokoll auskennen, ggf. die RFC nachlesen und rumprobieren.

2) Zur Engine: Du zeichnest den Text einfach selber. Image1.Canvas.TextOut() für Text und Image1.Canvas.Draw() für Smileys. Allerdings müsst du alles händisch machen wie das Scrollen, Text positionieren etc.. Aber dürfte nicht viel schwerer sein als die Socket-Methode.