diff --git a/cli/ui.go b/cli/ui.go
index aef30fa..252c90a 100644
--- a/cli/ui.go
+++ b/cli/ui.go
@@ -250,6 +250,10 @@ func (cc *conversationInputConfig) updatePromptTimer() {
 }
 
 func (ui *UI) setupConversationPrompt() {
+	if ui.Input.Config.Listener != nil {
+		ui.Input.Config.Listener.(*conversationInputConfig).Remove()
+	}
+
 	listener := &conversationInputConfig{
 		Input:      ui.Input,
 		Config:     ui.baseChatConfig.Clone(),