Когда я добавляю обьект в список TStrings как мне его потом уничтожить?

Просто вызовите метод free этого обьекта.

procedure TForm1.FormCreate(Sender: TObject);
var
        Icon: TIcon;
begin
        Icon := TIcon.Create;
        Icon.LoadFromFile('C:\Program Files\BorlandImages\CONSTRUC.ICO');
        ListBox1.Items.AddObject('Item 0', Icon);
end;

procedure TForm1.FormDestroy(Sender: TObject);
begin
        ListBox1.Items.Objects[0].Free;
end;