1989. a. 23. juunil esinesid Raido Koppel, Mati Kiviselg ja Marko Matvere esmakordselt selle nime all väga väikestel lõõtspillidel Eesti linnas Pärnus. Nime ja tegevuse valikul võeti eeskujuks XX sajandi alguse aegsed kodanike vabatahtlikud ühendused.

Juba mõne aasta pärast omas VLÜ repertuaari, mida oli raske ühe õhtuga täismahus läbi mängida. Laulude osakaal oli tookord väike. Põhilised tantsurütmid olid valss, polka ja reinlender. Ei põlatud ka kõige levinumate seltskonnalaulude viise.

Ühinguga liitusid Joel Sarv viiulil, Erkki-Kalle Esop basskitarril ja Mait Seger trummidel. 2003. aasta suvel otsustas ühingu liige Mati pühenduda täielikult kiviraiumisele ega osale ühingu kontsertkoosseisus. Ühingu 15. tegutsemisaasta (2004) algusest esineme taas kuueliikmelisena, klarnetit, saksofoni ja vilesid mängib Sander Udikas, trummidel astub üles Aivar Vassiljev.

Esimene helikandja "Väikeste Lõõtspillide Ühing" ilmus 1995. aastal. Ühingut kutsuti esinema üha suurematele üritustele, mistõttu võeti tarvitusele võimendustehnika ja suuremad pillid. Selleks ajaks olid uuema aja rahvalaulud hõivanud valdava osa repertaarist. Uusi laule kuuldi kas otse laulikutelt või siis otsiti Tartu Kirjandusmuuseumi fondidest.

Tänaseks moodustavad repertuaari parima ja kaalukama osa nn. meremeestelaulud ja ka autorilaulud, mis kannavad samalaadset atmosfääri.