Если коротко, то особой разницы нет. Это разные названия одного и того же вида деятельности.

Агент по недвижимости — общее название cпециалиста, деятельность которого связана с покупкой, продажей или арендой недвижимости. На английском соответствует Real Estate Agent.

Изначально Риелтором (Realtor) в США мог называться только член Национальной Ассоциации Риелторов (National Association of Realtors или сокращенно NAR). Со временем короткое и емкое слово Риелтор начало использоваться как название профессии в целом. Звучит намного проще чем «Агент по недвижимости». Также слово Риелтор перешло в русский язык, где также обозначает профессию.

В США деятельность в сфере недвижимости лицензируется. Начальный уровень лицензии — Real Estate Salesperson (что-то типа «продавец»). Salesperson может работать только на кого-то.

Следующий и самый высокий уровень лицензии, Real Estate Broker, можно получить минимум после двух лет работы, закрытия большого количества сделок и прохождения дополнительного экзамена.

Broker, в отличие от Salesperson, уже может создавать свою компанию и нанимать себе других агентов. Собственно Брокер по недвижимости — это и есть перевод-калька от этого термина.