D

根据所学，白马行医院虽是中国第一家西式医院，但建立于1569年且位于澳门，不符合题干中“近代以来”“上海”等信息，故①错误；根据所学，1897年中国通商银行在上海成立，是中国人自办的第一家与中国传统的金融习俗分隔开的现代银行，符合“得风气之先”，故②正确；根据所学，随着列强入侵中国，股份制公司和证券交易制度也引入中国，1882年在上海成立的平准股票公司就是中国最早专营股票的证券机构，故③正确；根据所学，1868年法国人韩伯禄在上海建立的自然历史博物院，是中国首个近代意义上的博物馆，符合题意，故④正确；选择D项符合题意。