Lịch sử Trung Quốc ghi chép lại những năm đầu đời Hán Vũ Đế, có người Hung Nô đầu hàng triều Hán. Qua họ, Hán Vũ Đế biết qua về tình hình Tây Vực (nay là Tân Cương và một số nước vùng Trung Á). Họ cho biết có nước Nguyệt Chi bị Hung Nô đánh bại, chạy về phía Tây, định cư ở Tây Vực. Họ căm thù Hung Nô, muốn báo thù, nhưng không được ai giúp đỡ.
Hán Vũ Đế nghĩ, Nguyệt Chi ở phía tây Hung Nô, nếu triều Hán liên hợp được với Nguyệt Chi, cắt đứt liên hệ giữa Hung Nô với các nước Tây Vực thì có khác gì chặt đứt cánh tay phải của Hung Nô.
Thế rồi, ông liền hạ chiếu thư, tìm người có khả năng đi liên hệ với Nguyệt Chi. Lúc đó, không ai biết nước Nguyệt Chi ở đâu và cách bao xa. Muốn đảm nhận được việc đó, phải là người rất có dũng khí.
Có một viên lang trung (một chức quan) tên là Trương Khiên, thấy đây là một việc hay, liền xin nhận nhiệm vụ. Sau đó, hơn một trăm tráng sĩ cũng mạnh dạn xin cùng đi. Một người thuộc tộc Hung Nô ở Trường An tên là Đường Ấp Phụ cũng tình nguyện đi cùng Trương Khiên sang nước Nguyệt Chi.
Năm 138 trước Công nguyên, Hán Vũ Đế phái Trương Khiên dẫn hơn một trăm người đi tìm nước Nguyệt Chi. Nhưng muốn đến Nguyệt Chi phải đi qua địa giới của Hung Nô. Bọn Trương Khiên mới đi được mấy ngày đã bị quân Hung Nô vây chặt, bắt làm tù binh.
Người Hung Nô không giết họ, chỉ phân tán ra để giám sát. Chỉ có Đường Ấp Phụ được ở cùng chỗ với Trương Khiên. Họ bị giam giữ suốt hơn mười năm trời.
Càng về sau, người Hung Nô không còn giám sát họ chặt chẽ nữa. Trương Khiên và Đường Ấp Phụ bàn nhau, nhân lúc họ sơ hở, liền ăn trộm hai con ngựa trốn chạy.
Hai người nhằm hướng Tây đi mấy chục ngày, chịu mọi gian khổ mới ra khỏi địa giới Hung Nô, không tìm thấy nước Nguyệt Chi nhưng lại đi lạc vào nước Đại Uyển (nay ở vùng Trung Á).
Đại Uyển là nước láng giềng với Hung Nô. Người địa phương hiểu được tiếng Hung Nô nên Trương Khiên và Đường Ấp Phụ giao dịch rất thuận lợi. Họ xin yết kiến vua Đại Uyển. Vua nước Đại Uyển đã nghe nói Hán Là một nước lớn rất cường thịnh, lần này lại thấy sứ giả triều Hán thì rất hoan nghênh và phái người đưa họ đến nước Khang Cư (nay ở khoảng giữa hồ Bai Can và Biển mặn) rồi từ Khang Cư đến Nguyệt Chi.
Sau khi Nguyệt Chi bị Hung Nô đánh bại thì dời đến vùng phụ cận Đại Hạ (nay là phía bắc Afghanistan) xây dựng nên nước Đại Nguyệt Chi, không còn có ý muốn đánh Hung Nô nữa. Quốc vương Đại Nguyệt Chi nghe Trương Khiên trình bày, không hưởng ứng nhiệt tình lắm, nhưng vì thấy Trương Khiên là sứ giả triều Hán nên vẫn tiếp đãi trọng thể.
Trương Khiên và Đường Ấp Phụ ở Đại Nguyệt Chi hơn một năm, lại đến thăm Đại Hạ một lần, được thấy rất nhiều sự vật mới lạ chưa từng được biết. Nhưng họ không thể thuyết phục được Đại Nguyệt Chi cùng chống Hung Nô, nên đành trở về. Khi qua địa giới Hung Nô, lại bị bắt lại một thời gian, may nhờ Hung Nô có nội loạn nên mới trốn về được Trường An.
Trương Khiên ở nước ngoài tới mười ba năm mới trở về. Hán Vũ Đế cho rằng ông đã lập công lớn, nên phong làm Thái Trung đại phu.
Trương Khiên báo cáo tỉ mỉ với Hán Vũ Đế tình hình ở các nước Tây Vực. Ông nói: “Thần thấy ở Đại Hạ có gậy trúc sản xuất ở Cung Sơn (nay là tỉnh Tứ Xuyên) và vải mịn sản xuất ở đất Thục (nay là Thành Đế Xuyên). Người địa phương cho biết là những thứ đó do thương nhân từ Thiên Trúc (nay là Ấn Độ) mang tới”. Ông cho rằng Thiên Trúc đã có thể mua được hàng hóa của đất Thục thì chắc hẳn phải ở không xa đất Thục.
Hán Vũ Đê liền cử Trương Khiên làm sứ giả, mang theo lễ vật từ đất Thục sang kết giao với Thiên Trúc.
Trương Khiên chia người ngựa làm bốn đội, chia đường đi tìm nước Thiên Trúc. Mỗi đội đều đi khoảng hai ngàn dặm nhưng đều không tới được Thiên Trúc, có đội còn bị nhân dân địa phương đánh đuổi về.
Đội đi về phía Nam tới được Côn Minh, cũng bị ngăn lại. Sứ giả triều Hán vòng qua Côn Minh, tới được Điền Việt (nay là Vân Nam). Tổ tiên của quốc vương Điền Việt nguyên là người nước Sở, đã sống cách biệt với Trung Nguyên mấy đời rồi. Ông vui lòng giúp Trương Khiên tìm đường qua Thiên Trúc, nhưng lại bị Côn Minh ngăn ở giữa đường, không cho đi qua.
Trương Khiên trở về Trường An. Hán Vũ Đế cho rằng tuy ông không tìm thấy nước Thiên Trúc nhưng đã kết giao được với Điền Việt là nước chưa từng có quan hệ nên cũng hết sức vui lòng,
Đến khi Vệ Thanh, Hoắc Khứ Bệnh tiêu diệt được quân chủ lực Hung Nô, Hung Nô chạy lên phía bắc sa mạc, nhiều nước Tây Vực thấy Hung Nô đã thất thế, đều không chịu tiến công và nộp thuế cho Hung Nô, Hán Vũ Đế nhân dịp đó lại phái Trương Khiên đi Tây Vực.
Năm 119 trước Công nguyên, Trương Khiên và mấy trợ thủ đem theo cờ tiết của triều Hán, tổ chức một đoàn ba trăm dũng sĩ, mỗi người dùng hai con ngựa, đem theo hơn một vạn bò dê và vàng bạc, tiền tệ, lụa là vải vóc làm lễ vật đi kết giao với Tây Vực.
Trương Khiên đến Ô Tôn (nay ở Tân Cương) được nhà vua đón tiếp. Trương Khiên dâng lên món lễ hậu, đề nghị hai nước kết làm thân thích, cùng nhau đối phó Hung Nô. Vua Ô Tôn thấy triều Hán cách Ô Tôn rất xa, không biết mạnh yếu thế nào. Ông ta muốn được sự giúp đỡ của triều Hán nhưng lại sợ làm mất lòng Hung Nô. Do đó, vua tôi nước 0 Tôn bàn bạc mấy ngày vẫn không quyết định được việc liên minh đối phó với Hung Nô.
Trương Khiên sợ kéo dài, lỡ mất thời gian liền phái các thủ chia nhau hạ mang lễ vật tới liên lạc với Đại Uyển, Đại Nguyệt Chi, Vu Điền (ở giữa Tân Cương và Điền). Vua Ô Tôn còn phái mấy người phiên dịch đi theo giúp đỡ họ.
Những thủ hạ đó đi mãi không thấy trở về. Vua Ô Tôn liền tiễn Trương Khiên về Trường An và phái một sứ đoàn mấy chục người theo Trương Khiên về Trường An để xem xét triều Hán, đem theo mấy chục con ngựa cao to tặng triều Hán.
Hán Vũ Đế thấy sứ đoàn thì rất phấn khởi, lại thấy những con ngựa cao to lạ lùng lại càng quí, nên đón tiếp sứ giả rất nồng nhiệt.
Một năm sau, Trương Khiên bị bệnh mất. Thủ hạ của ông đi các nước cũng lần lượt trở về Trường An. Họ tính tổng cộng đã đi tới 36 nước.
Từ đó về sau, hàng năm Hán Vũ Đế đều phái sứ giả đi sang các nước Tây Vực, xây dựng quan hệ qua lại với các nước đó. Sứ giả và thương nhân các nước Tây Vực cũng lũ lượt đến Trung Quốc. Hàng tơ và hàng dệt tơ lụa của Trung Quốc đi qua Tây Vực tới các nước Tây Á rồi đi tiếp sang Châu Âu. Người đời sau gọi con đường đó là “con đường tơ lụa”.