Nội dung chi tiết: Mô hình ngôn ngữ sử dụng mapreduce
Mô hình ngôn ngữ sử dụng mapreduce
ĐẠI HỌC QUÕC GIA HÀ NỘI TRƠỊỜNG ĐẠI HỌC CÒNG NGHỆVŨ THỊ THANHMÔ HÌNH NGÔN NGỮ sử DỤNG MAPREDUCENgành: Công nghệ thông tin Chuyên ngành: Kỳ thuật phân Mô hình ngôn ngữ sử dụng mapreduce mèm Mã Số: 60480103LUẬN VĂN THẠC sĩNGGỊỜI HUỊỚNG DẢN KHOA HỌC CHÍNH: TS. NGUYỄN VĂN VINH NGCqờI HƠỊỚNG DẲN KHOA HỌC PHỤ: TS. NGUYỄN PHÚ BÌNHHà Nội - 2016MỤC LỤCMỤC LỤC.............................................................iLỜI CẢM ƠN........................................................iiiL Mô hình ngôn ngữ sử dụng mapreduceỜI CAM ĐOAN.......................................................ivDANH MỤCTHUẬTNGỮ VIẾT TĂT......................................VDANH MỤCHÌNH VẼ...
Mô hình ngôn ngữ sử dụng mapreduce
.............................................viDANH MỤCBẢNG..................................................viiGIỚI THIỆU............................ĐẠI HỌC QUÕC GIA HÀ NỘI TRƠỊỜNG ĐẠI HỌC CÒNG NGHỆVŨ THỊ THANHMÔ HÌNH NGÔN NGỮ sử DỤNG MAPREDUCENgành: Công nghệ thông tin Chuyên ngành: Kỳ thuật phân Mô hình ngôn ngữ sử dụng mapreduce................101.2Mô hình ngôn ngừ N-gram........................................111.3Khó khăn khi xây dựng mô hình ngôn ngừ N-gram..................131.3.1Phân bổ không đêu:...........................................131.3.2Kích (hước bộ nhớ cùa mô hình ngôn ngữ.......................131.4Các phư Mô hình ngôn ngữ sử dụng mapreduceơng pháp làm mịn........................................141.4.1Phương pháp Add-one..........................................141.4.2Phương pháp Good -
Mô hình ngôn ngữ sử dụng mapreduce
Turing....................................151.4.3Phương pháp truy hồi back-off................................161.4.4Phương pháp nội suy..............ĐẠI HỌC QUÕC GIA HÀ NỘI TRƠỊỜNG ĐẠI HỌC CÒNG NGHỆVŨ THỊ THANHMÔ HÌNH NGÔN NGỮ sử DỤNG MAPREDUCENgành: Công nghệ thông tin Chuyên ngành: Kỳ thuật phân Mô hình ngôn ngữ sử dụng mapreduce..............201.5 Đánh giá mô hình ngôn ngừ......................................211.5.1Entropy - Độ đo thông (in:...................................211.5.2Perplexity - Độ hòn loạn thông tin:..........................221.5.3Error rate - Ti lệ lôi:......................................23Chương 2;Tõ Mô hình ngôn ngữ sử dụng mapreduceng quan về Hadoop MapReduce.............................242.1Hadoop.........................................................242.2Các thành phần cùa Ha
Mô hình ngôn ngữ sử dụng mapreduce
doop......................................242.2.1Kiến trúc hệ thống tệp phân tán..............................24ĐẠI HỌC QUÕC GIA HÀ NỘI TRƠỊỜNG ĐẠI HỌC CÒNG NGHỆVŨ THỊ THANHMÔ HÌNH NGÔN NGỮ sử DỤNG MAPREDUCENgành: Công nghệ thông tin Chuyên ngành: Kỳ thuật phân ĐẠI HỌC QUÕC GIA HÀ NỘI TRƠỊỜNG ĐẠI HỌC CÒNG NGHỆVŨ THỊ THANHMÔ HÌNH NGÔN NGỮ sử DỤNG MAPREDUCENgành: Công nghệ thông tin Chuyên ngành: Kỳ thuật phân