200+ câu Trắc nghiệm tổng hợp Data mining có đáp án

Là một quy trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong cơ sở dữ liệu lớn

Khai phá dữ liệu

Khai khoáng dữ liệu

Tìm kiếm thông tin trên Internet

Data Mining là một bước trong quá trình khai phá tri thức-KDD

Thuật ngữ Data Mining đồng nghĩa với thuật ngữ Knowledge Discovery from Databases

Data Mining là quá trình tìm kiếm thông tin có ích trên Internet

Tiền xử lí dữ liệu là qua trình tìm kiếm thông tin có ích từ cơ sở dữ liệu lớn

Data Preprocessing Khoa CNTT – Data Mining 1

Data Processing

Preprocessing in Database

Data Process

5

16

6

10

3 (60%)

4 (80%)

5 (100%)

2 (40%)

{A,C}

{D}

{A,D}

{B, C, D}

{A,C,D}

{A,E}

{A, C}

{B,E}

{D}

{A,E}

{A, C}

{B,E}

{D}

{A}

{B}

{A}, {D}

{B, D}

{A, E}

{A, C}

{B, E}

Không có tập nào

{A, E}

{A, C, D}

{B, C, D}

A-->C

A-->D

A--> E

AB-->C

B-->E

A-->D

A--> E

AB-->C

A-->C

A-->D

A--> E

AB-->C

A-->C

A-->D

AD--> E

AB-->C

A--> B, B--> A, không tính luật AB --> và --> AB

A-->B, B--> A, A--> và --> B

A--> B

B--> A

2 đường đi

1 đường đi

3 đường đi

4 đường đi

2 đường đi

1 đường đi

3 đường đi

4 đường đi

Tìm các tập mục thường xuyên

Tìm các luật kết hợp

Tìm các tập mục có k - item

Thực hiện công việc khác

Chia các đối tượng thành từng lớp để giảng dạy

Phân lớp dựa trên Cây quyết định

Phân lớp dựa trên xác suất Bayes

Phân lớp dựa trên Mạng Nơron

n bảng con

2 bảng con

không phải chia

Thành nhiều bảng tùy theo giá trị của n

0.35

3.5

0.015

Giá trị khác

Phân cụm dữ liệu(Data Clustering) hay phân cụm, cũng có thể gọi là phân tích cụm là quá trình chia một tập các đối tượng thực thể hay trừu tượng thành nhóm các đối tượng sao cho các phần tử trong cùng một nhóm thì có mức độ tương tự nhau hơn là giữa các phần tử của nhóm này với các phần tử của nhóm khác.

Phân cụm dữ liệu(Data Clustering) hay phân cụm, cũng có thể gọi là phân tích cụm là qúa trình chia một tập các đối tượng thực thể hay trừu tượng thành nhóm các đối tượng sao cho các phần tử khác nhóm thì có mức độ tương tự nhau hơn là giữa các phần tử trong cùng một nhóm.

Phân cụm dữ liệu(Data Clustering) hay phân cụm, cũng có thể gọi là phân tích cụm là quá trình chia một tập các đối tượng thực thể hay trừu tượng thành nhóm các đối tượng sao dễ sử dụng nhất.

Phân cụm dữ liệu(Data Clustering) hay phân cụm, cũng có thể gọi là phân tích cụm là quá trình chia các đối tượng thành từng nhóm sau cho số nhóm là ít nhất.

Data Clustering

Data Classification

Association Rule

Data Mining

Data Mining

Data Clustering

Data Classification

Association Rule

Data Classification

Data Clustering

Data Mining

Association Rule

1 cách

0 cách

2 cách

N cách

0 cách

m cách

2 cách

N cách

Rất nhiều

Chỉ có 3 thuật toán Liên kết đơn, liên kết đầy đủ, k-mean

Chỉ có 2 thuật toán Liên kết đơn và liên kết đầy đủ

Chỉ có 2 thuật toán Liên kết đơn và k-mean

Chọn ngẫu nhiên

Chọn k phần tử nằm ở tâm

Chọn k các phần tử có giá trị nhỏ nhất

Chọn k phần tử có giá trị bằng giá trị trung bình của các phần tử trong tập dữ liệu

k<=N

k=N

k>N

k khác N

Trích chọn dữ liệu, tiền xử lý dữ liệu, biến đổi dữ liệu, khai phá dữ liệu, đánh giá và biểu diễn tri thức

Tiền xử lý dữ liệu, biến đổi dữ liệu, khai phá dữ liệu, đánh giá và biểu diễn tri thức

Trích chọn dữ liệu, tiền xử lý dữ liệu, biến đổi dữ liệu, khai phá dữ liệu, khai phá luật kết hợp

Tiền xử lý dữ liệu, phân lớp, phân cụm, đánh giá và biểu diễn tri thức

Đặc trưng danh nghĩa, đặc trưng theo thứ tự, đặc trưng đo theo khoảng, đặc trưng đo theo tỷ lệ

Đặc trưng danh nghĩa, đặc trưng theo thứ tự, đặc trưng đo theo khoảng, đặc trưng theo khối lượng

Đặc trưng danh nghĩa, đặc trưng theo thứ tự, đặc trưng đo theo khoảng, đặc trưng theo chiều dài

Đặc trưng theo thứ tự, đặc trưng đo theo khoảng, đặc trưng đo theo tỷ lệ

Khai phá luật kết hợp, phân loại, phân cụm, hồi qui...

Khai phá luật kết hợp, xây dựng máy tìm kiếm...

Web mining, Text mining, mạng nơron…

Bài toán nhận dạng, bài toán tìm kiếm thông tin, bài toán lựa chọn đặc trưng...

Dữ liệu quá lớn, dữ liệu bị thiếu hoặc nhiễu, sự phức tạp của dữ liệu, dữ liệu thường xuyên thay đổi...

Trình độ của con người còn hạn chế, dữ liệu không được lưu trữ tập trung...

Dữ liệu quá lớn, máy khai phá dữ liệu có tốc độ hạn chế...

Tốc độ xử lý của máy tính còn hạn chế, dữ liệu thường xuyên thay đổi...

Machine Learning, Visualization, Statistics, Databases…

Machine Learning, Programming, Statistics, Databases…

Machine Learning, Visualization, Statistics, BioInfomatics…

Support Vector Machine, Clustering, Statistics, Databases…

Cung cấp hỗ trợ ra quyết định, dự báo, khái quát dữ liệu...

Tìm kiếm các quy luật, tìm kiếm các cụm và phân loại dữ liệu

Tìm kiếm nhanh thông tin, thống kê dữ liệu, chọn đặc trưng của dữ liệu...

Tạo ra cơ sở tri thức mới, hỗ trợ dự báo thời tiết, dự báo động đất, dự báo sóng thần...

Loại bỏ nhiễu và dữ liệu không nhất quán

Tìm kiếm dữ liệu có ích

Tìm kiếm dữ liệu có ích trong cơ sở dữ liệu lớn

Tổ hợp nhiều nguồn dữ liệu khác nhau

Phân tích và quản lý thị trường, Quản lý và phân tích rủi ro, Quản lý và phân tích các sai hỏng, Khai thác Web, Khai thác văn bản (text mining)…

Tìm kiếm văn bản, Tìm kiếm hình ảnh, Tìm kiếm tri thức mới trên Internet...

Phân tích tâm lí khách hàng, Hỗ trợ kinh doanh, tối ưu hóa phần cứng máy tính...

Phân tích thị trường chứng khoán, bất động sản, tìm kiếm dữ liệu bằng các máy tìm kiếm...

Quan hệ, Giao tác, Hướng đối tượng, Không gian, Thời gian, Text, XML, Multi media, WWW, …

Text, XML, Multi-media, WWW, …

Cơ sở dữ liệu khách hàng, cơ sở dữ liệu nghiên cứu không gian, cơ sở dữ liệu trong ngân hàng, cơ sở dữ liệu thống kê…

Cơ sở dữ liệu tuyển sinh đại học, cơ sở dữ liệu dự báo thời tiết, cơ sở dữ liệu thống kê dân số…

Big data nói đến các tập dữ liệu rất lớn và phức tạp tới mức các kỹ thuật IT truyền thống không xử lí nổi.

Dữ liệu rất lớn

Dữ liệu được tích hợp từ nhiều nguồn khác nhau

Dữ liệu khổng lồ trên Internet

Giải quyết các bài toán sinh học bằng việc sử dụng các phương pháp của khoa học tính toán

Sinh học phân tử

Tìm kiếm dữ liệu mới từ sinh học

Khai thác các thông tin có ích trong lĩnh vực y học

Data Mining là một bước quan trọng trong quá trình khai phá tri thức từ dữ liệu – KDD

Tiền xử lí dữ liệu là chọn ra các đặc trưng tiêu biểu trong tập dữ liệu lớn

Mọi dữ liệu đều có thể tìm kiếm được bằng máy tìm kiếm của Google

Data Mining là công cụ giúp các lập trình viên dễ dàng tìm kiếm thông tin hơn

Điền giá trị thiếu, làm trơn dữ liệu nhiễu, định danh hoặc xóa ngoại lai, và khử tính không nhất quán

Chuẩn hóa và tổng hợp

Bước cuối cùng trong quá trình Data Mining

Tích hợp CSDL, khối dữ liệu hoặc tập tin phức

Xử lý giá trị thiếu, Dữ liệu nhiễu: định danh ngoại lai và làm trơn, Chỉnh sửa dữ liệu không nhất quán, Giải quyết tính dư thừa tạo ra sau tích hợp dữ liệu.

Làm trơn theo biên, phương pháp đóng thùng, điền giá trị thiếu, Giải quyết tính dư thừa tạo ra sau tích hợp dữ liệu.

Phân cụm, phân lớp, hồi quy, biểu diễn dữ liệu.

Phân cụm, tìm luật kết hợp, tìm kiếm đặc trưng

2^n -1

2^n

Vô số tập con

n^2

Bỏ qua bản ghi có dữ liệu bị thiếu, điền giá trị thiếu bằng tay, điền giá trị tự động

Loại bỏ dựa trên quan sát, loại bỏ khi lựa chọn đặc trưng

Loại bỏ toàn bộ dữ liệu bị nhiễu và thay thế bằng tập dữ liệu mới, lựa chọn các đặc trưng quan trọng

Sử dụng các thuật toán phân lớp, phân cụm, tìm luật kết hợp

5

6

9

Giá trị khác

Các bản ghi có dữ liệu bị thiếu chiếm tỷ lệ nhỏ trong toàn bộ dữ liệu

Các bản ghi có dữ liệu bị thiếu chiếm tỷ lệ lớn trong toàn bộ dữ liệu

Có thể bỏ qua tất cả các bản ghi bị thiếu

Không thể bỏ qua, phải tìm các giá trị để điền vào các bản ghi bị thiếu

Support(X)=Số lượng giao dịch hỗ trợ X / N

Support(X)=Số lượng giao dịch hỗ trợ X

Support(X)=Số lượng giao dịch hỗ trợ X / N * |I|, trong đó |I| là tổng số mục trong CSDL

Support(X)=Số lượng giao dịch hỗ trợ X *100%

Confidence(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y / Số lượng giao dịch hỗ trợ X

Confidence(X🡪Y)=Số lượng giao dịch hỗ trợ X / Số lượng giao dịch hỗ trợ Y

Confidence(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y / Số lượng giao dịch hỗ trợ Y

Confidence(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y /N

Support(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y / N

Support(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y / Số lượng giao dịch hỗ trợ Y

Support(X🡪Y)=Số lượng giao dịch hỗ trợ cả X và Y / Số lượng giao dịch hỗ trợ X

Support(X🡪Y)=Số lượng giao dịch hỗ trợ cả X / Số lượng giao dịch hỗ trợ Y

Support(X)>=Min_Supp

Support(X)<=Min_Supp

Support(X)=Min_Supp

Support(X: Min_Supp/N

Support(X🡪Y)>=Min_Supp, Confidence(X🡪Y)>=Min_Conf

Support(X🡪Y)=Min_Supp, Confidence(X🡪Y)=Min_Conf

Support(X🡪Y)<Min_Supp, Confidence(X🡪Y)<Min_Conf

Support(X🡪Y)>Min_Supp, Confidence(X🡪Y)=Min_Conf

2^N - 1

2^N

N

Vô số tập mục

AB-->C

A-->D

ABD-->C

D-->C

Conference(AB-->C) >= Conference(A-->BC)

Conference(AB-->C) <= Conference(A-->BC)

Conference(AB-->C: Conference(A-->BC)

Chưa kết luận được AB-->C có thỏa độ hỗ trợ tối tiểu và độ tin cậy tối thiểu hay không

Support(ABC) < Support(ABCD)

Support(ABC) >= Support(ABCD)

Support(AB) >= Support(ABC)

Support(AB) <= Support(A)

Confidence(AC--> B) >= Confidence(A--> BC)

Confidence(AC--> B: Confidence(A--> BC)

Confidence(A--> AB)>=Confidence(AC-->C)

Confidence(AB--> C) >= Confidence(AC--> B)

{A, B, C}, {A, B, D}

{A, B, C}, {A, B, D}, {A, B, C, D}

{A, B, C}, {B, C, D}

{A, B, C}, {C, B, D}

Tạo ra từ tập chứa k-1 item bằng cách ghép 2 tập k-1 item với nhau với điều kiện là 2 tập k-1 item này phải có chung nhau k-2 item

Tổ hợp k item từ các item có trong cơ sở dữ liệu giao dịch.

Lấy ngẫu nhiên k item sau đó ghép lại với nhau.

Sinh mọi tập con có k item từ các item có trong cơ sở dữ liệu giao dịch

abc và abd

abc và ade

abc và ace

abd và ade

FP-Tree là cây nhị phân

FP-Tree là cây tổng quát

Khi thêm 1 giao dịch vào FP-Tree đều phải thêm bắt đầu từ gốc.

Bảng đầu mục – Header Table dùng để lưu 3 thông tin: Tên item, Số lượng item đó xuất hiện trong CSDL giao dịch và Con trỏ dùng để trỏ đến nút cùng tên được sinh ra đầu tiên

Là mô hình toán học mô phỏng theo mạng Nơron sinh học để giải quyết các bài toán

Là mạng máy tính có tốc độ truyền thông cao

Là mạng Nơron do con người tạo ra

Là một phương pháp để phân loại Gen của các loài sinh vật

Gain(C,A)=Entropy(C)-Entropy(A)

Gain(C,A)=Entropy(C)+Entropy(A)

Gain(C,A)=Entropy(A)-Entropy(C)

Gain(C,A)=Entropy(C)*Entropy(A)

Thuật toán Quilan chọn ngẫu nhiên 1 thuộc tính để làm gốc cây quyết định

Độ phân biệt (độ lộn xộn) của một thuộc tính với kết luận C cao nhất thì Entropy của nó thấp nhất

Thuật toán học khái niệm CLS chọn ngẫu nhiên 1 thuộc tính để làm gốc cây quyết định

Entropy là một số biến thiên trong đoạn [0,1].

Số kết luận ‘Yes’=Số kết luận ‘No’

Số kết luận ‘Yes’ =0

Số kết luận ‘No’ =0

Không kết luận được điều gì

Số kết luận ‘Yes’=0 hoặc Số kết luận ‘No’

Số kết luận ‘Yes’ = Số kết luận ‘No’

Số kết luận ‘No’ =1 và Số kết luận ‘Yes’ = 1

Không kết luận được điều gì

Thuộc tính có độ phân biệt cao nhất

Thuộc tính có độ phân biệt thấp nhất

Thuộc tính có Entropy cao nhất

Chọn ngẫu nhiên

Chọn ngẫu nhiên

Thuộc tính có độ phân biệt thấp nhất

Thuộc tính có Entropy cao nhất

Thuộc tính có độ phân biệt cao nhất

[0 ; 1]

(0 ; 1)

Miền giá trị là tập số nguyên dương

Miền giá trị là tập số thực dương

Xây dựng cây quyết định

Tìm các luật

Tìm độ phân biệt của các thuộc tính

Giúp ta tìm ra 1 thuộc tính làm gốc cây quyết định

Đây là một độ đo chỉ ra mức độ tương tự hay không tương tự giữa hai vector đặc trưng

Độ đo giữa 2 phần tử bất kỳ

Khoảng cách giữa 2 phần tử trong không gian

Độ đo sử dụng trong Data Mining để phân cụm dữ liệu

Độ đo tương tự và độ đo không tương tự

Độ đo khoảng cách và độ đo tình cảm

Độ đo Ơclit và độ đo phi Ơclit

Độ đo tương tự và độ đo khoảng cách trong không gian 2 chiều

Độ đo không tương tự

Độ đo tương tự

Độ đo giữa 2 đối tượng cùng loại

Độ đo giữa 2 đối tượng khác loại

d=sqr(sqrt(x1-x2)+sqrt(y1-y2)) trong đó sqr là hàm bình phương, sqrt là hàm lấy căn.

d=sqr(sqrt(x1+x2)+sqrt(y1+y2)) trong đó sqr là hàm bình phương, sqrt là hàm lấy căn.

d=x1*x2+y1*y2

Công thức khác

d(A,B)=5

d(A,B)=3

d(A,B)=4

d(A,B)=1

mC= (x1+x2+...+xk)/k

mC= (x1+x2+...+xk)

mC= (x1+x2+...+xk)/N

mC= (x1+x2+...+xk)/k*N

Khoảng cách từ x đến tâm cụm C là nhỏ nhất

Khoảng cách từ x đến tâm cụm C là lớn nhất

Khoảng cách từ x đến tâm cụm C bằng 0

Khoảng cách từ x đến tâm cụm C bằng k

Tính lại tâm của các cụm

Tính khoảng cách giữa các phần tử trong cụm

Tìm một số phần tử đại diện của cụm

Trộn các cụm lại với nhau để số cụm sinh ra là ít nhất

C1={A, B} ; C2={C, D}

C1={A, C} ; C2={B, D}

C1={A, B, C} ; C2={D}

C1={A, B, D} ; C2={C}

C1={A, B, E} ; C2={C, D}

C1={A, C, E} ; C2={B, D}

C1={A, B, C} ; C2={D, E}

C1={A, B, D} ; C2={C, E}

mC = (2 ; 1)

mC = (2 ; 0)

mC = (2.5 ;1.5)

mC=(0 ; 0)

mC = (3 ; 2)

mC = (2 ; 3)

mC = (2.5 ;1.5)

mC=(6 ; 1)

Dạng hình cầu

Cụm dài và mảnh

Các cụm có các điểm phân bố ngẫu nhiên

Hình dạng bất kỳ

Thuật toán khó cài đặt

Không đảm bảo đạt được tối ưu toàn cục

Khó phát hiện các loại cụm có hình dạng phức tạp và nhất là các dạng cụm không lồi

Cần phải xác định trước số cụm k

Không thể gán (hoặc gán lại) từng điểm vào cụm khác

Số cụm sinh ra là k

Tùy theo yêu cầu của người dùng

Khi tất cả các phần tử đã được gán vào k cụm

Phụ thuộc vào thứ tự các phần tử đưa vào phân cụm

Cần phải xác định trước số cụm cần sinh ra

k-mean phù hợp với các cụm có dạng hình cầu

Vector được chọn làm tâm của mỗi cụm là vector trung bình của cụm đó

Một sơ đồ ngưỡng tương tự (hoặc không tương tự).

Một danh sách các cụm

Một cây nhị phân biểu diễn quá trình gom cụm

k cụm được sinh ra, với k cho trước

Thuật toán phân cụm phân cấp phụ thuộc vào trình tự đưa các phần tử vào phân cụm

Cắt sơ đồ ngưỡng tương tự hoặc không tương tự tại một ngưỡng nào đó, ta sẽ được danh sách các cụm

Single Linkage, Complete Linkage là 2 trường hợp đặc biệt của thuật toán phân cấp

Kết quả phân cụm phụ thuộc vào việc chọn đặc trưng, chọn độ đo gần gũi, chọn đại diện của cụm và chọn thuật toán phân cụm

Lựa chọn dữ liệu, tiền xử lí dữ liệu, chuyển dạng, khai phá dữ liệu, trình diễn dữ liệu

Lựa chọn dữ liệu, chuyển dạng, khai phá dữ liệu, tiền xử lí dữ liệu, trình diễn dữ liệu

Lựa chọn dữ liệu, khai phá dữ liệu, trình diễn dữ liệu tiền, xử lí dữ liệu

Lựa chọn dữ liệu, khai phá dữ liệu, trình diễn dữ liệu

Công nghệ phần cứng phát triển mạnh, năng lực số hóa của con người ngày càng cao, bùng nổ công nghệ mạng, tác nhân tạo mới dữ liệu ngày càng nhiều...

Khoa khọc kỹ thuật ngày càng tiến bộ, nguồn nhân lực ngành Công nghệ thông tin ngày càng đông, nhu cầu khai thác thông tin ngày càng nhiều...

Thông tin thu thập từ việc nghiên cứu các hành tinh, thông tin chống khủng bố, thông tin quảng cáo ngày càng nhiều...

Dữ liệu quảng cáo ngày càng nhiều, bùng nổ các mạng xã hội,...

Cách kết hợp dữ liệu tìm được từ các nguồn dữ liệu khác nhau

Tích hợp thông tin khách hàng phục vụ quá trình Data Mining

Phân chia dữ liệu phục vụ quá trình Data Mining

Là bước thực hiện sau khi đã tìm kiếm tri thức mới từ dữ liệu

Dữ liệu sau khi Tiền xử lí sẽ thành tri thức mới

Không có dữ liệu tốt, không thể có kết quả khai phá tốt

Phân lớn công việc xây dựng một kho dữ liệu là trích chọn, làm sạch và chuyển đổi dữ liệu —Bill Inmon

Dữ liệu có chất lượng cao nếu như phù hợp với mục đích sử dụng trong điều hành, ra quyết định, và lập kế hoạch.

Làm sạch dữ liệu, Tích hợp dữ liệu, Chuyển dạng dữ liệu, Rút gọn dữ liệu, Rời rạc dữ liệu

Làm sạch dữ liệu, Tích hợp dữ liệu, Chuyển dạng dữ liệu, Rời rạc dữ liệu

Phân lớp, Tìm luật kết hợp, Gom cụm

Lựa chọn đặc trưng, Tìm thuật toán để Khai phá dữ liệu

Phân hoạch cân bằng bề rộng Equal-width và Phân hoạch cân bằng theo chiều sâu Equal-depth

Xếp thùng theo chiều sâu và Xếp thùng làm trơn theo giá trị nhỏ nhất

Làm trơn theo giá trị lớn nhất và làm trơn theo giá trị nhỏ nhất

Làm trơn theo biên phải và làm trơn theo biên trái

Sắp xếp dữ liệu tăng dần và chia đều vào các thùng, sau đó sử dụng phương pháp làm trơn theo trung bình, theo biên, theo trung tuyến.

Chia đều dữ liệu vào các thùng, sau đó sử dụng phương pháp làm trơn theo trung bình, theo biên, theo trung tuyến.

Sắp xếp dữ liệu tăng dần và chia vào các thùng, mỗi thùng có số phần tử tùy ý, sau đó sử dụng phương pháp làm trơn theo trung bình, theo biên, theo trung tuyến.

Sắp xếp dữ liệu giảm dần và chia đều vào N thùng, loại bỏ các thùng không cần thiết

Bin 1: 4, 8, 9, 15; Bin 2: 21, 21, 24, 25; Bin 3: 26, 28, 29, 34

Bin 1: 4, 4, 4, 4; Bin 2: 21, 21, 21, 21; Bin 3: 26, 26, 26, 26

Bin 1: 4, 4, 4, 15; Bin 2: 21, 21, 25, 25; Bin 3: 26, 26, 26, 34

Bin 1: 15, 15, 15, 15; Bin 2: 23, 23, 23, 23; Bin 3: 29, 29, 29, 29