Ontology Alignment Evaluation Initiative

OA4QA Track

OAEI 2015::Ontology Alignment for Query Answering (OA4QA)

Global Evaluation Results

Summary table showing the averaged precision/recall/f-measure results for the whole set of queries: AML, DKPAOM, LogMap, LogMapC and XMap were the only matchers whose alignments allowed to answer all the queries of the evaluation.

AML was the best performing tool for what concerns averaged precision (same value of XMap), recall (same value of LogMap) and f-measure, closely followed by LogMap, LogMapC and XMap.

The difference in results between the publicly available reference alignment of Conference track (RA1) and its repaired version (RAR1, not to be confused with RA2 of Conference track!) was not significant. The f-measure ranking between the two reference alignments is almost totally preserved, at the exception of Lily, which is ranked 11-th w.r.t. RA1, and 9-th w.r.t. RAR1 (improving its results w.r.t. JarvisOM and LogMapLite).

Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
AML 18/18 0.778 0.750 0.759 0.757 0.750 0.746
COMMAND 14/18 0.557 0.611 0.575 0.536 0.611 0.562
CroMatcher 12/18 0.464 0.479 0.434 0.407 0.458 0.404
DKPAOM 18/18 0.667 0.618 0.635 0.666 0.639 0.648
GMap 9/18 0.324 0.389 0.343 0.303 0.389 0.330
JarvisOM 17/18 0.409 0.430 0.386 0.407 0.430 0.385
Lily 11/18 0.389 0.368 0.376 0.389 0.389 0.389
LogMap 18/18 0.750 0.750 0.741 0.729 0.750 0.728
LogMapC 18/18 0.722 0.694 0.704 0.722 0.694 0.703
LogMapLite 11/18 0.409 0.423 0.379 0.351 0.402 0.348
Mamba 14/18 0.556 0.528 0.537 0.556 0.528 0.537
RSDLWB 6/18 0.131 0.180 0.127 0.129 0.180 0.126
ServOMBI 6/18 0.222 0.222 0.222 0.222 0.222 0.222
XMAP 18/18 0.778 0.675 0.702 0.720 0.654 0.671

Evaluation Results Aggregated (by query family)

Basic queries were sufficiently (f-measure of at least 0.6) answered by half of the matchers, and only GMap and RSDLWB did not reach an f-measure score of at least 0.5, due to logical violations that prevented query answering in most cases. Concerning advanced queries, the best result has been obtained by Mamba matcher, which achieved an f-measure of 0.533, followed by AML, LogMap and LogMapC, with a score of 0.333. All the other matchers achieved an f-measure less than 0.3, with 6 matchers which totally failed all queries (vastly due to unsatisfiability of the aligned ontology). Surprisingly, this year the best global results have been achieved for violations queries, that has been correctly covered by AML, DKPAOM, LogMap, COMMAND, LogMapC and XMAP, in decreasing order of f-measure w.r.t. RA1. Notably, DKPAOM achieved an impressive f-measure of 0.999 w.r.t. RAR1, showing an effective handling of logical violations.

Advanced Queries Results

Detailed table showing precision, recall and f-measure results for advanced queries:

Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
AML 5/5 0.400 0.300 0.333 0.400 0.300 0.333
COMMAND 3/5 0.000 0.000 0.000 0.000 0.000 0.000
CroMatcher 1/5 0.000 0.000 0.000 0.000 0.000 0.000
DKPAOM 5/5 0.200 0.100 0.133 0.200 0.100 0.133
GMap 2/5 0.000 0.000 0.000 0.000 0.000 0.000
JarvisOM 5/5 0.200 0.100 0.133 0.200 0.100 0.133
Lily 3/5 0.200 0.200 0.200 0.200 0.200 0.200
LogMap 5/5 0.400 0.300 0.333 0.400 0.300 0.333
LogMapC 5/5 0.400 0.300 0.333 0.400 0.300 0.333
LogMapLite 1/5 0.000 0.000 0.000 0.000 0.000 0.000
Mamba 5/5 0.600 0.500 0.533 0.600 0.500 0.533
RSDLWB 1/5 0.000 0.000 0.000 0.000 0.000 0.000
ServOMBI 2/5 0.000 0.000 0.000 0.000 0.000 0.000
XMAP 5/5 0.200 0.100 0.133 0.200 0.100 0.133

Basic Queries Results

Detailed table showing precision, recall and f-measure results for basic queries:

Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
AML 6/6 0.833 0.833 0.833 0.833 0.833 0.833
COMMAND 4/6 0.667 0.667 0.667 0.667 0.667 0.667
CroMatcher 4/6 0.667 0.667 0.667 0.667 0.667 0.667
DKPAOM 6/6 0.667 0.667 0.667 0.667 0.667 0.667
GMap 2/6 0.333 0.333 0.333 0.333 0.333 0.333
JarvisOM 5/6 0.500 0.500 0.500 0.500 0.500 0.500
Lily 3/6 0.500 0.500 0.500 0.500 0.500 0.500
LogMap 6/6 0.833 0.833 0.833 0.833 0.833 0.833
LogMapC 6/6 0.833 0.833 0.833 0.833 0.833 0.833
LogMapLite 3/6 0.500 0.500 0.500 0.500 0.500 0.500
Mamba 5/6 0.500 0.500 0.500 0.500 0.500 0.500
RSDLWB 0/6 0.000 0.000 0.000 0.000 0.000 0.000
ServOMBI 3/6 0.500 0.500 0.500 0.500 0.500 0.500
XMAP 6/6 1.000 1.000 1.000 1.000 1.000 1.000

Violations Queries Results

Detailed table showing precision, recall and f-measure results for queries involving violations:

Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
Matcher Successful queries Precision (RA1) Recall (RA1) F-Measure (RA1) Precision (RAR1) Recall (RAR1) F-Measure (RAR1)
AML 7/7 1.000 1.000 1.000 0.946 1.000 0.967
COMMAND 7/7 0.860 1.000 0.907 0.806 1.000 0.874
CroMatcher 7/7 0.622 0.659 0.546 0.475 0.605 0.467
DKPAOM 7/7 1.000 0.947 0.967 0.999 1.000 0.999
GMap 5/7 0.549 0.714 0.596 0.494 0.714 0.563
JarvisOM 7/7 0.479 0.606 0.468 0.475 0.605 0.467
Lily 5/7 0.429 0.376 0.396 0.429 0.429 0.429
LogMap 7/7 0.928 1.000 0.952 0.874 1.000 0.919
LogMapC 7/7 0.857 0.857 0.857 0.856 0.857 0.856
LogMapLite 7/7 0.622 0.659 0.546 0.475 0.605 0.467
Mamba 4/7 0.571 0.571 0.571 0.571 0.571 0.571
RSDLWB 5/7 0.336 0.463 0.325 0.332 0.462 0.324
ServOMBI 1/7 0.143 0.143 0.143 0.143 0.143 0.143
XMAP 7/7 1.000 0.806 0.853 0.852 0.752 0.774

Detailed Evaluation Results

The following tables present the detailed results for each matcher, against all the evaluated queries.

Precision Evaluation Results

Detailed table showing precision results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.629 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
COMMAND 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.629 0.510 0.510 0.510 0.510 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
CroMatcher 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 1.000 1.000 0.000 0.000 1.000 0.967
DKPAOM 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
GMap 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 0.629 0.000 0.000 0.000 0.000 0.341 0.341 1.000 1.000 0.499 0.499 1.000 0.991
JarvisOM 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 1.000 1.000 0.000 0.000 1.000 0.967
Lily 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
LogMap 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.629 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.499 0.499 1.000 0.991
LogMapC 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.991
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 1.000 1.000 0.000 0.000 1.000 0.967
Mamba 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.510 0.510 0.510 0.510 0.334 0.334 0.000 0.000 0.000 0.000 1.000 0.967
ServOMBI 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000
XMAP 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.967

Recall Evaluation Results

Detailed table showing recall results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 0.500 0.500 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
COMMAND 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
CroMatcher 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.371 0.000 1.000 1.000 1.000 1.000 0.970 0.970 1.000 1.000 0.000 0.000 0.273 0.266
DKPAOM 0.500 0.500 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.629 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
GMap 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
JarvisOM 0.500 0.500 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.970 0.970 1.000 1.000 0.000 0.000 0.273 0.266
Lily 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.629 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
LogMap 0.500 0.500 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
LogMapC 0.500 0.500 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.371 0.000 1.000 1.000 1.000 1.000 0.970 0.970 1.000 1.000 0.000 0.000 0.273 0.266
Mamba 0.500 0.500 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.970 0.970 0.000 0.000 0.000 0.000 0.273 0.266
ServOMBI 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000
XMAP 0.500 0.500 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.371 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.273 0.266

F-measure Evaluation Results

Detailed table showing f-measure results for each query:

Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
Matcher q-a1 (RA1) q-a1 (RAR1) q-a2 (RA1) q-a2 (RAR1) q-a3 (RA1) q-a3 (RAR1) q-a4 (RA1) q-a4 (RAR1) q-a5 (RA1) q-a5 (RAR1) q-b1 (RA1) q-b1 (RAR1) q-b2 (RA1) q-b2 (RAR1) q-b3 (RA1) q-b3 (RAR1) q-b4 (RA1) q-b4 (RAR1) q-b5 (RA1) q-b5 (RAR1) q-b6 (RA1) q-b6 (RAR1) q-v1 (RA1) q-v1 (RAR1) q-v2 (RA1) q-v2 (RAR1) q-v3 (RA1) q-v3 (RAR1) q-v4 (RA1) q-v4 (RAR1) q-v5 (RA1) q-v5 (RAR1) q-v6 (RA1) q-v6 (RAR1) q-v7 (RA1) q-v7 (RAR1)
AML 0.667 0.667 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.772 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
COMMAND 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.772 0.676 0.676 0.676 0.676 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
CroMatcher 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.542 0.000 0.676 0.676 0.676 0.676 0.497 0.497 1.000 1.000 0.000 0.000 0.429 0.417
DKPAOM 0.667 0.667 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.772 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
GMap 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 0.772 0.000 0.000 0.000 0.000 0.509 0.509 1.000 1.000 0.666 0.666 1.000 0.995
JarvisOM 0.667 0.667 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.676 0.676 0.676 0.676 0.497 0.497 1.000 1.000 0.000 0.000 0.429 0.417
Lily 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.772 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
LogMap 0.667 0.667 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 0.772 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.666 0.666 1.000 0.995
LogMapC 0.667 0.667 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.995
LogMapLite 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.542 0.000 0.676 0.676 0.676 0.676 0.497 0.497 1.000 1.000 0.000 0.000 0.429 0.417
Mamba 0.667 0.667 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000
RSDLWB 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.676 0.676 0.676 0.676 0.497 0.497 0.000 0.000 0.000 0.000 0.429 0.417
ServOMBI 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 0.000 0.000 0.000 0.000
XMAP 0.667 0.667 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.542 0.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.429 0.417