Appearance
Model parameters
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ text_input (InputLayer) │ (None) │ 0 │ - │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ text_vectorization │ (None, 16) │ 0 │ text_input[0][0] │ │ (TextVectorization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ image_input (InputLayer) │ (None, 224, 224, 3) │ 0 │ - │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ embedding (Embedding) │ (None, 16, 128) │ 1,280,000 │ text_vectorization[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ image_augmentation │ (None, 224, 224, 3) │ 0 │ image_input[0][0] │ │ (Sequential) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ global_average_pooling1d │ (None, 128) │ 0 │ embedding[0][0] │ │ (GlobalAveragePooling1D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ xception (Functional) │ (None, 2048) │ 20,861,480 │ image_augmentation[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ dense_text (Dense) │ (None, 256) │ 33,024 │ global_average_pooling1d[… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ concatenate (Concatenate) │ (None, 2304) │ 0 │ xception[0][0], │ │ │ │ │ dense_text[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ dense (Dense) │ (None, 512) │ 1,180,160 │ concatenate[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ dropout (Dropout) │ (None, 512) │ 0 │ dense[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ dense_1 (Dense) │ (None, 256) │ 131,328 │ dropout[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ dropout_1 (Dropout) │ (None, 256) │ 0 │ dense_1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ output (Dense) │ (None, 27) │ 6,939 │ dropout_1[0][0] │ └───────────────────────────────┴───────────────────────────┴─────────────────┴────────────────────────────┘ Total params: 23,492,931 (89.62 MB) Trainable params: 7,382,299 (28.16 MB) Non-trainable params: 16,110,632 (61.46 MB)
Class weights
Class 0: 1.0112 Class 1: 0.6619 Class 2: 1.8697 Class 3: 0.6458 Class 4: 1.1400 Class 5: 0.6303 Class 6: 1.2143 Class 7: 0.6197 Class 8: 1.5213 Class 9: 0.7312 Class 10: 0.6587 Class 11: 1.1784 Class 12: 0.3079 Class 13: 4.1158 Class 14: 0.6231 Class 15: 2.2117 Class 16: 0.7953 Class 17: 0.6298 Class 18: 1.2542 Class 19: 3.7759 Class 20: 0.9698 Class 21: 1.2618 Class 22: 3.8160 Class 23: 3.6079 Class 24: 1.2593 Class 25: 3.9170 Class 26: 3.8928
10 Epochs training and 1 epoch finetuning
Classification Report
precision recall f1-score support
0 0.4000 0.4630 0.4292 622
1 0.7131 0.6411 0.6752 950
2 0.7131 0.7470 0.7297 336
3 0.7464 0.4810 0.5850 973
4 0.5730 0.7464 0.6483 552
5 0.9300 0.8647 0.8962 998
6 0.5284 0.7181 0.6088 518
7 0.8060 0.7655 0.7852 1015
8 0.3860 0.4552 0.4178 413
9 0.8937 0.8698 0.8816 860
10 0.7750 0.6426 0.7026 954
11 0.6595 0.7472 0.7006 534
12 0.9648 0.9119 0.9376 2042
13 0.3983 0.6275 0.4873 153
14 0.9049 0.9247 0.9147 1009
15 0.7673 0.7430 0.7549 284
16 0.9124 0.9090 0.9107 791
17 0.8170 0.6533 0.7261 998
18 0.6597 0.6267 0.6428 501
19 0.7907 0.8193 0.8047 166
20 0.6700 0.7145 0.6916 648
21 0.6627 0.7892 0.7204 498
22 0.5101 0.7636 0.6117 165
23 0.9000 0.9828 0.9396 174
24 0.6325 0.7174 0.6723 499
25 0.6700 0.8323 0.7424 161
26 0.7831 0.9193 0.8457 161
accuracy 0.7484 16975
macro avg 0.7099 0.7436 0.7208 16975 weighted avg 0.7637 0.7484 0.7512 16975
True and predicted values
count_true count_pred
label 0 622 720 1 950 854 2 336 352 3 973 627 4 552 719 5 998 928 6 518 704 7 1015 964 8 413 487 9 860 837 10 954 791 11 534 605 12 2042 1930 13 153 241 14 1009 1031 15 284 275 16 791 788 17 998 798 18 501 476 19 166 172 20 648 691 21 498 593 22 165 247 23 174 190 24 499 566 25 161 200 26 161 189
