Store review triage (BG) v2 r2-human
completed GPU worker offlineSort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.
Pipeline
- ✓ Eval set generated and frozen
- ✓ Baseline evaluation (base model)
- ✓ Training data, iteration 1
- ✓ Human review of samples
- ✓ LoRA training, iteration 1
- ✓ Evaluation, iteration 1
- ✓ Failure analysis and stop rules, iteration 1
- ✓ Serve best adapter
Baseline vs iterations
| Model | Accuracy | Macro-F1 | JSON validity | Exact match |
|---|---|---|---|---|
| Baseline (base model) | 91.6% | 91.6% | 100.0% | 91.6% |
| Iteration 1 served | 97.2% | 97.2% | 100.0% | 97.2% |
Target: macro-f1 at least 95%. Stopped: target met (0.972 >= 0.950).
Own tickets
533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.
| Model | Accuracy | Macro-F1 | category |
|---|---|---|---|
| Base model | 73.2% | 60.8% | 73.2% |
| Served adapter (iteration 1) | 84.8% | 72.9% | 84.8% |
Accuracy is on the primary field; the field columns are the accuracy of each field on its own.
Training loss
Leakage guard and frozen eval set
- Eval items
- 215 (200 synthetic + 15 seed)
- Frozen at
- 2026-10-15 10:58:09 UTC
- Blind label check
- 16 of 274 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
- Eval SHA-256
- 7a46322a64f99f912dc19d0fb57874b78dd33cf399bef3fc034237b1a861756f
| Train set | Candidates | Dropped as near-copies of eval | Drop rate | Dropped by label check |
|---|---|---|---|---|
| Iteration 1 | 1373 | 23 | 1.7% | 75 |
Per-class results, baseline vs iteration 1
| Class | Support | Base P | Base R | Base F1 | P | R | F1 | F1 vs base |
|---|---|---|---|---|---|---|---|---|
| compliment | 54 | 100% | 96% | 98% | 98% | 100% | 99% | +1.0 pts |
| complaint | 54 | 89% | 93% | 91% | 96% | 96% | 96% | +5.4 pts |
| mixed | 54 | 93% | 80% | 86% | 96% | 94% | 95% | +9.3 pts |
| suggestion | 53 | 85% | 98% | 91% | 98% | 98% | 98% | +6.9 pts |
Confusion matrix (Iteration 1, rows = expected, columns = predicted)
| compliment | complaint | mixed | suggestion | __invalid_... | |
|---|---|---|---|---|---|
| compliment | 54 | 0 | 0 | 0 | 0 |
| complaint | 0 | 52 | 2 | 0 | 0 |
| mixed | 1 | 1 | 51 | 1 | 0 |
| suggestion | 0 | 1 | 0 | 52 | 0 |
| __invalid__ | 0 | 0 | 0 | 0 | 0 |
Decisions log
The model was not consulted: the stop rules ended the loop.
Dataset preview, 10 eval items and 10 training items (iteration 1)
Eval (frozen, used for all numbers above)
-
Сърфирах по каталога и намерих точно това, което търсих за рождения ден на синя. Цената е добра, няма скрити такси при плащане. Експрес доставката е реална. Ще се върна за подарък и за майка си.
{"category":"compliment"} synthetic
-
Хубав избор от аксесоари. Поръчах кабели и зарядки, дойдоха навреме и в добро състояние. Опаковката е солидна. Никоя забележка нямам, всичко е ок.
{"category":"compliment"} synthetic
-
Купих си телефон, но батерията умира след 2 часа. Сигурен съм, че е дефектен. Обадих се за гаранция и ми казаха да чакам 2 седмици за експертиза. Загубих време и нерви. Нека просто да го сменят, вместо да ме гонят от врата на врата.
{"category":"complaint"} synthetic
-
Доставката дойде бързо, но стоката е повредена. Екранът на телефона има драскотина, а кутията е била разпечатана. Какво става? Не мога да го върна, защото нямам касова бележка, която не са сложили в пакета. Това е невъзможно. Искам да ми дадат нов или да ми върнат парите.
{"category":"complaint"} synthetic
-
Доволен съм от цените. Единственият проблем е, че няма опция за преглед на пратката преди плащане. Ако го добавите, ще поръчвам по-често. Иначе всичко е чиста работа.
{"category":"suggestion"} synthetic
-
Доставката дойде за 2 дни, което е супер бързо за мен. Но когато отворих кутията, кабелът за зареждане беше сгънат и не работеше. Обадих се и го сменнаха без въпроси, но първоначално беше разстроващо. Иначе сайта е лесен за навигация.
{"category":"mixed"} synthetic
-
Получих поръчката си, но кутията беше надраскана и отворена. Вътре лентата за принтера беше изкривена и не работи. Искам връщане на средствата веднага, нямам търпение да чакам инспекция. Срамно обслужване.
{"category":"complaint"} synthetic
-
Доставката беше супер бърза, стигна до мен на следващия ден. Но когато отворих кутията, екранът на монитора имаше три пиксела, които не светят. Обадих се и бяха много любезни, но трябваше да чакам 3 дни за размяна. Иначе стока е супер.
{"category":"mixed"} synthetic
-
Поръчах телефон и дойде на следващия ден, всичко беше наред. Но екранът на телефона имаше лека пречупка, която не се виждаше от снимките. Направих смяна без проблеми, но първоначалното качество беше лошо.
{"category":"mixed"} synthetic
-
Цената на страницата беше 99 лв., а при поръчката се оказа 149 лв. без да е посочено явно. Когато ги попитах по чат, ми отговориха, че е "техническа грешка" и не могат да ми доставят по старата цена. Как да се доверя на такива магазини? Напълно неадекватно.
{"category":"complaint"} synthetic
Training (synthetic)
-
Много ми се допадна избраният ми кожен портфейл – изглежда скъпоценно и е добре изработен. Опаковката беше внимателна. Съществува обаче един голям недостатък: в описанието на продукта не беше посочено, че цветът „тъмно кафяв“ е с явни марки от износване върху италианска кожа, което не харесвам. Освен това името на артикула в системата не съответстваше на реалния модел, което причини объркване при връщането на един екземпляр, който не ми отговаряше по дизайн. Екипът беше учтив, но грешките в информацията са неприемани.
{"category":"mixed"} synthetic
-
Започнах да купувам тук, защото видях добри отстъпки за електроника. Но последната ми поръчка беше кошмар. Поръчах си слушалки Buds Pro 2, а ми дойдоха модел Buds Lite. Опаковката беше увредена и вътре имаше прах. Написали са, че са нови, а изглеждат като разгледани. Няма да поръчвам отново, докато не ми изпратят правилния артикул с извинение.
{"category":"complaint"} synthetic
-
Доставката беше бърза, поръчката дойде на следващия ден. Единствено пакетът беше малко набит, но всичко вътре беше цяло и красиво опаковано. Препоръчвам го!
{"category":"compliment"} synthetic
-
Сайтът е удобен и търсенето на части за коли е много бързо. Намерих белезниковата лента, която ми трябваше, за броени минути. Цените са конкурентни, а промокодът, който използвах, действаше без проблеми. За съжаление, състоянието на товара не беше описано точно. Платовете бяха ръждясали по ръбовете, въпреки че фотографията показваше нови. Това направи неговото съхранение по-трудно. Поддръжката призна грешката, но отстъпката беше минимална спрямо проблема, който създаде. Доволен съм от сайта, но не от точността на описанието на този конкретен артикул.
{"category":"mixed"} synthetic
-
Общо взето съм доволен от онлайн магазина, цените са конкурентни и асортиментът е богат. Но ми липсва възможността да следя поръчката си по-подробно през сайта. В момента разчитам на имейл известията, но бих предпочел в реално време да виждам статуса. Мисля, че въвеждането на по-детайлна страница за проследяване на поръчките би повишило доверието към платформата.
{"category":"suggestion"} synthetic
-
Користя този магазин от година. Досега не съм имал големи оплаквания откъм качество на стоки, но ми се струва, че сайтът е твърде бавен на мобилни устройства. Бих препоръчал да оптимизирате страниците, защото постоянно ми зарежда и гледам на телефона, докато чака. Освен това, липсва секция с отговори на често задавани въпроси (FAQ) по темата за гаранциите. Трябва да пишете на имейл за всякакви въпроси, което е бавно. Ако направите по-бърз сайт и добавите FAQ, бих бил много по-доволен клиент. Цените са конкурентни, така че основата е там.
{"category":"suggestion"} synthetic
-
Иска ми се да имате по-подробни описания на размера за обувките. Поръчах мокасини в 43-ра, но ми станаха малко стеснени, а в сайта само пише "стандартен размер". Освен това доставката беше бърза и пакетирането отлично, но ако пишеше дължината на стъпалото в см, щях да се сетя за мен. Моля, разгледайте добавяне на конкретни измервания към всяка позиция.
{"category":"suggestion"} synthetic
-
Не успях дори да финализирам поръчката си. Опитах се да купя коледни подаръци за децата, но сайтът се сваляше непрекъснато при опит за плащане с карта. Три пъти попълвах данните и трите пъти получих грешка „Свързаността е загубена“. Накрая се отказах и купих от друг магазин. Трябва да имат по-стабилна платформа, защото губя търпение и доверие. Ситуацията е критична преди празниците.
{"category":"complaint"} synthetic
-
Бях скептична относно онлайн пазаруването на електроника, но изобщо не се разсърдих. Поръчах безжични слушалки и те дойдоха в перфектно състояние. Доставката бе малко по-скъпа от очакваното, но за мен това не е проблем, тъй като цената на самия продукт беше най-ниската на пазара. Препоръчвам ги за всички, които търсят бързо обслужване.
{"category":"compliment"} synthetic
-
Сайтът на магазина е много лесен за навигация и цените са конкурентни. Поръчах козметични продукти на стойност 45 лева и всичко дойде на време. Същевременно, опаковката беше доста зле изтрита и кутията имаше следа от влага отстрани. Навсякъде вътре беше сухо и продуктите не са пострадали, но все пак да се притеснявате дали нещо е влажно, не е приятно преживяване. Винаги препоръчвам, но внимавайте с външния вид на пратките.
{"category":"mixed"} synthetic