Store review triage (BG) v2 r2-jev
completed GPU worker offlineSort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.
Pipeline
- ✓ Eval set generated and frozen
- ✓ Baseline evaluation (base model)
- ✓ Training data, iteration 1
- ✓ Human review of samples
- ✓ LoRA training, iteration 1
- ✓ Evaluation, iteration 1
- ✓ Failure analysis and stop rules, iteration 1
- ✓ Serve best adapter
Baseline vs iterations
| Model | Accuracy | Macro-F1 | JSON validity | Exact match |
|---|---|---|---|---|
| Baseline (base model) | 92.6% | 92.6% | 100.0% | 92.6% |
| Iteration 1 served | 97.7% | 97.7% | 100.0% | 97.7% |
Target: macro-f1 at least 95%. Stopped: target met (0.977 >= 0.950).
Own tickets
533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.
| Model | Accuracy | Macro-F1 | category |
|---|---|---|---|
| Base model | 73.4% | 61.0% | 73.4% |
| Served adapter (iteration 1) | 85.0% | 73.8% | 85.0% |
Accuracy is on the primary field; the field columns are the accuracy of each field on its own.
Training loss
Leakage guard and frozen eval set
- Eval items
- 215 (200 synthetic + 15 seed)
- Frozen at
- 2026-10-15 11:00:54 UTC
- Blind label check
- 15 of 273 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
- Eval SHA-256
- 83179743c3e768a696972b31863ea8bbfd5da1248f9652c5902b6d979a5a8737
| Train set | Candidates | Dropped as near-copies of eval | Drop rate | Dropped by label check |
|---|---|---|---|---|
| Iteration 1 | 1374 | 11 | 0.8% | 63 |
Per-class results, baseline vs iteration 1
| Class | Support | Base P | Base R | Base F1 | P | R | F1 | F1 vs base |
|---|---|---|---|---|---|---|---|---|
| compliment | 54 | 100% | 94% | 97% | 100% | 100% | 100% | +2.9 pts |
| complaint | 54 | 89% | 94% | 92% | 98% | 98% | 98% | +6.3 pts |
| mixed | 54 | 98% | 83% | 90% | 98% | 94% | 96% | +6.2 pts |
| suggestion | 53 | 85% | 98% | 91% | 95% | 98% | 96% | +5.1 pts |
Confusion matrix (Iteration 1, rows = expected, columns = predicted)
| compliment | complaint | mixed | suggestion | __invalid_... | |
|---|---|---|---|---|---|
| compliment | 54 | 0 | 0 | 0 | 0 |
| complaint | 0 | 53 | 1 | 0 | 0 |
| mixed | 0 | 0 | 51 | 3 | 0 |
| suggestion | 0 | 1 | 0 | 52 | 0 |
| __invalid__ | 0 | 0 | 0 | 0 | 0 |
Decisions log
The model was not consulted: the stop rules ended the loop.
Dataset preview, 10 eval items and 10 training items (iteration 1)
Eval (frozen, used for all numbers above)
-
Артикула не беше наличен но се свързаха с мен бързо и нямаше проблем мога само да отбележа по-често да актуализират количествата
{"category":"suggestion"} seed
-
Много бърза доставка, стоката е перфектна. Единствено бих искал да има опция за избор на куриер при поръчката, защото Еконт ми е неудобен в този район.
{"category":"suggestion"} synthetic
-
Цената на сайта беше 120 лв, а при плащане се оказа 145 лв заради 'скрити такси'. Не съм съгласен с това. Ако не ми възстановите разликата, ще оставя жалба в потребителската асоциация.
{"category":"complaint"} synthetic
-
Всичко супер, бърза доставка и пакетирането е на място. Малко скъпа е доставката но за бързината си струва. Благодаря за професионализма!
{"category":"compliment"} synthetic
-
Скрити такси! При поръчката се добави доставка 19 лв, въпреки че в офертата пишеше безплатна над 100 лв. Платих и сега искам разликата. Не е сериозно това. Очаквам отговор до края на деня.
{"category":"complaint"} synthetic
-
Сайта е бавен на мобилния телефон, особено при търсене. Моля, оптимизирайте мобилната версия, защото много хора пазаруват от телефона. Стоките са добри, но навигацията е неудобна.
{"category":"suggestion"} synthetic
-
Сайтът е лесен за ползване и филтрите работят добре. Поръчах зарядно и пристигна в срок. Единственият проблем е, че не ми изпратиха фактура до имейла, трябваше да питам по чат за нея. Обслужването беше коректно, но липсата на автоматична фактура е неудобство.
{"category":"mixed"} synthetic
-
Цената на лаптопа беше най-ниската в мрежата, което ме привлече. Но при получението липсваше зарядното и кабелът за захранване. Трябваше да правя документи за размяна, което отне много време и нерви. Иначе машината работи безупречно, просто процедурата за липсващите части беше бавна.
{"category":"mixed"} synthetic
-
Обслужването по телефона е отлично, момичетата отговориха на всички мои въпроси за спецификациите. Но самата доставка до офис отне 5 дни, което ми се стори много дълго за такъв стока. Ако бях знаела, че ще чакам толкова, може би щях да купя от друг източник. Иначе съм доволна от самия продукт.
{"category":"mixed"} synthetic
-
Доволен съм от избора, но снимките на някои продукти са много лоши и не се вижда детайлно. Моля да ги подновите, за да не се сбърквам при поръчка.
{"category":"suggestion"} synthetic
Training (synthetic)
-
Механиката на пералнята, която купих от тях, се счупи след две пранета. Казват, че гаранцията е само 1 година, но устройството е било с дефект от фабриката. Попитах за сервизен център и ми отвърнаха, че трябва сам да намирам майстор. Толкова напрежение и хаос. Продуктът е дефектен, обслужването е студено.
{"category":"complaint"} synthetic
-
За пореден път се възползвах от промоцията за празниците в „ТехноМаркет“. Екранът за компютъра, който търсех, беше точно с характеристиките, които ми трябват, а цената беше по-низка от другите места. Споделям следите: + качествена опаковка, + бързо обработване на поръчката, + любезно обслужване по телефона. Минуси: нямам такова впечатление, всичко беше гладко. Препоръчвам го на всеки, който търси сериозен подход.
{"category":"compliment"} synthetic
-
Винаги съм поръчвал книги от този сайт, защото изборът е огромен и често има промоции. Този път поръчах три учебника и бях приятно изненадан, че ги получи още същия ден, без да чакам стандартните 2-3 дни. Опаковката бе здрава, книгите бяха нови и без нито една сгъната страница. Едно е, че при погасяването на сметката в касата се оказа, че са ми начислили допълнителни 4 лева за пакетно обслужване, което не беше видно в чекната. Операторът в магазина каза, че това е стандартна такса за етикетиране, но не ми бе казано при поръчката. Малко безскрупулно от тяхна страна, особено като се има предвид, че всичко друго беше идеално. Все пак качеството на книгите и бързината ми направиха да не отказвам стоката.
{"category":"mixed"} synthetic
-
Цената на сайта беше 49.90 лв., но на касата изскочиха допълнителни такси за опаковка, които не бяха споменати нито в кошницата, нито по време на плащането. Общо платих 60 лв. за играчка. Това е скрито ценообразуване и манипулация. Искам да ми върнат разликата днес, иначе ще се обърна към потребителската защита.
{"category":"complaint"} synthetic
-
Впечатлен съм от професионализма. Покъсваше ми да изчакам един ден по-дълго от обичайното, защото имаха проблем с куриера, но ме предупредиха навреме. Самата стока - микровълнова фурна - е идеална. Забравихме за закъснението, когато видях как работи. Благодаря за вниманието!
{"category":"compliment"} synthetic
-
Бих искал да споделя положителното си впечатление. Поръчах си нови панти и обувки за момичето. Доставката стигна до Пловдив за 3 дни, което е нормално за България. Продуктите съвпаднаха напълно с описанието и снимките. Цените са конкурентни. Нямах нужда да се обаждам нито веднъж. Чувствам се добре информирали и обслужени. Това е точното място за пазаруване на дрехи за мен.
{"category":"compliment"} synthetic
-
Търсих специфичен модел клавиатура за работа от вкъщи и след много разглеждане реших да пробвам тази платформа. Потребителският интерфейс е ясен и логичен, а търсенето работи перфектно. Поръчката си направих в понеделник вечерта, а стоката пристигна в сряда сутринта. Екипът за поддръжка отговори мигновено, когато им се обазах, за да променя адреса за доставка. Продуктът е точно като в описанието, няма нищо скрито или изненадащо. Дребна забележка е, че страницата за плащане понякога криво зарежда, но това не пречателни и не повлия на успеха на сделката. Общо взето, много положително впечатление.
{"category":"compliment"} synthetic
-
Редовен клиент съм от миналата година. Поръчах си комплект постелка от памук и кърпи за кухнята. Качество на съотношението цена-качество е отлично. Поддръжката отговори на въпроса ми в чата мигновено, което е голямо предимство. Нямам нищо против фактa, че някои продукти нямат опция за самоповдигане от офис, но за поръчка с доставка до вратата са супер.
{"category":"compliment"} synthetic
-
Сайтът е удобен и каталогът е голям, намерих лесно това, което търся. Съобщенията на имейл бяха точни и навреме. Въпреки това, опитах се да си кажа телефона, за да променя адреса, но нямаше номер за контакт нито в сайта, нито в имейла. Приходът трябваше да чакам да се свържат те с мен, което взе цял ден. Много неудовлетворителен сервис за поддръжка.
{"category":"mixed"} synthetic
-
Получих грешен артикул. Купих си черни обувки размер 42, а ми изпратиха сиви размер 41. Свързах се с тях по телефона и жената на линията беше необяснимо груба, като ми каза, че трябва аз да докажа грешката им с скрийншот от разговора, въпреки че имат система за проследяване. Предида ми беше обяснено, че те носят отговорността. Върнах стоката, но преживях стрес заради лошото отношение. Не мога да проръчвам този магазин на никого, който цени уважението в обслужването.
{"category":"complaint"} synthetic