Store review triage (BG)
completed GPU worker offlineSort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.
Pipeline
- ✓ Eval set generated and frozen
- ✓ Baseline evaluation (base model)
- ✓ Training data, iteration 1
- ✓ Human review of samples
- ✓ LoRA training, iteration 1
- ✓ Evaluation, iteration 1
- ✓ Failure analysis and stop rules, iteration 1
- ✓ Serve best adapter
Baseline vs iterations
| Model | Accuracy | Macro-F1 | JSON validity | Exact match |
|---|---|---|---|---|
| Baseline (base model) | 90.2% | 90.3% | 100.0% | 90.2% |
| Iteration 1 served | 98.1% | 98.1% | 100.0% | 98.1% |
Target: macro-f1 at least 95%. Stopped: target met (0.981 >= 0.950).
Own tickets
182 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0), test split of the MTEB release. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.
79% of the uploaded tickets were set aside for training by the split given in the upload: 702 went into a training file, 182 were kept for evaluation. 2 training tickets were left out because they repeated an evaluation ticket or shared a word 8-gram with one. The two parts never overlap.
A follow-up run trained on the training part: Store review triage (BG) + own tickets.
| Model | Accuracy | Macro-F1 | category |
|---|---|---|---|
| Base model | 75.8% | 62.3% | 75.8% |
| Served adapter (iteration 1) | 83.5% | 69.8% | 83.5% |
Accuracy is on the primary field; the field columns are the accuracy of each field on its own.
Training loss
Leakage guard and frozen eval set
- Eval items
- 215 (200 synthetic + 15 seed)
- Frozen at
- 2026-10-15 08:00:29 UTC
- Blind label check
- 7 of 276 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
- Eval SHA-256
- 7993e19745108ce278d9c7e248106e265fe3142e3b12acd70ac81ac634a8b342
| Train set | Candidates | Dropped as near-copies of eval | Drop rate | Dropped by label check |
|---|---|---|---|---|
| Iteration 1 | 1368 | 11 | 0.8% | 19 |
Per-class results, baseline vs iteration 1
| Class | Support | Base P | Base R | Base F1 | P | R | F1 | F1 vs base |
|---|---|---|---|---|---|---|---|---|
| compliment | 54 | 100% | 76% | 86% | 100% | 100% | 100% | +13.7 pts |
| complaint | 54 | 98% | 98% | 98% | 98% | 98% | 98% | +0.0 pts |
| mixed | 54 | 92% | 89% | 91% | 98% | 96% | 97% | +6.6 pts |
| suggestion | 53 | 76% | 98% | 86% | 96% | 98% | 97% | +11.2 pts |
Confusion matrix (Iteration 1, rows = expected, columns = predicted)
| compliment | complaint | mixed | suggestion | __invalid_... | |
|---|---|---|---|---|---|
| compliment | 54 | 0 | 0 | 0 | 0 |
| complaint | 0 | 53 | 1 | 0 | 0 |
| mixed | 0 | 0 | 52 | 2 | 0 |
| suggestion | 0 | 1 | 0 | 52 | 0 |
| __invalid__ | 0 | 0 | 0 | 0 | 0 |
Decisions log
The model was not consulted: the stop rules ended the loop.
Dataset preview, 10 eval items and 10 training items (iteration 1)
Eval (frozen, used for all numbers above)
-
Интерфейсът е модерен и лесен за навигация. Но при поръчка на стока от 300 лв. не ми дадоха фактура веднага, а чак след 5 дни. Иначе продуктите са оригинални и добре опаковани.
{"category":"mixed"} synthetic
-
Мисля, че трябва да пуснете опция за плащане с карта и на място, а не само по банков път. Много хора предпочитат да видят стоката преди да платят. Ако добавите това, ще ви купувам по-често.
{"category":"suggestion"} synthetic
-
Опаковката беше супер здрава и не се е разпаднала при преноса. Но закъснението на поръчката с 2 дни ме разстрои доста. Общо взето, стоката е качествена, но логистиката ви трябва да се подобри.
{"category":"mixed"} synthetic
-
Обслужването на касата беше професионално и бързо, много хубаво. Проблемът е, че на сайта пишеше налично, а в магазина го нямаше. Трябваше да чакам за поръчка от друг клон.
{"category":"mixed"} synthetic
-
Цени са нормални, но не мога да разбера каква е разликата между "бърза доставка" и "стандартна" на сайта. Смятам, че трябва да напишете по-ясно условията за доставка и таксите за всяка куриерска фирма, за да не се чудя какво точно избирам при плащането.
{"category":"suggestion"} synthetic
-
Цената на сайта беше 45 лв, а на касата ми изкараха 52 лв с неясни такси. Не искам да плащам допълнително за нещо, което не е посочено в поръчката. Изчакайте да се свържа с вас.
{"category":"complaint"} synthetic
-
Сайтът е удобен за търсене, но липсват размери при някои дрехи. Поръчах си тениска, тя ми стана малка, но връщането беше лесно. Обслужването е коректно, но ми трябва по-ясна информация за стоите.
{"category":"mixed"} synthetic
-
Цените са супер, намерих го много по-евтино отколкото в големите вериги. Единственото лошо е, че не могат да платят с карта само в налични. Иначе всичко ок.
{"category":"mixed"} synthetic
-
Винаги купувам от тях. Никой път не съм имал проблем с липса на стока, въпреки че често пише налично. Бързи и коректни. Единственото е че липсват детайлни снимки на някои дрехи, но общо взето става.
{"category":"compliment"} synthetic
-
Поръчах вчера и днес вече го имах на ръка. Експресно! Цените са по-ниски отколкото в големите вериги. Единственият минус е че нямаха черния цвят, но ме съветваха за алтернатива и я харесах.
{"category":"compliment"} synthetic
Training (synthetic)
-
Купих си кожен портфейл от етикета „Препоръчително“. Стига до мен, но шевът се е разпукал още при първото използване. Материалът се оказа много тънък и пластмасов на вид. Врънах го по пощата след седмица чакане, защото офисът им беше затворен „технически“ цяла седмица. Дори и сега, след като е върнат, не ми е възстановен парите напълно – казват, че се удържа такса за обработка, която не споменават никъде в политиката за връщане. Изцяло отрицателно преживяване.
{"category":"complaint"} synthetic
-
За пореден път съм удовлетворен от цените. Намерих слушалките на Ender по по-ниска цена, отколкото в големите вериги. Уебсайтът е удобен за ползване, филтрите работят гладко. В края на краищата малко ми липсва опцията за таксо без брой, но общото впечатление е много позитивно.
{"category":"compliment"} synthetic
-
Поръчах си нова тенка от „Елеганс“. Милостта, че я изпратиха същия ден, е страхотна и пакетирането беше много внимателно. Но съжаление размерът S се оказа твърде малък за мен, въпреки че в описанието пишеше по-голям обем. Имате добър сървиз, но трябва да прецизирате размерната таблица.
{"category":"mixed"} synthetic
-
Поръчах си нова кофичка за кафе и самата тя е страхотна – металът е дебел и не мирише на пластмаса. Препоръчвам я на всеки. Единственият проблем е, че куриера дойде чак след 17:00, въпреки че на сайта пише до 14:00. Ако имах важна среща, щеше да е катастрофа. В общо взето, стоката си струва, но логистиката ви е наистина объркана този месец.
{"category":"mixed"} synthetic
-
Предлагам да публикувате по-подробни снимки на дрехите, особено при тъмните цветове, защото онлайн изглеждат по-различно от жива стоката. Ще помогне да се намали броят на връщанията.
{"category":"suggestion"} synthetic
-
В сайта стои „В наличност“ за 500 броя от определен модел монитор, но когато искам да го купя, системата гърми и казва, че е изчерпан. Опитвам се от три дни и винаги същото. Когато обадих, ми потвърдиха, че няма такива и ще чакат доставка „неясно кога“. Това е манипулация на трафика, за да изглеждат заети и популярни. Нямам търпение да чакам, особено когато други сайтове имат стока веднага. Използвайте по-честно управление на наличностите.
{"category":"complaint"} synthetic
-
Спорих за дълго дали да взема лаптопа от този магазин или от конкурент. Накрая избрах тук, защото имаше по-добра оферта за безплатна доставка на следващия ден. Поръчката беше извършена бързо, получих SMS с потвърждение веднага. Когато отворих кутията, обаче, забелязах, че екранът има една малка бяла точка в горния ляв ъгъл. Обадих се на поддръжката и те ми дадоха опция за замяна или отстъпка. Избрах замяната и новата доставка дойде за 48 часа. Екипът беше коректен, но първоначалният дефект е сериозен проблем за такъв скъп продукт. +Бърза логистика и гъвкавост при замяна -Пораден товар с дефекти
{"category":"mixed"} synthetic
-
Търговецът ми помогна да намеря специфичен модел филтър, който нямаше в големите вериги. Оказа се, че го имат в склад и го изпратиха на следващия ден. Комunikацията по имейл беше бърза и ясна. Стока оригинална, фактура издадена веднага. Много доволна съм от обслужването.
{"category":"compliment"} synthetic
-
Уебсайтът е удобен за навигация, но смятам, че трябва да включите опция за филтриране по наличност в реално време, за да не се губи време.
{"category":"suggestion"} synthetic
-
Имайте предвид, че много от клиентите използват мобилни телефони. Страницата ви се зарежда бавно на 4G мрежа, което води до изоставяне на количката. Сократете тежестта на изображенията за по-добра конверсия.
{"category":"suggestion"} synthetic