Store review triage (BG) v2 + own tickets
completed GPU worker offlineSort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.
Pipeline
- ✓ Eval set generated and frozen
- ✓ Baseline evaluation (base model)
- ✓ Training data, iteration 1
- ✓ Human review of samples
- ✓ LoRA training, iteration 1
- ✓ Evaluation, iteration 1
- ✓ Failure analysis and stop rules, iteration 1
- ✓ Serve best adapter
Baseline vs iterations
| Model | Accuracy | Macro-F1 | JSON validity | Exact match |
|---|---|---|---|---|
| Baseline (base model) | 90.2% | 90.3% | 100.0% | 90.2% |
| Iteration 1 served | 97.7% | 97.7% | 100.0% | 97.7% |
Target: macro-f1 at least 95%. Stopped: target met (0.977 >= 0.950).
Own tickets
533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.
Training included 348 own tickets of run Store review triage (BG) v2.
| Model | Accuracy | Macro-F1 | category |
|---|---|---|---|
| Base model | 73.7% | 61.4% | 73.7% |
| Served adapter (iteration 1) | 82.6% | 69.9% | 82.6% |
Accuracy is on the primary field; the field columns are the accuracy of each field on its own.
Training loss
Leakage guard and frozen eval set
- Eval items
- 215 (200 synthetic + 15 seed)
- Frozen at
- 2026-10-15 10:34:04 UTC
- Blind label check
- 15 of 276 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
- Eval SHA-256
- 77abc3cabb1c3ec342873a92cff95bbcd83b05371cccc58ee4f11e531913372d
| Train set | Candidates | Dropped as near-copies of eval | Drop rate | Dropped by label check |
|---|---|---|---|---|
| Iteration 1 | 1367 | 19 | 1.4% | 73 |
Per-class results, baseline vs iteration 1
| Class | Support | Base P | Base R | Base F1 | P | R | F1 | F1 vs base |
|---|---|---|---|---|---|---|---|---|
| compliment | 54 | 100% | 91% | 95% | 100% | 100% | 100% | +4.8 pts |
| complaint | 54 | 88% | 93% | 90% | 96% | 98% | 97% | +7.2 pts |
| mixed | 54 | 98% | 80% | 88% | 98% | 94% | 96% | +8.5 pts |
| suggestion | 53 | 80% | 98% | 88% | 96% | 98% | 97% | +9.1 pts |
Confusion matrix (Iteration 1, rows = expected, columns = predicted)
| compliment | complaint | mixed | suggestion | __invalid_... | |
|---|---|---|---|---|---|
| compliment | 54 | 0 | 0 | 0 | 0 |
| complaint | 0 | 53 | 1 | 0 | 0 |
| mixed | 0 | 1 | 51 | 2 | 0 |
| suggestion | 0 | 1 | 0 | 52 | 0 |
| __invalid__ | 0 | 0 | 0 | 0 | 0 |
Decisions log
The model was not consulted: the stop rules ended the loop.
Dataset preview, 10 eval items and 10 training items (iteration 1)
Eval (frozen, used for all numbers above)
-
Втора поръчка от този магазин. Винаги са коректни. Този път имаше малка задръжка в доставката, но ме информираха навреме. Батерията на телефона е издръжлива. Благодаря за бързия отговор на имейла.
{"category":"compliment"} synthetic
-
Хубав избор от книги. Платих онлайн и пристигнаха на следващия ден. Цените са адекватни. Единственият минус е че няма опция за плащане с касов апарат в офисите им, но за интернет магазин е отлично. Ще се възползвам пак.
{"category":"compliment"} synthetic
-
Всичко супер. Поръчах слушалки вчера и днес вече ги имах. Опаковката е здрава и няма никакви повреди. Бързи сте, така че ще поръчвам пак.
{"category":"compliment"} synthetic
-
Продуктите са качествени и пакетирането е много добро, нищо не се е счупило по пътя. За съжаление, фактурата дойде с 3 дни закъснение и беше с грешен ЕИК на фирмата ми, което ми създаде главоболие за счетоводството. Дано да не се повтори.
{"category":"mixed"} synthetic
-
Доволен съм от качеството на стоките. Бих предпочел да имате и опция за доставка до офис на Еконт до 19:00, а не само до 17:00, за да е по-удобно за работащи хора.
{"category":"suggestion"} synthetic
-
Доставката беше бърза, но ми трябва повече информация за гаранцията на сайта. Ако пишете изрично колко трае и как се осъществява, ще е по-ясно.
{"category":"suggestion"} synthetic
-
Доставката беше бърза, дойде на следващия ден. Но ми се обадиха за по-късна дата без да ме уведомят предварително. Обслужването беше коректно, но липсата на комуникация е проблем.
{"category":"mixed"} synthetic
-
Магазина е ок, поръчката дойде бързо. Но би било супер да имате по-детайлни описания на размерите, защото винаги се сбърквам с дрехите. Останалото е наред.
{"category":"suggestion"} synthetic
-
Обслужването беше коректно, но ми се струва че складът не се обновява в реално време. Поръчах стока, която изглеждаше налична, а после ми казаха че я нямат. Моля, актуализирайте наличностите по-често.
{"category":"suggestion"} synthetic
-
На сайта пише, че има наличност на този модел монитор, но когато стигна до касата, се оказва че цената е с 200 лева по-висока от тази на страницата. Какво е това? Скрита такса? Не поръчах нищо, но това е измама. Ще пазарувам от другаде.
{"category":"complaint"} synthetic
Training (synthetic)
-
Асортиментът от книги е богат, а цените са честни. Единственото, което ми пречи, липсата на възможност за четене на откъси преди покупка. Ако добавите PDF превю или поне по-задължителни рецензии от други потребители, бих закупил повече заглавия. В момента е трудно да се ориентираш без да разбереш дали книгата ще ти подхожда.
{"category":"suggestion"} synthetic
-
За пръв път поръчах от тук и останах приятно изненадан. Исках да благодаря на екипа за бързата реакция. Поръчката ми с безжичните слушалки Xiaomi Redmi AirDots 2 стигна за два дни, пакетирана много грижливо, нито една кутия не е деформирана. Единственият малък минус е, че цената за доставка е малко по-висока от други конкуренти, но за качеството на обслужването и скоростта е напълно разбираемо и справедливо. Ще се обръщам отново с удоволствие.
{"category":"compliment"} synthetic
-
Забързана поръчка за подарък – кожен тиксо от марка Gucci. Защо ли? Защото го получи на следващия ден! Опаковката беше луксозна и много подходяща за подарък. Целта е постигната и съм много доволна от процеса. Нямам забележки.
{"category":"compliment"} synthetic
-
Никога повече няма да поръчвам от тук. Поръчах си телефон, но дойде напълно различен модел. Обадих се в службата им, а операторката ми каза, че е грешка на склада и да чакам размената. След 5 дни нищо не е станало. Толкова безотговорност!
{"category":"complaint"} synthetic
-
Най-сетне намерих мястото, където продават оригинални части за старите ми колхи. Поръчах си заден бреч за 1985-а година. Цената беше честна, а доставката до Варна отне само два работни дни. Пакетът беше тегък, но здрава. Частта съвпадна перфектно с описанието. Няма как да се оплакаш от качеството. Бих искал само да имаха повече информация за съвместимостта, но екипът ми помогна по чата. Благодаря за услугата!
{"category":"compliment"} synthetic
-
Купих си телефон от сайта. Когато го отворих, екранът беше пукнат. Оказа се, че ми са изпратили повреден стока. Обадих се за връщане, но оттам ми отговарят с думички и не ми дават връзка за куриер. Толкова ми е гадно от тяхното обслужване, че нямам търпение да оставя негативен коментар навсякъде. Струва ми се, че не заслужават доверието на клиентите.
{"category":"complaint"} synthetic
-
Моят опит с този онлайн магазин е изцяло позитивен. Поръчах професионална видео камера за събитията, които снимам. Качеството на изображението е супер, а самото устройство е леко и удобно. Поръчката беше обработена същия ден. Екипът за поддръжка отговори бързо на моя въпрос за гарантията. Цените са честни и няма скрити такси. Сигурен съм, че ще поръчвам от тук и в бъдеще.
{"category":"compliment"} synthetic
-
Поръчах нова чифт зимни ботуши за момичето ми. Бяха точно като на снимките и доставката до София отне само два дни. Единственият минус е, че опаковката беше малко разбита, но вътре продуктите бяха перфектни. Препоръчвам ги за всеки, който търси бързи доставки.
{"category":"compliment"} synthetic
-
За поръчка от 80 лв. добавиха си 9.90 за доставка, което не беше явизирвано в кошницата до последния стъп. Когато оплаках това, подкрепата ми отговори с готов текст, че „цените включват данък и логистика“. Това е скрит такса. Не се възползвам от промокода, който пишеше за безплатна доставка над 50 лв. Смятам това за измама с дребни суми.
{"category":"complaint"} synthetic
-
За пореден път бях доволен от асортимента на електроника. Цените са конкурентни, а поддръжката е мила. Моето предложение е да разглеждате въведението на по-различни начини за плащане, като например директно в браншови магазини на части, за да улесните клиентите, които предпочитат такъв вид сума.
{"category":"suggestion"} synthetic