Store review triage (BG) v2
completed GPU worker offlineSort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.
Pipeline
- ✓ Eval set generated and frozen
- ✓ Baseline evaluation (base model)
- ✓ Training data, iteration 1
- ✓ Human review of samples
- ✓ LoRA training, iteration 1
- ✓ Evaluation, iteration 1
- ✓ Failure analysis and stop rules, iteration 1
- ✓ Serve best adapter
Baseline vs iterations
| Model | Accuracy | Macro-F1 | JSON validity | Exact match |
|---|---|---|---|---|
| Baseline (base model) | 94.0% | 94.0% | 100.0% | 94.0% |
| Iteration 1 served | 95.8% | 95.8% | 100.0% | 95.8% |
Target: macro-f1 at least 95%. Stopped: target met (0.958 >= 0.950).
Own tickets
533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.
40% of the uploaded tickets were set aside for training by the split given in the upload: 348 went into a training file, 533 were kept for evaluation. 1 training tickets were left out because they repeated an evaluation ticket or shared a word 8-gram with one. The two parts never overlap.
A follow-up run trained on the training part: Store review triage (BG) v2 + own tickets.
| Model | Accuracy | Macro-F1 | category |
|---|---|---|---|
| Base model | 73.2% | 60.8% | 73.2% |
| Served adapter (iteration 1) | 83.3% | 70.0% | 83.3% |
Accuracy is on the primary field; the field columns are the accuracy of each field on its own.
Training loss
Leakage guard and frozen eval set
- Eval items
- 215 (200 synthetic + 15 seed)
- Frozen at
- 2026-10-15 10:06:57 UTC
- Blind label check
- 10 of 273 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
- Eval SHA-256
- 4c96e45bb37fe2f4f948fd8cc1e8d6533ea147dbbf513b1e32ac575671696a21
| Train set | Candidates | Dropped as near-copies of eval | Drop rate | Dropped by label check |
|---|---|---|---|---|
| Iteration 1 | 1363 | 8 | 0.6% | 68 |
Per-class results, baseline vs iteration 1
| Class | Support | Base P | Base R | Base F1 | P | R | F1 | F1 vs base |
|---|---|---|---|---|---|---|---|---|
| compliment | 54 | 100% | 94% | 97% | 100% | 100% | 100% | +2.9 pts |
| complaint | 54 | 95% | 96% | 95% | 98% | 94% | 96% | +0.8 pts |
| mixed | 54 | 96% | 87% | 91% | 94% | 91% | 92% | +1.2 pts |
| suggestion | 53 | 87% | 98% | 92% | 91% | 98% | 95% | +2.5 pts |
Confusion matrix (Iteration 1, rows = expected, columns = predicted)
| compliment | complaint | mixed | suggestion | __invalid_... | |
|---|---|---|---|---|---|
| compliment | 54 | 0 | 0 | 0 | 0 |
| complaint | 0 | 51 | 3 | 0 | 0 |
| mixed | 0 | 0 | 49 | 5 | 0 |
| suggestion | 0 | 1 | 0 | 52 | 0 |
| __invalid__ | 0 | 0 | 0 | 0 | 0 |
Decisions log
The model was not consulted: the stop rules ended the loop.
Dataset preview, 10 eval items and 10 training items (iteration 1)
Eval (frozen, used for all numbers above)
-
Магазинът е удобен за поръчки, интерфейсът е лесен за употреба. Но при последния ми опит имаше проблем с плащането - системата не пропускаше поръчката, въпреки че картата ми работеше. Трябваше да се обадя на поддръжка, за да я активират ръчно.
{"category":"mixed"} synthetic
-
Останах доволен от качеството на стоките. Купих си лаптоп и всичко е ново и оригинално. Доставката беше точно в уречения срок. Единственият минус е, че телефонът им за поддръжка е зает често, но пак така, всичко е професионално. Добър избор.
{"category":"compliment"} synthetic
-
Харесва ми, че има много промоции. Единственото което искам да добавите е филтър за цена в каталога, защото сега трябва да прелиствам много страници. Освен това всичко е наред.
{"category":"suggestion"} synthetic
-
Цената на сайта е 99 лв, а при плащането се оказва 120 лв заради 'административни такси'. Това е скрито такси и не е честно. Няма как да платя повече от обявеното.
{"category":"complaint"} synthetic
-
Цената на сайта е 45 лв, а при поръчката се оказа 52 лв. Никъде не пише за допълнителни такси. Трябва да се оправят цените, за да не лъжат клиентите.
{"category":"complaint"} synthetic
-
Обслужването в магазина беше професионално и приятелско. Момчетата ми помогнаха да избера модел. Но после се оказа, че таксата за куриер е с 10 лв. по-висока от тази, която показваше сайта при плащането. Доста обидно.
{"category":"mixed"} synthetic
-
Страницата на сайта постоянно се зарежда бавно и често пада. Исках да поръчам калъф, но не успях заради грешките. Много нервиращо.
{"category":"complaint"} synthetic
-
Много бърза доставка, за 2 дни стигна до Пловдив. Страхотно обслужване, отговориха ми веднага по чата. Само малко скъпа пратката, но си струва за спокойствието.
{"category":"compliment"} synthetic
-
Магазина е наред, стоките са добри. Само че не виждам опция за проследяване на поръчката след като я платя. Бих искал да имате такъв линк, за да знам кога точно идва куриера.
{"category":"suggestion"} synthetic
-
По телефона ми обясниха всичко с усмивка, макар че питах глупави въпроси за размерите. Страхотни са. Поръчката ми беше готова още същия ден. Браво на екипа.
{"category":"compliment"} synthetic
Training (synthetic)
-
Направих поръчка за пералня, но след две седмици получих съобщение, че стоката е изчезнала. Обадих се два пъти, но нямат кой да се обади. Разочароващо за толкова голяма фирма.
{"category":"complaint"} synthetic
-
Всички продукти за красота, които поръчах, бяха перфектни и с хубаво опаковани. Единственият момент, който може да се подобри, е това да имате повече видеа от реални потребители с различни типове кожа, а не само студийни снимки. Мисля, че това би помогнало на хората да избират по-уверено и би увеличило доверието към магазина.
{"category":"suggestion"} synthetic
-
Опитвах се да направя връщане по 26-дневното право, но служителят по телефона беше груб и ми каза, че "не е нашата работа" да проверявам етикетите. Който не е намерил вратичката за връщане, трябва сам да я търси в цялостния договор. Това е нахалство. Аз платих предварително за пратка, която не харесах. Изисквам пълно възстановяване на сумата до края на седмицата, в противен случай ще подадох жалба до Агенция за потребители.
{"category":"complaint"} synthetic
-
Имам редовна поръчка за кафе на зърна от тук. Винаги става въпрос за свежестта на зърната. Този месец получих партията малко по-рано от обичайното, което е чудесно. Пакетирането е хигиенично и херметично. Цените са стабилни, без неочаквани скокове. Доставката в Бургас е надеждна. Нямам какво да оплача. Продължавам да купувам от тях, защото знам какво да очаквам.
{"category":"compliment"} synthetic
-
Доставиха ми пратката навреме и опаковката беше много добра, без нито една драскотина по електрониката. Но ценообразността е наистина странна – плащам доставка от 7 лева за стока над 200 лева, което не ми се струва логично в сравнение с другите магазини. Самият продукт е отличен, но тази скрита такса или просто високата цена за доставка ми оставя горчиво впечатление.
{"category":"mixed"} synthetic
-
Впечатлен съм от асортимента с електрически уреди – имаше точно модела, който търсех, който вече беше изчерпан в големите вериги. Цената също беше по-ниска с 15 лева. За съжаление, при доставка пратката беше силно набраздена и кутията на уредата имаше дупка в ъгъла. Уреда се оказа цял на вид, но след две седмици започна да изхвърля странен шум при въртене на висока скорост. Дори и да се окаже, че е само прах, фактът, че пратката е била третирана грубо по пътя и че има съмнения за дефект, прави опита несигурен. Бих купил пак, но с голямо безпокойство.
{"category":"mixed"} synthetic
-
Купих си комплект прибори за кухня. Материалът е некачествен – ножовете имат остриета, които се счупват след две седмици, и дръжките се люшкат. Това е разочарование. Въпреки това, персонала по телефон беше изключително търпелив и обясни детайлно политиката за връщане на стоки. Дори въпреки лошото качество, услугата по клиентите е на висота. Бих искал да има по-добре описани спецификации за металите, за да може клиентът да знае какво купува, преди да го разпакова.
{"category":"mixed"} synthetic
-
За пореден път поръчах от този магазин и отново съм доволна. Продуктите са оригинални и с ясна гаранция. Сайтът се зарежда бързо, а платежните методи са достатъчно разнообразни. Може би каталогът не е толкова голям като при гигантите, но това което предлагат е качествено. Нямам никакви оплаквания от досегашните ми сделки.
{"category":"compliment"} synthetic
-
Купих си нов комплект чинии от стъклокерамика. Казвам се Георги и поръчвах за първи път. Не очаквах такова ниво на опаковка – всичко беше здраво и без нито една счупена парче. Цената е нормална за качеството, въпреки че доставка до София ми се струва малко скъпа спрямо другите магазини, но стойността на стоката е налице. Препоръчвам!
{"category":"compliment"} synthetic
-
Използвам сайта редовно за канцеларски материали. Цените са конкурентни и продуктите обикновено са налични. Имам едно наблюдение: след като направя поръчка, не получавам никаква нотификация, когато куриерът е тръгнал по пътя към града ми. Чак когато ме обадят, разбрах. Моля ви, да въведете push уведомления или SMS статуси в реално време, за да знаем кога точно да сме вкъщи. Иначе – супер избор.
{"category":"suggestion"} synthetic