Store review triage (BG) v2 + Jev-cleaned dev

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Playground Own tickets Public report

Pipeline

✓ Eval set generated and frozen
✓ Baseline evaluation (base model)
✓ Training data, iteration 1
✓ Human review of samples
✓ LoRA training, iteration 1
✓ Evaluation, iteration 1
✓ Failure analysis and stop rules, iteration 1
✓ Serve best adapter

Baseline vs iterations

Model	Accuracy	Macro-F1	JSON validity	Exact match
Baseline (base model)	88.4%	88.3%	100.0%	88.4%
Iteration 1 served	97.2%	97.2%	100.0%	97.2%

Target: macro-f1 at least 95%. Stopped: target met (0.972 >= 0.950).

Own tickets

533 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0): the 182 test reviews of the MTEB release plus the 351 reviews of the check half of its train split. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

Model	Accuracy	Macro-F1	category
Base model	73.2%	61.1%	73.2%
Served adapter (iteration 1)	84.6%	73.0%	84.6%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items: 215 (200 synthetic + 15 seed)
Frozen at: 2026-10-15 10:25:42 UTC
Blind label check: 12 of 275 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256: 9cb40981c2d4e53fcfad5b2228968cdd80a4a852db4a0cf24b59c8121020df5d

Train set	Candidates	Dropped as near-copies of eval	Drop rate	Dropped by label check
Iteration 1	1367	15	1.1%	76

Per-class results, baseline vs iteration 1

Class	Support	Base P	Base R	Base F1	P	R	F1	F1 vs base
compliment	54	100%	89%	94%	100%	100%	100%	+5.9 pts
complaint	54	85%	93%	89%	96%	96%	96%	+7.8 pts
mixed	54	91%	74%	82%	96%	94%	95%	+13.7 pts
suggestion	53	81%	98%	89%	96%	98%	97%	+8.3 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

	compliment	complaint	mixed	suggestion
compliment	54	0	0	0
complaint	0	52	2	0
mixed	0	1	51	2
suggestion	0	1	0	52
__invalid__	0	0	0	0

Decisions log

After iteration 1 Stop rules: stop, target met (0.972 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

Харесва ми, че има много промоции. Единственото което искам да добавите е филтър за цена в каталога, защото сега трябва да преглеждам всичко наред, за да намеря евтиното.

{"category":"suggestion"} synthetic
Служителите бяха любезни и коректни. Обадиха се на следващия ден. Всичко това е о. к. Само дето стоката ще закъснее, но аз разбирам затрудненията около Коледа и Нова Година, така, че заради цената ще чакам : -). Дано проръчката все пак се осъществи :-) Заради цената Мисля, че трабва да се рекламират продукти, които са в наличност или такива, чиято доставка е възможна в рамките на дни.

{"category":"mixed"} seed
Любим сайт. Този сайт е от любимите ми. Ползвам го почти от самото му създаване. Там съм купила много неща и съм се разделила с много вещи, които не ползвам. Идеята му е много добра. Единствено не ми харесва, че вече е прекалено наситен със стоки и е много трудно човек за намери, каквото му трябва. Според мен търсачката му има нужда от сериозни подобрения.

{"category":"suggestion"} seed
Това е втори път като поръчвам от тях и отново съм доволен. Сайтът е лесен за навигация, а и телефонният оператор беше учтив. Стоката отговаря на описанието. Малко ми е скъпа доставката до врата, но за качеството си струва.

{"category":"compliment"} synthetic
Хареса ми изборът на модели и цените са конкурентни. За съжаление, телефонът който поръчах имаше дефект в екрана, но го замениха веднага. Пакетът беше добре опакован.

{"category":"mixed"} synthetic
Всичко супер, бърза доставка и пакетирането е на място. Малко скъпа е доставката но за бързината си струва. Благодаря за професионализма!

{"category":"compliment"} synthetic
Доставката беше в срок и продуктите целосани. Моля ви да добавите възможност за проследяване на пратката директно в профила, вместо да чакаме имейл от куриера. Това би улеснило много клиентите.

{"category":"suggestion"} synthetic
Магазина е ок, поръчката дойде бързо. Но липсва възможност да се следва куриера в реално време. Много би помогнало ако добавите линк към Econt за tracking номера, вместо да чакаме телефонен позвън.

{"category":"suggestion"} synthetic
Всичко беше наред с поръчката ми. Единственото предложение е да изпращате SMS с потвърждение на поръчката веднага след направянето ѝ. Често не ми идва имейл навреме и не съм сигурен дали е приета.

{"category":"suggestion"} synthetic
Купих си слушалки, а на сайта пише "Налично". Когато отидох на Еконт, казаха ми, че стока няма. Обадих се в магазина и ми казват, че е била сгрешка. Искам парите си обратно веднага, защото ми трябват за работа утре. Не ви препоръчвам на никого.

{"category":"complaint"} synthetic

Training (synthetic)

Поръчах си парфюм и доставка с наложен платеж. Пакетът дойде точно в срок и служителката в офисa беше учтива. Не ми хареса обаче, че кутията беше набраздена и видът на подаръка не беше толкова приятен, колкото очаквах за такова количество пари. Самият аромат е перфектен, но опаковката наистина изглеждаше пренебрегната.

{"category":"mixed"} synthetic
Поръчах си бързозарядка за 65W от каталога ви преди седмица. Статусът на поръчката остана „Подготвя се за изпращане“ цели 5 дни, без да имам как да се свържа с поддръжката – телефоните се звънят и никой не отговаря. Когато накрая звънна куриера, не беше моята кутия, а на друг клиент. Имат ли представа как изглежда бизнесът им? Искат да се сменя с нова, но вече съм загубил много време и нерви. Такъв сервис не е нормален.

{"category":"complaint"} synthetic
Купих си нова пералня. Спряха се с моя адрес за 2 дни. Монтърият беше учтив. Малко ми се стори скъпа доставката, но за такъв товар е нормално. Доволен съм.

{"category":"compliment"} synthetic
Поръчах си нова лампа за хола преди три дни. Доставката бе изключително бърза, пратката дойде още същия ден и кутията беше цяла, което беше приятно изненада. Но когато я извадих, забелязах, че кабелът е задраскан на няколко места, а драйверът не е включен, въпреки че пише в описанието. Очаквам отговор от поддръжката днес, но до момента е тихо. Време е да се погрижите за контрол на качеството при опаковката.

{"category":"mixed"} synthetic
За поръчка, направена на 15-ти, все още няма доставка, въпреки че погасих сметката веднага. Обещаният срок беше 3 работни дни. Всеки ден питат и отговарят с клишета "проверяваме". Липсата на прозрачност и бавеното изпълнение са основната причина да се отказа от бъдещи покупки.

{"category":"complaint"} synthetic
Имам опит с няколко онлайн магазина в страната, но този е напред с година. Поръчах резервни части за колата си (BMW E90) и ги получих в срок. Всичко беше точно по спецификацията. Дори имаше допълнителна гаранция, за която не знаех. Единственият детайл е, че съобщението за изпращане дойде малко късно, но самата доставка беше бърза. Ще препоръча на приятелите си.

{"category":"compliment"} synthetic
Поръчах комплект за градина за пролетта. Страницата е лесна за навигиране, а снимките на продуктите са ясно отразени. Имаше малко закъснение в съобщенията за потвърждение (около 2 часа), но после всичко потече гладко. Получих стоката в перфектно състояние. Мога да кажа само хубави думи за обслужването, особено след като имах въпрос по гаранцията на по-късен етап.

{"category":"compliment"} synthetic
Купих си нов комплект чинии от сайта, всичко дойде цяло и красиво, точно както на снимките. Контактирането с поддръжката беше лесно, отговориха ми на имейла за 15 минути. Ако трябва да кажа нещо, може би опаковката беше малко прекалена, но това е дреболия. Препоръчвам ги на всеки, който търси здрав казан или чашки.

{"category":"compliment"} synthetic
Много съм доволна от поръчката на кокошник "Редан" 120x60x120. Стигна точно в обявения ден, опаковано беше много внимателно с двустенен картон и фолио. Едно-две винта липсваха от комплекта, но си ги поръчах допълнително от магазина и ги изпратиха безплатно. Общо взето, всичко е супер.

{"category":"compliment"} synthetic
Онлайн магазинът изглежда модерно и навигацията е лесна. Намерих бързо търсените ми детски дрехи и цените бяха адекватни. Същевременно, процесът на плащане с карта претърпя срив. Две поредни опита не минаха и получих съобщение за грешка, въпреки че средствата имаха. В крайна сметка платих при получаване, но това изгубва доверие. Хубаво е сайта да е бърз, но техническите грешки при плащане са сериозен проблем, който трябва да се реши незабавно, за да не се губят клиенти. + Удобен интерфейс - Проблеми с плащането онлайн

{"category":"mixed"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz