Store review triage (BG) + own tickets

completed GPU worker offline

Sort customer reviews of a Bulgarian online store by what the shop should do with them: thank the customer, fix a problem, look at both, or consider an idea.

Playground Own tickets Public report

Pipeline

✓ Eval set generated and frozen
✓ Baseline evaluation (base model)
✓ Training data, iteration 1
✓ Human review of samples
✓ LoRA training, iteration 1
✓ Evaluation, iteration 1
✓ Failure analysis and stop rules, iteration 1
✓ Serve best adapter

Baseline vs iterations

Model	Accuracy	Macro-F1	JSON validity	Exact match
Baseline (base model)	90.2%	90.3%	100.0%	90.2%
Iteration 1 served	97.7%	97.7%	100.0%	97.7%

Target: macro-f1 at least 95%. Stopped: target met (0.977 >= 0.950).

Own tickets

182 of the shop's own tickets, masked and frozen as a separate slice. They came with labels made by people: the dataset authors Georgieva-Trifonova, Stefanova and Kalchev (Harvard Dataverse, doi:10.7910/DVN/TXIK9P, CC BY 4.0), test split of the MTEB release. Neither the judge nor Chirak changed them. The tickets themselves are private to the run owner.

Training included 700 own tickets of run Store review triage (BG).

Model	Accuracy	Macro-F1	category
Base model	75.8%	62.3%	75.8%
Served adapter (iteration 1)	83.5%	71.5%	83.5%

Accuracy is on the primary field; the field columns are the accuracy of each field on its own.

Training loss

Leakage guard and frozen eval set

Eval items: 215 (200 synthetic + 15 seed)
Frozen at: 2026-10-15 08:30:47 UTC
Blind label check: 6 of 276 eval candidates dropped because the generator, labelling the text blind with the student's prompt, disagreed with the target label. The kept items are the unambiguous ones, so this eval is cleaner and easier than an unfiltered one.
Eval SHA-256: b40fb79db38f286689fc772b11e98ac1c3d2645bc0ad27be463a331cb8d45198

Train set	Candidates	Dropped as near-copies of eval	Drop rate	Dropped by label check
Iteration 1	1372	13	1.0%	22

Per-class results, baseline vs iteration 1

Class	Support	Base P	Base R	Base F1	P	R	F1	F1 vs base
compliment	54	100%	78%	88%	98%	98%	98%	+10.7 pts
complaint	54	95%	98%	96%	98%	98%	98%	+1.8 pts
mixed	54	96%	87%	91%	96%	96%	96%	+5.0 pts
suggestion	53	76%	98%	86%	98%	98%	98%	+12.2 pts

Confusion matrix (Iteration 1, rows = expected, columns = predicted)

	compliment	complaint	mixed	suggestion
compliment	53	0	1	0
complaint	0	53	1	0
mixed	1	0	52	1
suggestion	0	1	0	52
__invalid__	0	0	0	0

Decisions log

After iteration 1 Stop rules: stop, target met (0.977 >= 0.950)

The model was not consulted: the stop rules ended the loop.

Dataset preview, 10 eval items and 10 training items (iteration 1)

Eval (frozen, used for all numbers above)

Цените са супер, намерих го много по-евтино отколкото в големите вериги. Единственото лошо е, че имейлът за потвърждение не дойде веднага и трябваше да пишам на чат, за да разбера дали е платено.

{"category":"mixed"} synthetic
Доставката дойде след 5 дни вместо 1-2. Картонът беше мокър и притиснат. Екранът на телефона е надраскан. Няма никакво съжаление от служителя, просто ми подаде пакета и си тръгна. Не препоръчвам.

{"category":"complaint"} synthetic
Интерфейсът на сайта е лесен за навигация и намерих бързо това, което търсех. За съжаление при плащането с карта системата грешеше три пъти, преди да мине плащането. В крайна сметка поръчката мина, но опитът беше стресиращ.

{"category":"mixed"} synthetic
Накрая поръчах от тях и останах приятно изненадан. Беше налично, което рядко се случва. Доставката дойде с Еконт и беше бърза. Служителите са коректни. Ще се върна за следващата покупка.

{"category":"compliment"} synthetic
Искам да предложите опция за плащане с карта в магазина, а не само в брой. Много е неудобно да се търси паричка за малки суми.

{"category":"suggestion"} synthetic
Цената в кошика беше 150 лв, а при плащането се оказа 180 лв. Няма такъв брой в описанието на стоката. Обидно е.

{"category":"complaint"} synthetic
Много би било удобно ако имате опция за плащане с карта на място, защото не всички имаме PayPal. Също така, ако може да сложите по-големи снимки на продуктите, би помогнало да се избяга на разминаванията.

{"category":"suggestion"} synthetic
Моля ви да обновиете наличността на сайта по-често. Купих нещо, което беше написано 'в наличност', а после ми се обадиха, че го нямат. Ако синхронизирате системата, ще избегнете такива неприятности.

{"category":"suggestion"} synthetic
Бърза доставка и чиста опаковка. Но телефонът, който поръчах, имаше малка драскотина по екрана. Обръщението им беше любезно и ми предложиха замяна или отстъпка. В крайна сметка съм доволна, но първо впечатление беше лошо.

{"category":"mixed"} synthetic
Аз бих предложил да имате и опция за доставка до офис на Еконт, а не само до врата. Много хора предпочитат да вземат поръчката си когато им е удобно, вместо да чакат определен час у дома. Това би увеличило броя на поръчките.

{"category":"suggestion"} synthetic

Training (synthetic)

Цените на кавата ми се струват изгодни и поръчката стигна точно в срок. Съжалявам обаче, че пакетът беше отворен при доставка и един пакет беше намокрил. Екипът на ЕКСПРЕС 24 реагира бързо за замяната, но първоначалната грешка в опаковането ме разстрадва.

{"category":"mixed"} synthetic
Месец чакам на реставриране на часовник. Обадих се три пъти, всяка ми дават различна дата. Днес ми казаха, че "чакаме части от Германия" без да ми дадат номер за проследяване. Парите съм платил предварително на 50%. Считайте ги загубени. Няма как да доверите ценна вещ на такива хора.

{"category":"complaint"} synthetic
Поръчах комплект чинии (24 броя) за сватба. Дизайнът на сайта е модерен, а филтрите за търсене работят много добре, което спести време. Плащането по банков път беше безпроблемно. Доставката беше в понеделник, точно в срок. Една от чиниите в комплекта имаше малка трънчеца по ръба, не е съвсем счупена, но е дефектна. Позвъних в офиса и веднага ми изпратиха нова без допълнителни такси или бюрократия. Задържаха си и омазаната чиния, за да я изтеглят куриерът. Общото впечатление е положително заради гъвкавостта им при решаването на проблема, въпреки че контролът на качеството на самите продукти може да бъде по-строг.

{"category":"mixed"} synthetic
Може би е добра идея да пуснете раздел с "Остатъци" или "Втори клас" артикули с по-ниска цена, тъй като често имаме леко повредени опаковки, които иначе просто изхвърляте, а има много клиенти, които биха се радвали на поевтина алтернатива.

{"category":"suggestion"} synthetic
Отличен магазин за детски играчки. Купих лектор за книги за 3-годишната ми дъщеря и тя е влюбена. Опаковката беше внимателна, без нито една черупка да е счупена. Цената беше такава, каквато видях в количката, без изненади при доставка. Единственото нещо, което ми липсва, е по-разнообразен избор на захранвания, но за играта си е перфектно. Благодаря за удоволствието!

{"category":"compliment"} synthetic
Купих си ароматизатор за дома. Миризмата е невероятна, точно като в магазина. Стъклото е дебело и качествено. Единственият проблем е капачката. Тя не се затваря плътно и вече вторият флакон, който ми изпратиха, също има малка теч, макар и минимална. Трябва да го държа обърнат нагоре, за да не капка. Не знам дали да го връщам, защото миризмата е идеална, но практичността е наранила удобството. Хубаво: аромат, дизайн. Лошо: проблем с запечатването.

{"category":"mixed"} synthetic
Доставката бе кошмар. Поръчката от 12 май трябваше да дойде до 14-ти, но я получих едва на 19-ти. При това кутията е деформирана, а вътре телефонният чохол е счупен. Когато се свързах с тях, отговориха след 3 дни с готово решение 'няма гаранция', макар да е нов продукт. Отношението беше напълно безскрупулно.

{"category":"complaint"} synthetic
Спокойно и безпроблемно пазаруване. Писна ми от бавните доставки на другите сайтове, затова пробвах тук. Поръчка на книги – три тома от поредицата на Станимир Стоянов. Пратката беше на адрес в 10 минути след като получих уведомлението. Увереният и тактичен тон на операторите по телефона също спечели доверието ми. Ако искате да избегнете главоболието с връщания и преговори, тук е мястото. Доволен съм на 100%.

{"category":"compliment"} synthetic
Отлични цени на билките и сушените плодове. Поръчах голяма количка (над 10 кг) и всичко стигна цяло и свежо. Продажният съветник ме позвъни, за да потвърди адреса, което вдъхна доверие. Единствено бих предпочела да имате повече сортове чай, но за основната гама съм много доволна. Препоръчвам на всички в Пловдив.

{"category":"compliment"} synthetic
Сайтът изглежда модерно, но в реалността не работят. Платих поръчка с карта за 145 лв. за пералня машина. Три дни по-късно получих писмо, че цената е объркана и реалната сума е 170 лв. Трябва да доплатя разликата, за да ме изпратят стоката. Това е скрито такси и липса на прозрачност. Нищо не е споменато в условията за продажба. Очаквах коректност, а не да се притеснявам дали не ми налагат допълнителни такса зад гърба ми. Задължително проверявайте условията, преди да поръчвате, но лично аз няма да се връщам.

{"category":"complaint"} synthetic

Adapters

Iteration 1 served Download adapter.tar.gz