მანქანებზე დაფუძნებული მუშაობა მოდელების ღირებულების შეფასებაზე და სხვადასხვა ალგორითმის ნიველირებაზე აწარმოებს მეტრიკას, როგორიცაა შერჩევა და ანალიზი - მონაცემთა მეცნიერის მუშაობის განუყოფელი ნაწილი.

ამ სტატიაში ჩვენ განვიხილავთ კლასიფიკაციის პრობლემებში სიზუსტის სხვადასხვა კრიტერიუმებს, განვიხილავთ რა არის მნიშვნელოვანი მეტრიკის არჩევისას და რა შეიძლება იყოს არასწორი.

მეტრიკა კლასიფიკაციისთვის

ძირითადი ფუნქციების დემონსტრირება სკლეერნიშემდეგ დააყენეთ მეტრიკა და ჩვენ გავაანალიზებთ ჩვენს მონაცემთა ბაზას სატელეკომუნიკაციო ოპერატორის კლიენტების რაოდენობის მიხედვით, რომლებიც შევხვდით სტატისტიკის პირველ კურსზე.

შეუცვლელად საჭირო ბიბლიოთეკები და მონაცემების მიხედვით

იმპორტი pandas როგორც pd იმპორტი matplotlib.pyplot როგორც ნაკვეთი matplotlib.pylab იმპორტი rc, ნაკვეთი იმპორტი ზღვაზე, როგორც sns ერთად sklearn. sklearn.metrics-დან იმპორტი precision_recall_curve, classification_report from sklearn.model_selection იმპორტი train_test_split df = pd.read_csv("../../data/telecom_churn.csv")

Df.head(5)

მონაცემების გადამუშავება

# ორობითი სვეტების # და მოჩვენებითი კოდირებული პერსონალის რუკების შედგენა (სიმარტივისთვის, უმჯობესია ეს არ გააკეთოთ ხის მოდელებისთვის) d = ("დიახ": 1, "არა": 0) df["საერთაშორისო გეგმა"] = df [" საერთაშორისო გეგმა"].map(d) df["ხმოვანი ფოსტის გეგმა"] = df["ხმოვანი ფოსტის გეგმა"].map(d) df["Churn"] = df["Churn"].astype(" int64" ) le = LabelEncoder() df["State"] = le.fit_transform(df["State"]) ohe = OneHotEncoder(sparse=False) encoded_state = ohe.fit_transform(df["მდგომარეობა"].values.reshape (- 1, 1)) tmp = pd.

სიზუსტე, სიზუსტე და გახსენება

სანამ თავად მეტრიკაზე გადავიდოდეთ, აუცილებელია შემოვიტანოთ მნიშვნელოვანი კონცეფცია ამ მეტრიკის კლასიფიკაციის ტერმინებში აღწერისთვის. დაბნეულობის მატრიცა(შეწყალების მატრიცა).
დავუშვათ, რომ გვაქვს ორი კლასი და ალგორითმი, რომელიც გადასცემს კანის ობიექტის იდენტურობას ერთ-ერთ კლასში, მაშინ კლასიფიკაციის მატრიცა ასე გამოიყურება:

	ჭეშმარიტი პოზიტივი (TP)	ცრუ დადებითი (FP)
	ცრუ უარყოფითი (FN)	ჭეშმარიტი უარყოფითი (TN)

აქ არის მითითება ობიექტზე ალგორითმზე და ობიექტზე კლასის მითითება.
ამრიგად, არსებობს ორი სახის კლასიფიკაცია: ცრუ უარყოფითი (FN) და ცრუ დადებითი (FP).

Navchannya ალგორითმი და უპირატესობების შემდგომი მატრიცა

X = df.drop("Churn", axis=1) y = df["Churn"] # დაყავით ნიმუში მატარებლად და შეამოწმეთ, ყველა მეტრიკა ფასდება ტესტის მონაცემთა ბაზაზე X_train, X_test, y_train, y_test = train_test_split(X , y , stratify=y, test_size=0.33, random_state=42) # დავიწყოთ შემთხვევითი ლოგისტიკური რეგრესიით lr = LogisticRegression(random_state=42) lr.fit(X_train, y_train) # მატრიცის ნორმალიზების ფუნქცია=F, , title=" Confusion matrix", cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ plt.imshow(cm, interpolation="nearest", cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) if normalize: cm = cm.astype("float") / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print("Confusion matrix, without normalization") print(cm) thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape), range(cm.shape)): plt.text(j, i, cm, horizontalalignment="center", color="white" if cm > thresh else "black") plt.tight_layout() plt.ylabel("True label") plt.xlabel("Predicted label") font = {"size" : 15} plt.rc("font", **font) cnf_matrix = confusion_matrix(y_test, lr.predict(X_test)) plt.figure(figsize=(10, 8)) plot_confusion_matrix(cnf_matrix, classes=["Non-churned", "Churned"], title="დაბნეულობის მატრიცა") plt.savefig("conf_matrix.png") plt.show()!}!}

სიზუსტე

ინტუიციურად გონივრული, აშკარა და შესაძლოა შეუსწავლელი მეტრიკა არის სიზუსტე - ალგორითმის ზოგიერთი სწორი პასუხი:

ეს მეტრიკა სასარგებლოა არათანაბარი კლასების მქონე სამუშაოებისთვის და მარტივია პრაქტიკაში ჩვენება.

შესაძლებელია, რომ ჩვენ გვსურს შევაფასოთ რობოტის სპამის ფილტრი. ჩვენ გვაქვს 100 არა-სპამის სია, რომელთაგან 90 ჩვენმა კლასიფიკატორმა სწორად გამოთვალა (True Negative = 90, False Positive = 10) და 10 spam სია, რომელთაგან 5 ჩვენმა კლასიფიკატორმა ასევე სწორად გამოთვალა (True Positive = 5, False Negative = 5).
ტოდის სიზუსტე:

თუმცა, თუ ჩვენ უბრალოდ ვიწინასწარმეტყველებთ ყველა ფოთოლს, როგორც არასპამს, მაშინ უფრო მაღალ სიზუსტეს წავართმევთ:

უფრო მეტიც, ჩვენს მოდელს აბსოლუტურად არ აქვს გადაცემის ძალა, რის გამოც თავდაპირველად გვინდოდა ფოთლების სპამის იდენტიფიცირება. ეს დაგვეხმარება გადავიდეთ ყველა კლასის ძირითადი მეტრიკიდან კლასების რანგების სხვა მაჩვენებლებზე.

სიზუსტე, გახსენება და F-ზომა

რობოტის ეფექტურობის შესაფასებლად, ჩვენ პირდაპირ გავაცნობთ მეტრიკის სიზუსტეს (სიზუსტეს) და გავიხსენებთ (გახსენებას) კანის კლასის ალგორითმში.

სიზუსტე შეიძლება განიმარტოს, როგორც ობიექტების ნაწილი, რომელსაც კლასიფიკატორი უწოდებს დადებითს და, შესაბამისად, ეფექტურად პოზიტიურს, და გახსენება აჩვენებს, დადებითი კლასის ობიექტების რომელმა ნაწილმა იცის ყველა დადებითი კლასის ობიექტიდან ალგორითმი.

სიზუსტის დანერგვა არ გვაძლევს საშუალებას დავწეროთ ყველა ობიექტი ერთ კლასში, ასე რომ, ამ შემთხვევაში ჩვენ აღმოვფხვრათ False Positive-ის მზარდი მნიშვნელობა. Recall აჩვენებს ალგორითმის უნარს დროდადრო ამ კლასის იდენტიფიცირებისა და სიზუსტე აჩვენებს ამ კლასის სხვა კლასებისგან განასხვავების უნარს.

როგორც ადრე ვთქვით, არსებობს ორი ტიპის კლასიფიკაცია: ცრუ დადებითი და ცრუ უარყოფითი. სტატისტიკის მიხედვით, კეთილგანწყობის პირველ ტიპს 1-ლი სახის კეთილგანწყობა ეწოდება, ხოლო მეორეს - მე-2-ის. ჩვენი მთავარი ამოცანაა აბონენტების მოზიდვა, პირველი სახის კეთილგანწყობით ეს იქნება მივიღოთ ლოიალური აბონენტი ვინც მიდის, რადგან ჩვენი ნულოვანი ჰიპოთეზა მდგომარეობს იმაში, რომ არავინ მიდის აბონენტებზე და ჩვენ უარვყოფთ ამ ჰიპოთეზას. . როგორც ჩანს, სხვა სახის წყალობა იქნება აბონენტის „გავლა“, სადაც ის მიდის და ნულოვანი ჰიპოთეზის მიღების წყალობა.

სიზუსტე და გახსენება არ შედის სიზუსტის კატეგორიაში, კლასების კლასიფიკაციის გამო და, შესაბამისად, პასუხისმგებლობა გაუწონასწორებელი შერჩევის გონებაზე.
ხშირად რეალურ პრაქტიკაში აუცილებელია იცოდეთ ოპტიმალური (მენეჯერისთვის) ბალანსი ამ ორ მეტრიკას შორის. კლასიკური კონდახი განკუთვნილია კლიენტების მხარდასაჭერად.
აშკარაა, რომ ვერ ვილაპარაკებთ ყველასკლიენტები, რომლებიც მიდიან მაღაზიებში მხოლოდმაგ. კლიენტების მოზიდვის სტრატეგიისა და რესურსის იდენტიფიცირების შემდეგ, ჩვენ შეგვიძლია შევარჩიოთ საჭირო ზღვრები სიზუსტისა და გახსენების გამოყენებით. მაგალითად, თქვენ შეგიძლიათ ფოკუსირება მოახდინოთ მხოლოდ რამდენიმე მაღალმომგებიან კლიენტზე ან მათზე, ვისაც აქვს მეტი ნდობა ქოლ ცენტრთან რესურსების გაზიარებაში.

გაითვალისწინეთ ალგორითმის ჰიპერპარამეტრების ოპტიმიზაციისას (მაგალითად, საიტის ძიებისას GridSearchCV) მიმდინარეობს ერთი მეტრიკის ტესტირება, რომლის მასშტაბი ჩანს სატესტო ნიმუშში.
სიზუსტისა და გახსენების გაერთიანების რამდენიმე გზა არსებობს ბრწყინვალების კრიტერიუმების გაერთიანებაში. F-measure (zahalom) - ნიშნავს ჰარმონიულ სიზუსტეს და გახსენებას:

ამ შემთხვევაში, მხედველობაში მიიღება სიზუსტის მნიშვნელობა მეტრიკაში, ხოლო საშუალო არის ჰარმონიული (2-ის გამრავლებით, ასე რომ სიზუსტე = 1 და გახსენება = 1 დედა)
F-ზომა აღწევს მაქსიმუმს, როდესაც გამოხმაურება და სიზუსტე უდრის ერთს და ახლოს არის ნულთან, როდესაც ერთ-ერთი არგუმენტი ნულს უახლოვდება.
sklearn-ს აქვს ხელით ფუნქცია _metrics.classification ანგარიშიაბრუნებს შეხსენებას, სიზუსტეს და F- შესვლას თითოეული კლასისთვის, ისევე როგორც თითოეული კლასის ასლების რაოდენობას.

ანგარიში = classification_report(y_test, lr.predict(X_test), target_names=["Non-churned", "Churned"]) print(report)

კლასი	სიზუსტე	გახსენება	f1-ქულა	მხარდაჭერა
არამობრუნებული	0.88	0.97	0.93	941
გაჭედილი	0.60	0.25	0.35	159
საშ./სულ	0.84	0.87	0.84	1100

აქვე უნდა აღინიშნოს, რომ როდესაც რეალურ პრაქტიკაში დომინირებს გაუწონასწორებელ კლასებთან, ხშირად საჭიროა მონაცემთა ნაკრების ინდივიდუალური მოდიფიკაციის ტექნიკის გამოყენება კლასების თანმიმდევრულობის უზრუნველსაყოფად. ბევრია და ჩვენ არ შევჩერდებით, შეგიძლიათ ისწავლოთ რამდენიმე მეთოდი და აირჩიოთ ის, რომელიც შეესაბამება თქვენს ამოცანას.

AUC-ROC და AUC-PR

მეტყველების მონაცემების ალგორითმში გადაქცევისას (ჩვეულებრივ, კლასს კუთვნილების ხარისხი, SVM განყოფილების გვერდით) ორობით ეტიკეტად უნდა აირჩიოთ ნებისმიერი ბარიერი, რომლითაც 0 ხდება 1. ბუნებრივ და ახლო ადამიანებს ეძლევათ ბარიერი. , უდრის 0,5-ს, მაგრამ აღარასოდეს ჩანს ოპტიმალური, მაგალითად, კლასების მოსალოდნელი ბალანსის გათვალისწინებით.

მოდელის მთლიანობაში შეფასების ერთ-ერთი გზა, კონკრეტულ ზღურბლთან მიბმულობის გარეშე, არის AUC-ROC (ან ROC AUC) - ფართობი ( არეა უპატივს C urve) შეწყალების მრუდის ქვეშ ( რმიმღები ოპერანგული Cდამახასიათებელი მრუდი). ეს მრუდი არის ხაზი (0,0)-დან (1,1)-მდე ჭეშმარიტი პოზიტიური სიჩქარის (TPR) და ცრუ დადებითი სიჩქარის (FPR) კოორდინატებში:

TPR ჩვენთვის უკვე ცნობილია, აბსოლუტურად და FPR გვიჩვენებს უარყოფითი კლასის რომელი ნაწილის ობიექტია ალგორითმი არასწორად გადაცემული. იდეალურ შემთხვევაში, თუ კლასიფიკატორი არ აკეთებს გამოთვლებს (FPR = 0, TPR = 1), ავიღოთ მრუდის ქვეშ არსებული ფართობი, რომელიც უდრის იმავე ერთეულს; წინააღმდეგ შემთხვევაში, თუ კლასიფიკატორი ავტომატურად აჩვენებს კლასების სიძლიერეს, AUC-ROC შემცირდება 0.5-მდე, სანამ კლასიფიკატორი ხედავს მხოლოდ TP და FP რაოდენობას.
დიაგრამაზე კანის წერტილი მიუთითებს გარკვეული ბარიერის არჩევაზე. მრუდის ქვეშ მდებარე ფართობი ამ შემთხვევაში აჩვენებს ალგორითმის სიმკვეთრეს (უფრო დიდი არის მოკლე), გარდა ამისა, მნიშვნელოვანია თავად მრუდის ციცაბო - ჩვენ გვინდა გავზარდოთ TPR, მინიმუმამდე მივიყვანოთ FPR, რაც ნიშნავს, რომ ჩვენი მრუდი იდეალურად უნდა გადაკვეთოს ქულა (0,1).

ROC მრუდის გამოსახულების კოდი

Sns.set(font_scale=1.5) sns.set_color_codes("muted") plt.figure(figsize=(10, 8)) fpr, tpr, ზღურბლები = roc_curve(y_test, lr.predict_proba(X_test)[:,1], pos_label=1) lw = 2 plt.plot(fpr, tpr, lw=lw, label="ROC მრუდი") plt.plot(, ) plt.xlim() plt.ylim() plt.xlabel("ცრუ დადებითი მაჩვენებელი ") plt.ylabel("ჭეშმარიტი დადებითი მაჩვენებელი") plt.title("ROC მრუდი") plt.savefig("ROC.png") plt.show()

AUC-ROC კრიტერიუმი მდგრადია გაუწონასწორებელი კლასების მიმართ (სპოილერი: სამწუხაროდ, ყველაფერი ასე მარტივი არ არის) და ის შეიძლება განიმარტოს, როგორც დარწმუნებით, რომ პოზიტიური ობიექტი კლასიფიკატორის მიერ უფრო მაღალი იქნება (რაც ნიშნავს ირონიის უფრო მეტ რაოდენობას). მაგრამ დადებითი), ქვედა vipadkovo obrany უარყოფითი ობიექტი .

მოდით შევხედოთ ამ პრობლემას: 1 მილიონი დოკუმენტიდან უნდა შევარჩიოთ 100 შესაბამისი დოკუმენტი. ჩვენ შევიმუშავეთ ორი ალგორითმი:

• ალგორითმი 1გამოდის 100 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად

• ალგორითმი 2გამოდის 2000 დოკუმენტი, რომელთაგან 90 შესაბამისია. იმგვარად

პირიქით, ყველაფრისთვის ჩვენ ავირჩევთ პირველ ალგორითმს, რომელიც ძალიან ცოტას აჩვენებს ცრუ პოზიტიურს მისი კონკურენტის ბუგრის მიმართ. არ არსებობს განსხვავება ცრუ პოზიტიურ მაჩვენებელსა და ამ ორ ალგორითმს შორის ბოლოს და ბოლოსმცირე - მხოლოდ 0.0019. ეს გამოწვეულია იმით, რომ AUC-ROC თრგუნავს ცრუ პოზიტიურ ნაწილს და არა ჭეშმარიტ ნეგატიურ ნაწილს და ფაქტობრივად, რადგან სხვა (უფრო დიდი) კლასი ჩვენთვის არც თუ ისე მნიშვნელოვანია, მან შეიძლება არ მოგვცეს სრულიად ადეკვატური სურათი. იგივე ალგორითმები.

პოზიციის გამოსწორების მიზნით, მოდით, მთლიანად და ზუსტად დავაბრუნოთ იგი:

• ალგორითმი 1

• ალგორითმი 2

უკვე შესამჩნევია განსხვავება ორ ალგორითმს შორის – ზუსტად 0,855!

სიზუსტე და გახსენება ასევე შეიძლება გამოყენებულ იქნას მრუდის იძულებით, AUC-ROC-ის მსგავსი, მის ქვეშ არსებული ფართობის საპოვნელად.

აქვე შეიძლება აღინიშნოს, რომ მცირე მონაცემთა ნაკრებებზე PR მრუდის ქვეშ არსებული ფართობი შეიძლება იყოს ზედმეტად ოპტიმისტური, ამიტომ იგი გამოითვლება ტრაპეციის მეთოდით, წინააღმდეგ შემთხვევაში საკმარისი მონაცემებია ასეთი მონაცემებისთვის. AUC-ROC-სა და AUC-PR-ს შორის ურთიერთქმედების შესახებ დეტალებისთვის შეგიძლიათ ეწვიოთ აქ.

ლოგისტიკური ზარალი

ხარჯების ლოგისტიკური ფუნქცია ნათლად არის განსაზღვრული, როგორც:

აქ არის ობიექტზე არსებული ალგორითმის შესაბამისობა, ობიექტის კლასის მითითების ეტიკეტი და შერჩევის ზომა.

ხაზოვანი მოდელების შესახებ პოსტის ფარგლებში უკვე დაიწერა ანგარიში ხარჯების ლოგისტიკური ფუნქციის მათემატიკური ინტერპრეტაციის შესახებ.
ეს მეტრიკა იშვიათად ჩნდება ბიზნეს ლიდერებში, მაგრამ საკმაოდ ხშირად კაგლის მენეჯერებში.
ინტუიციურად, თქვენ შეგიძლიათ აღიაროთ ლოგოსის მინიმიზაცია, რომელიც მიზნად ისახავს მაქსიმალურად გაზარდოს სიზუსტე არასწორი გადარიცხვების დაჯარიმების ხარჯზე. თუმცა, უნდა აღინიშნოს, რომ logloss კი აჯარიმებს კლასიფიკატორის არასწორი ტიპის შეყვანისთვის.

მოდით შევხედოთ კონდახს:

Def logloss_crutch(y_true, y_pred, eps=1e-15): return - (y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred)) print("Logloss დაუზუსტებელი კლასიფიკაციისთვის %f " % logloss_crutch(1, 0.5)) >> Logloss არაკვალიფიცირებული კლასიფიკაციისთვის 0.693147 print("Logloss მოქმედი კლასიფიკაციისთვის და ნამდვილი ტიპი %f" % logloss_crutch(1, 0.9)) >> Logloss მოქმედი კლასიფიკაციისთვის რა არის სწორი ხაზი"3 0 1 ლოგოლოსი არასწორი კლასიფიკაციით და არასწორი ტიპით %f" % logloss_crutch(1, 0.1)) >> ლოგოლოსი არასწორი კლასიფიკაციით და არასწორი ტიპით 2.302585

მნიშვნელოვანია, თუ რამდენად მკვეთრად გაიზარდა ლოგოსი არასწორი ტიპისა და არასწორი კლასიფიკაციის დროს!
ისე, ერთი ობიექტის მოკვლის აქტმა შეიძლება გამოიწვიოს არჩევნებში მსხვერპლის რაოდენობის მნიშვნელოვანი ზრდა. ასეთი ობიექტები ხშირად იმალება, ასე რომ არ დაგავიწყდეთ გაფილტვრა და ყურადღებით დათვალიერება.
ყველაფერი თავის ადგილზე დგება, როდესაც თქვენ ხაზავთ ლოგოს გრაფიკს:

ჩანს, რომ რაც უფრო ახლოს არის ნულთან ალგორითმის პასუხი მიწის ჭეშმარიტებასთან = 1, მით უფრო დიდია შემცირების მნიშვნელობა და მით უფრო ციცაბო იზრდება მრუდი.

სავარაუდოდ:

• მრავალკლასიანი კლასიფიკაციის შემთხვევაში აუცილებელია თითოეული კლასის მეტრიკის ყურადღებით დაცვა და გადაწყვეტილების ლოგიკის დაცვა. ზავდანნია, არა მეტრიკული ოპტიმიზაცია
• უთანასწორო კლასების შემთხვევაში აუცილებელია კლასების ბალანსის არჩევა, რათა შეიქმნას მეტრიკა, რომელიც სწორად აჩვენებს კლასიფიკაციის დონეს.
mephistopheies და madrugado მათი დახმარებისთვის ამ სტატიის მომზადებაში.

GoTo-ს საზაფხულო სკოლის შესასვლელი ტესტისთვის დავალების მომზადების პროცესში აღმოვაჩინეთ, რომ რუსულ ენას ჰქონდა პრაქტიკულად ყოველდღიური მკაფიო აღწერა ძირითადი რეიტინგის მეტრიკის შესახებ (დავალება შესრულდა სარეიტინგო დავალების მიმდებარედ - რეკომენდაციის ალგორითმის მოთხოვნით. y). ჩვენ E-Contenta-ში აქტიურად ვიკვლევთ სხვადასხვა რეიტინგის მეტრიკას, ამიტომ გადავწყვიტეთ გამოვასწოროთ ეს უფრო მეტი გაუგებრობა ამ სტატიის დაწერით.

რეიტინგი ყველგან ხდება: ვებ გვერდების დახარისხება მოცემული საძიებო ტერმინის მიხედვით, ახალი ამბების გვერდის პერსონალიზაცია, ვიდეოების, პროდუქტების, მუსიკის რეკომენდაცია... ერთი სიტყვით, თემა აქტუალურია. მოდით, განსაკუთრებული ყურადღება მივაქციოთ მანქანურ სწავლებას, რომელიც გულისხმობს რანჟირების სწავლას. იმისათვის, რომ აირჩიოთ ყველაზე შესაფერისი ალგორითმებისა და მიდგომების ფართო სპექტრიდან, თქვენ უნდა შეაფასოთ მათი მგრძნობელობა ყურადღებით. დამატებითი ინფორმაცია ყველაზე მოწინავე რეიტინგის მეტრიკის შესახებ ხელმისაწვდომია ქვემოთ.

მოკლედ დეპარტამენტისა და რეიტინგის შესახებ

Ranzhuvannya - ნაკრების დახარისხების განყოფილება ელემენტებიმერკუვან იჩ-დან შესაბამისობა. ყველაზე ხშირად შესაბამისობა აბსოლუტურად ყველას ესმის ობიექტი. მაგალითად, ინფორმაციის ძიების ამოცანაში, ობიექტი არის მოთხოვნა, ელემენტები არის ყველა დოკუმენტი (მათ გაგზავნილი) და რელევანტურობა არის დოკუმენტის შესაბამისობა მოთხოვნასთან, სარეკომენდაციო ამოცანაში, ობიექტი არის მომხმარებელი, ელემენტები არის ის, რომ სხვა რეკომენდირებული კონტენტი (პროდუქტები, ვიდეო, მუსიკა) და შესაბამისობა არის ის ხარისხი, რომლითაც მომხმარებელი სწრაფად (იყიდის/მოიწონებს/ნახულობს) ამ კონტენტს.

ფორმალურად, ჩვენ გადავხედავთ N ობიექტს და M ელემენტებს. ობიექტისთვის ელემენტების რანჟირების რობოტული ალგორითმის შედეგია გამოსახულება, რომელიც აძლევს კანის ელემენტს მნიშვნელობას, რომელიც ახასიათებს ელემენტის შესაბამისობის დონეს ობიექტთან (რაც უფრო დიდია მნიშვნელობა, მით უფრო შესაბამისია ობიექტი). ამ შემთხვევაში, მნიშვნელობების სიმრავლე განსაზღვრავს პერმუტაციას ელემენტების ელემენტების სიმრავლეზე (მნიშვნელოვანია, რომ არაპერსონალური ელემენტები დალაგებულია) მათი დახარისხების შედეგად მნიშვნელობების ცვლილებებით.

რეიტინგის სიზუსტის შესაფასებლად აუცილებელია მკაფიო „სტანდარტის“ არსებობა, რათა შედეგები შედარდეს ალგორითმთან. მოდით შევხედოთ სტანდარტული შესაბამისობის ფუნქციას, რომელიც ახასიათებს ელემენტების "შესაბამისად" შესაბამისობას მოცემული ობიექტისთვის (- ელემენტი იდეალურად შეეფერება, - სრულიად შეუსაბამო), ისევე როგორც თავად მის შესაბამის პერმუტაციას (ბოლოს და ბოლოს).

მოცილების ორი ძირითადი მეთოდი არსებობს:
1. ისტორიულ მონაცემებზე დაყრდნობით. მაგალითად, თითოეული კონტენტის რეკომენდაციისთვის შეგიძლიათ მიიღოთ მომხმარებლის ნახვები (მოწონებები, შესყიდვები) და მიანიჭოთ 1 () შესაბამისი ელემენტების ნახვებს, ხოლო 0 რეიტინგებს.
2. ექსპერტიზის შეფასების საფუძველზე. მაგალითად, ძიების ძიებაში, შეგიძლიათ მიიღოთ შემფასებელთა ჯგუფი, რათა ხელით შეაფასონ დოკუმენტების შესაბამისობა მოთხოვნასთან.

Warto აღნიშნავს, რომ თუ არსებობს უკიდურესი მნიშვნელობები: 0 და 1, მაშინ პერმუტაცია არ უნდა განიხილებოდეს და განიხილებოდეს რაიმე შესაბამისი ელემენტების გარეშე, როგორიცაა .

მეტამეტრიკის რეიტინგი- ეს ნიშნავს, რამდენად ამოიღო შესაბამისობის შეფასების ალგორითმმა შესაბამისი პერმუტაცია. მართალიაშესაბამისობის ღირებულებები. მოდით შევხედოთ ძირითად მეტრიკას.

საშუალო საშუალო სიზუსტე

საშუალო საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) არის ერთ-ერთი ყველაზე ხშირად გამოყენებული რეიტინგის მეტრიკა. იმის გასაგებად, თუ როგორ მუშაობს ეს, დავიწყოთ "საფუძვლებით".

შენიშვნა: "*სიზუსტის" მეტრიკა გამოიყენება ორობით ამოცანებში, სადაც ისინი იღებენ მხოლოდ ორ მნიშვნელობას: 0 და 1.

სიზუსტე კ

სიზუსტე K-ზე ( [ელფოსტა დაცულია]) - სიზუსტე K ელემენტებზე - ერთი ობიექტის რანგის ეფექტურობის ძირითადი მეტრიკა. შესაძლებელია, რომ ჩვენმა რეიტინგის ალგორითმმა შეაფასა კანის ელემენტის შესაბამისობა. შუა პირველი ელემენტების არჩევით ყველაზე დიდი ელემენტებით, შეგიძლიათ აირჩიოთ რამდენიმე შესაბამისი. თქვენ ასევე შეგიძლიათ გამოიყენოთ სიზუსტე K-ზე:

პატივისცემა: ვგულისხმობთ ელემენტს, რომელიც მთავრდება პოზიციაში გადაწყობის შედეგად. ასე რომ, - ელემენტი მაქსიმალური მნიშვნელობით, - ელემენტი სხვა მნიშვნელობით და ა.შ.

საშუალო სიზუსტე კ

სიზუსტე K-ზე - მეტრიკის გაგება და განხორციელება მარტივია, მაგრამ არის მნიშვნელოვანი ნაკლი - ის არ ასწორებს ელემენტების წესრიგს "ზედაში". ასე რომ, თუ ათი ელემენტიდან მხოლოდ ერთი გამოვიცნოთ, მაშინ არ აქვს მნიშვნელობა რა გზით მიდის: პირველი, თუ დარჩენილი, რომელი არ უნდა იყოს. თუმცა, აშკარაა, რომ პირველი ვარიანტი ბევრად უკეთესია.

ეს ოდნავ ამცირებს რეიტინგის მეტრიკას საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) უძველესი თანხების მსგავსად [ელფოსტა დაცულია] k ინდექსებისთვის 1-დან K-მდე მხოლოდ შესაბამისი ელემენტებისთვის, გაყოფილი K:

ასე რომ, რადგან სამი ელემენტი იყო აქტუალური, გამოჩნდნენ მხოლოდ ისინი, ვინც ბოლო ადგილზე იყო, მაშინ თუ გამოიცნეს მხოლოდ ის, ვინც პირველ ადგილზე იყო, მაშინ და თუ ყველაფერი გამოიცნო, მაშინ .

ახლა მე [ელფოსტა დაცულია]ჩვენ შეგვიძლია გავუმკლავდეთ მას.

საშუალო საშუალო სიზუსტე კ

საშუალო საშუალო სიზუსტე K-ზე ( [ელფოსტა დაცულია]) - ერთ-ერთი ყველაზე ხშირად გამოყენებული რეიტინგის მეტრიკა. IN [ელფოსტა დაცულია]і [ელფოსტა დაცულია]რეიტინგის სიზუსტე ფასდება მიმდებარე ობიექტისთვის (კორისტუვაჩი, ხუმრობის ძებნა). პრაქტიკაში, ობიექტები ანონიმურია: საქმე გვაქვს ასიათასობით მომხმარებელთან, მილიონობით ხმოვან შეკითხვასთან და ა.შ. იდეა [ელფოსტა დაცულია]იტყუება, რათა ისიამოვნოს [ელფოსტა დაცულია]კანის ობიექტისთვის და საშუალო:

პატივისცემა: იდეა სრულიად ლოგიკურია, რადგან ჩვენ ვვარაუდობთ, რომ ყველა ადამიანი, ვისაც ეს სჭირდება, მაინც საჭიროა და მნიშვნელოვანია. თუ ეს ასე არ არის, მაშინ მარტივი საშუალოს ნაცვლად, შეგიძლიათ ვიკორიზაცია გამრავლებით [ელფოსტა დაცულია]კანის ობიექტი თქვენი „მნიშვნელობის“ ვაგას საფუძველზე.

ნორმალიზებული დისკონტირებული კუმულატიური მოგება

ნორმალიზებული დისკონტირებული კუმულაციური მოგება (nDCG)- რეიტინგის მეტრიკა კიდევ ერთხელ გაფართოვდა. როგორ გამოვვარდი [ელფოსტა დაცულია], მოდით გადავიდეთ საფუძვლებზე.

კუმულაციური მოგება კ

მოდით კიდევ ერთხელ გადავხედოთ ერთ ობიექტს და ყველაზე მნიშვნელოვან ელემენტებს. კუმულაციური მომატება K-ზე ( [ელფოსტა დაცულია]) - ძირითადი რეიტინგის მეტრიკა, რომელიც მარტივი იდეაა: რა არის შესაბამისი ელემენტები ამ ზედა ნაწილში, შემდეგ უფრო მოკლედ:

ამ მეტრიკას აქვს აშკარა ნაკლოვანებები: ის არ არის ნორმალიზებული და არ ასახავს შესაბამისი ელემენტების პოზიციას.

ძვირფასო, რომ ადმინისტრაციაში [ელფოსტა დაცულია], [ელფოსტა დაცულია]თქვენ ასევე შეგიძლიათ გამოიყენოთ მითითების შესაბამისობის არაორობითი მნიშვნელობები.

ფასდაკლებული კუმულატიური მოგება კ

დისკონტირებული კუმულაციური მოგება K-ზე ( [ელფოსტა დაცულია]) - კუმულაციური მომატების მოდიფიკაცია K-ზე, რაც არის ელემენტების სწორი თანმიმდევრობა სიაში ელემენტის შესაბამისობის გამრავლებით მნიშვნელობაზე, რომელიც მსგავსია პოზიციის ნომრის საპირისპირო ლოგარითმისა:

შენიშვნა: რადგან ის იღებს მხოლოდ 0 და 1 მნიშვნელობებს, მაშინ ფორმულა უფრო მარტივი გამოიყურება:

მოადგილე ლოგარითმი, როგორც დისკონტირების ფუნქცია შეიძლება აიხსნას შემდეგი ინტუიციური მოსაზრებებით: ერთი შეხედვით, სიის დასაწყისში პოზიციები გაცილებით ძლიერია, ვიდრე სიის ბოლოს. ასე რომ, ყველა ხმის ძრავში არის შესვენება 1 და 11 პოზიციებს შორის (მხოლოდ რამდენიმე შემთხვევაში ას შემთხვევაში შეგიძლიათ გასცდეთ ხმის ტიპის პირველ მხარეს), ხოლო 101 და 111 პოზიციებს შორის არის სპეციალური. არ აქვს მნიშვნელობა - ცოტა ადამიანი აღწევს მათ. ეს სუბიექტური მნიშვნელობები სასწაულებრივად არის გამოხატული დამატებითი ლოგარითმის გამოყენებით:

დისკონტირებული კუმულაციური მოგება უქმნის პრობლემას შესაბამისი ელემენტების პოზიციასთან დაკავშირებით, მაგრამ კიდევ უფრო ართულებს პრობლემას ნორმალიზაციის სიმრავლით: რადგან ის მერყეობს შორის, მაშინ მნიშვნელობა გროვდება არც თუ ისე მკაფიო გზით. მოგვარებულია სიძლიერის პრობლემა, მოგვარებულია მეტრიკა

ნორმალიზებული დისკონტირებული კუმულაციური მოგება კ

როგორ გამოიცანი სახელი, ნორმალიზებული დისკონტირებული კუმულაციური მოგება K-ზე ( [ელფოსტა დაცულია]) - სხვა არაფერი, როგორც ნორმალიზებული ვერსია [ელფოსტა დაცულია]:

დე - ცე მაქსიმალური (I - იდეალური) მნიშვნელობა. ფრაგმენტები შენახულია, რაც მნიშვნელობას ანიჭებს შემდეგ.

ამ გზით, ელემენტების პოზიცია სიაში მცირდება და მნიშვნელობები იზრდება 0-დან 1-მდე დიაპაზონში.

პატივისცემა: ანალოგიისთვის [ელფოსტა დაცულია]შესაძლებელია ყველა ობიექტზე საშუალოდ შეფასება.

საშუალო საპასუხო წოდება

საშუალო საპასუხო რანგი (MRR)- კიდევ ერთი რეიტინგის მეტრიკა, რომელიც ხშირად განიხილება. იგი მოცემულია ამ ფორმულით:

დე - საპასუხო წოდება ობიექტისთვის - ღირებულება, რომელიც კიდევ უფრო მარტივია თავისი არსით, რაც უფრო ძველია პირველი სწორად გამოცნობილი ელემენტის თირკმლის ჭრილობა.

საშუალო საპასუხო რანგის ცვლილებები დიაპაზონში და ელემენტების პოზიციაში. სამწუხაროა მუშაობა მხოლოდ ერთი ელემენტისთვის - მკაფიოდ გადმოცემული, ნებისმიერ დროს პატივისცემის ჩაქრობის გარეშე.

მეტრიკა, რომელიც დაფუძნებულია რანგის კორელაციაზე

თქვენ ასევე შეგიძლიათ ნახოთ რეიტინგის მეტრიკა, რომელიც ეფუძნება ერთ-ერთ კოეფიციენტს. რანგის კორელაცია. სტატისტიკაში, რანგის კორელაციის კოეფიციენტი არის კორელაციის კოეფიციენტი, რომელიც განსაზღვრავს არა თავად მნიშვნელობებს, არამედ მათ წოდებას (მიმდევრობას). მოდით შევხედოთ ორ ყველაზე ფართო რანგის კორელაციის კოეფიციენტს: სპირმენის და კენდელის კოეფიციენტებს.

კენდელის რანგის კორელაციის კოეფიციენტი

პირველი მათგანია კენდელის კორელაციის კოეფიციენტი, რომელიც ეყრდნობა ჩვენი მომხმარებლების მხარდაჭერას.
(და არასასურველი) პერმუტაციების წყვილი - ელემენტების წყვილი, რომლებსაც პერმუტაციებმა ახალი (განსხვავებული) წესრიგი მისცეს:

სპირმენის წოდების კორელაციის კოეფიციენტი

მეორე არის სპირმენის კორელაციის რანგის კოეფიციენტი, რომელიც რეალურად იგივეა, რაც პირსონის კორელაცია, რანგის მნიშვნელობებზე დაყრდნობით. არსებობს მარტივი ფორმულა, რომელიც პირდაპირ გამოხატავს მის რიგებს:

დე – პირსონის კორელაციის კოეფიციენტი.

რანგის კორელაციაზე დაფუძნებულ მეტრებს შეიძლება უკვე ჰქონდეს ნაკლოვანებები: ისინი არ იძლევა გარანტიას ელემენტების პოზიციაზე (უფრო უარესი [ელფოსტა დაცულია], იმიტომ კორელაცია განიხილება ყველა ელემენტისთვის და არა უმაღლესი რანგის მქონე ელემენტებისთვის). ამიტომ, პრაქტიკულია ვიკორისტი გახდე თუნდაც იშვიათად.

მეტრიკა, რომელიც დაფუძნებულია კასკადის ქცევის მოდელზე

აქამდე არ გვატყუებდა ისინი, ვინც იცის, როგორ აფუჭებს მასზე მინიჭებულ ელემენტებს კორისტუვაჩი (მოგვიანებით გადავხედავთ ობიექტის შემდეგ განშტოებას - კორისტუვაჩს). სინამდვილეში, ჩვენ შექმენით ნაზავი, რომელიც უყურებს კანის ელემენტს დამოუკიდებელისხვა ელემენტების პერსპექტივიდან - ერთგვარი "რეალობა". სინამდვილეში, ელემენტები ყველაზე ხშირად ჩანს წინა მხრიდან, ხოლო ის, რაც წინა ელემენტს ჰგავს, განპირობებულია მისი წინა ელემენტებით კმაყოფილებით. მოდით შევხედოთ მაგალითს: საძიებო სისტემა იყენებს რანგის ალგორითმს, რომელიც დაფუძნებულია რამდენიმე დოკუმენტზე. თუ 1 და 2 პოზიციების დოკუმენტები უკიდურესად აქტუალურია, მაშინ ალბათობა იმისა, რომ კლიენტი ათვალიერებს დოკუმენტს მე-3 პოზიციაზე, მცირეა, რადგან პირველი ორით სრულიად კმაყოფილი დარჩებით.

მომხმარებელთა ქცევის მსგავსი მოდელები, მათთვის მინიჭებული ელემენტების კლასიფიკაცია თანმიმდევრულად შეინიშნება და ელემენტის ხელახალი ხედვის ალბათობა დამოკიდებულია წინას შესაბამისობაზე. კასკადური.

მოსალოდნელია საპასუხო წოდება

მოსალოდნელი საპასუხო წოდება (ERR)- ეფექტურობის მეტრიკის რანჟირების მაგალითი კასკადის მოდელზე დაყრდნობით. იგი მოცემულია ამ ფორმულით:

წოდება ეხება დაცემის თანმიმდევრობას. ამ მეტრიკის ყველაზე მნიშვნელოვანი მეტრიკა მისი სანდოობაა. როდესაც ისინი განვითარდებიან, გამოიყენება კასკადის მოდელი:

დე - დარწმუნებულია, რომ კორისტუვაჩი წოდების ობიექტით დაკმაყოფილდება. ღირებულებები გამოითვლება ღირებულების საფუძველზე. ასე რომ, რადგან პრობლემა გვაქვს, შეგვიძლია შევხედოთ მარტივ ვარიანტს:

რომელიც შეიძლება წაიკითხოთ როგორც: მითითება იმ ელემენტის შესაბამისობაზე, რომელიც ჩამოთვლილია პოზიციაზე დავასრულოთ ბრაუნის თაიგულით

UDC 519.816

S. V. SEMENIKHIN L. A. DENISOVA

ომსკის სახელმწიფო ტექნიკური უნივერსიტეტი

მანქანით იძულების მეთოდი

დაფუძნებულია შეცვლილ გენეტიკურ ალგორითმზე IRCO METRIC-ისთვის

განიხილება დოკუმენტების მიმდინარე რეიტინგი ინფორმაციის ძიების შედეგების გვერდზე და მანქანების რეიტინგის კვება. შემოთავაზებულია მიდგომა რანჟირების ფუნქციის ოპტიმიზაციისთვის, რომელიც დაფუძნებულია iOS სიბრტყის მეტრიკის ვიკორისტიკაზე, შეცვლილი გენეტიკური ალგორითმის საფუძველზე. ჩატარდა ალგორითმების ფრაგმენტაციის შემდგომი გამოკვლევა (ETO^-ის სატესტო კოლექციებზე) და ნაჩვენები იყო მათი ეფექტურობა მანქანაზე დაფუძნებული რეიტინგისთვის.

საკვანძო სიტყვები: ინფორმაციის ძიება, მანქანით შესწავლილი რეიტინგი, შესაბამისობა, ოპტიმიზაცია, გენეტიკური ალგორითმები.

1. შესავალი. დღევანდელ საინფორმაციო და ხმის სისტემებს (IPS) აქვს ოპერაციული სისტემისთვის ხელმისაწვდომი მონაცემების დიდი რაოდენობა, ამიტომ მთავარი ამოცანაა შესაბამისი დოკუმენტების რანჟირება მომხმარებლის ხმის მოთხოვნის საპასუხოდ. IPS-ის განვითარების ამ ეტაპზე, მანქანების დახმარებით (MO) რეიტინგი ყველაზე დიდ ინტერესს იწვევს. სხვა მიდგომებს MR-ის მიმართ, რომელიც დაფუძნებულია ციფრულ მეთოდებზე (ზოკრემა, გრადიენტური მეთოდები) ან ანალიტიკურ მიდგომებზე, აქვს მთელი რიგი ნაკლოვანებები, რომლებიც, ბუნებრივია, დაკავშირებულია ინფორმაციის ძიების ბუნებასთან და შრომატევადი ხარჯებით, აუცილებელი დღეები შესაბამისი დოკუმენტების რანჟირებისთვის.

კვლევის დასაწყისში განხილული იქნა მანქანაზე დაფუძნებული რეიტინგის მიდგომების სია, რომელშიც გამოყენებული იყო გრადიენტული დაღმართის მეთოდი. ამ რობოტებში MO მცირდება ძიების მეტრიკული სიმძლავრის ოპტიმიზაციამდე (MCP), თუმცა გაანალიზებულია მხოლოდ უწყვეტი ფუნქციებით წარმოდგენილი მეტრიკა. ეს გაცვლა ხშირად იწვევს იმ ფაქტს, რომ რეიტინგის ფუნქციის ოპტიმიზაციის შედეგად, რეიტინგის ფუნქცია იღებს ნაკლებ მაღალ ქულებს დიდი რაოდენობით მნიშვნელოვანი მიღებული ინდიკატორებისთვის (DCG, nDCG, Graded Mean Reciprocal Rank და ა.შ.), რომლებიც დისკრეტულია. ფუნქციები. რობოტი დაფუძნებულია საწყის რეიტინგში გენეტიკური ალგორითმების (GA) გამოყენებაზე, რათა მინიმუმამდე დაიყვანოს Huber-ის ხარჯების ფუნქცია სტანდარტული მნიშვნელობების შესაბამისობის ექსპერტული შეფასებების დახმარებით. ML-ისადმი მიდგომა ასევე შემოთავაზებული იყო ინფორმაციის ძიების შესაძლებლობების დისკრეტული მეტრიკის ოპტიმიზაციაზე დაყრდნობით.

2. მანქანური სწავლების რეიტინგის პრობლემის განცხადება. უახლეს საინფორმაციო და საძიებო სისტემებში, რეიტინგის ფუნქცია დაფუძნებული იქნება n მარტივი რანგის ფუნქციაზე (SRF) და შეიძლება დაიწეროს სახით:

de SRF¡ არის მარტივი რანჟირების ფუნქცია დოკუმენტისთვის d და შეყვანის d, WCi არის მარტივი რანგის ფუნქციის კოეფიციენტი, n არის PRF-ების რაოდენობა რეიტინგის სისტემაში.

მანქანების რეიტინგის პროცესში, BTOYA-ს სატესტო კოლექციიდან იქნა მიღებული ხმოვანი დოკუმენტების B და მოთხოვნების ნაკრები. ყველა deO აპლიკაციისთვის იქმნება წყვილი deD კანის დოკუმენტით. თითოეული ასეთი წყვილისთვის, IPS მიუთითებს შესაბამისობის მნიშვნელობაზე, რომელიც გამოიყენება ხმის ტიპის რანჟირებისთვის. რეიტინგის მნიშვნელობის შესაფასებლად, სისტემა მოითხოვს სტანდარტული შესაბამისობის მნიშვნელობებს E, თითოეული დოკუმენტი-შეკითხვის წყვილისთვის ^, e). ამ მეთოდით გამოიყენება ექსპერტული შეფასებები შესაბამისობის შესახებ.

IPS vicoristan-ის კვლევის ჩასატარებლად, რანჟირება ხორციელდება N = 5 მარტივი რანჟირების ფუნქციის საფუძველზე SRFi(WC)l g = 1, N, რომლებიც ადგენენ ვექტორის ოპტიმალურობის კრიტერიუმს:

de WCе (WC) - პარამეტრების ვექტორი, რომელიც იცვლება; (ShS), (YB) - პარამეტრების ფარგლები და ვექტორული კრიტერიუმები თანმიმდევრულია.

გენეტიკური ალგორითმების გამოყენება ML რეიტინგისთვის შესაძლებელს ხდის დისკრეტული სიმძლავრის მეტრიკის მაქსიმიზაციას, როგორიცაა nDCG. საძიებო სისტემაში დოკუმენტების რეიტინგისთვის nDCG მეტრიკა განისაზღვრება ვირუსის მიხედვით:

DCG@n=X2---

RF (q, d) = X WC. ■ SRF., i=1 1 1

de grade(p) - ექსპერტების მიერ მინიჭებული საშუალო შესაბამისობის ქულა შედეგების სიაში p პოზიციაზე მდებარე დოკუმენტისთვის, gradee; 1/log2(2 + p) - კოეფიციენტი, რომელიც დევს დოკუმენტის პოზიციის ქვეშ (პირველ დოკუმენტებს უფრო დიდი მნიშვნელობა აქვთ).

შემდეგ NDCG ვერსია ნორმალიზდება და დაიწერება როგორც

N000@p = VZG@P/g,

სადაც g არის ნორმალიზაციის ფაქტორი, რომელიც უდრის მაქსიმალურ შესაძლო მნიშვნელობას 0C [ელფოსტა დაცულია]ამას ვითხოვ (მაშინ TOV იდეალური რეიტინგის ტოლფასია).

ამრიგად, POSO მეტრიკის ოპტიმიზაციის (მაქსიმიზაციის) მიზნით, მიზნის ფუნქცია (YM) იწერება წინამდებარე ფორმით.

3. ხმის ტიპების რანჟირების ხარისხის მეტრიკა. დოკუმენტების რანჟირებისას კრიტერიუმების როლს ასრულებს სიზუსტის მეტრიკა. IPS-ის ხარისხის შესაფასებლად ზოგადად მიღებული მეტრიკის სიიდან შეირჩა სამი ძირითადი, რათა შეფასდეს ინფორმაციის ძიების სიზუსტე, შესაბამისობა და სისრულე.

1. ინფორმაციის ძიების სიზუსტის კრიტერიუმი

სადაც a არის ნაპოვნი შესაბამისი დოკუმენტების რაოდენობა, b არის შესაბამისი დოკუმენტების რაოდენობა.

2. Bpref კრიტერიუმი, რომელიც აფასებს ინფორმაციის ძიების შესაბამისობას, გამოიყენება მოცემული R შესაბამისი დოკუმენტების დასამუშავებლად და გამოითვლება ფორმულის გამოყენებით.

Bpref = - ^ (1 - Non Re ¡Before(r)/R). (4)

აქ სიმბოლო r არის შესაბამისი შესაბამისი დოკუმენტის მნიშვნელობა, ხოლო NonRelBefore(r) არის ხილული შეუსაბამო დოკუმენტების რაოდენობა, რომლებიც დასახელებულია r ზემოთ (როდესაც გამოითვლება, შედის პირველი R რეიტინგული არარელევანტური დოკუმენტები ყოველ გაშვებაზე).

3. ხმის ტიპის გამეორების კრიტერიუმი

r = a/(a+с),

დე ა – ნაპოვნი შესაბამისი დოკუმენტების რაოდენობა, თ – არ მოიძებნა შესაბამისი დოკუმენტების რაოდენობა.

4. სატესტო კოლექციები. მანქანათმცოდნეობის ამოცანაა დოკუმენტებისა და მოთხოვნების საჭირო ნაკრების რანჟირება ექსპერტების მიერ მოცემული შესაბამისობის რეიტინგების საფუძველზე. ეს მონაცემები გამოიყენება რანგის ფუნქციების მანქანური განვითარებისთვის, ასევე სიმძლავრის შესაფასებლად

ხმის ტიპის რეიტინგი სისტემის მიერ MO პროცესის დროს, ტესტის კოლექციები შეირჩევა, როგორც საწყისი შერჩევა და, შესაბამისად, შეიძლება მნიშვნელოვანი გავლენა იქონიოს შედეგებზე. კვლევის განსახორციელებლად გამოყენებული იქნა LETOR დოკუმენტებისა და მოთხოვნების სატესტო კოლექცია. ეს კოლექცია მხარდაჭერილია Microsoft Research-ის მიერ ინფორმაციის ძიების სფეროში ჩატარებული კვლევებით. Მაგიდაზე 1 გვიჩვენებს LETOR ტესტის კოლექციების მახასიათებლებს.

5. მოდიფიცირებული გენეტიკური ალგორითმი. გენეტიკური ალგორითმების შემუშავებისთვის მანქანაში, რანჟირების ამოცანა უნდა იყოს დაყენებული ისე, რომ გამოსავალი იყოს კოდირებული ვექტორის (გენოტიპის) სახით, სადაც კანის გენი შეიძლება იყოს ბიტი, რიცხვი ან სხვა ობიექტი. ამ შემთხვევაში გენოტიპი წარმოდგენილია რანჟირების ფაქტორების პათოგენური ფაქტორების ვექტორით. p align="justify"> გენეტიკური ალგორითმის მთავარი იდეა არის ოპტიმალური ამოხსნის პოვნა ევოლუციისთვის გამოყოფილი თაობების ან საათების რაოდენობის გამოთვლით.

უნდა აღინიშნოს, რომ GA-ები ყველაზე ეფექტურია გლობალური ექსტრემის რეგიონის ძიებაში, მაგრამ მათი გამოყენება შესაძლებელია დიდი ეფექტით, თუ საჭიროა ამ რეგიონში ადგილობრივი მინიმუმის ცოდნა. ამ ხარვეზის აღმოსაფხვრელად შემოთავაზებული გზაა შეცვლილი გენეტიკური ალგორითმის (MGA) შექმნა, რომელიც გადადის ლოკალურ (მაუწყებლობის) ოპტიმიზაციის ალგორითმზე გლობალური ოპტიმალური რეგიონის პოვნის შემდეგ ბაზის GA-ს გამოყენებით. რობოტი MGA-ში წინადადებები შესრულებულია ჰიბრიდული მეთოდის გამოყენებით, რომელიც დაფუძნებულია კლასიკურ GA-ზე და Nelder-Mead მეთოდზე (მარტივი ალგორითმი). Nelder-Mead მეთოდი, რომელიც ხშირად გამოიყენება როგორც არაწრფივი ოპტიმიზაციის ალგორითმი, არის რიცხვითი მეთოდი მინიმალური ობიექტური ფუნქციის მოსაძებნად ფართო სივრცეებში. ამ ნამუშევარში ჰიბრიდული MGA ალგორითმი გადადის Nelder-Mida მეთოდზე GA ჯგუფის გონების ამოღების შემდეგ. MGA ალგორითმის ბლოკ-სქემა ნაჩვენებია ნახ. 1.

კვლევისას მიღებულია ფოკუსირება ობიექტური ფუნქციის გამოთვლების რაოდენობაზე (Nrf = 16000) გლობალური ექსტრემის არეალის ძიებისას და მენტალურად გადართვის ლოკალური ოპტიმიზაციის ალგორითმზე, რომელიც დაფუძნებულია ნელდერ-მიდის მეთოდზე (ამის შემდეგ, როგორც საფუძველი ახალი გენეტიკური ალგორითმი შეიცავს Nrf ოპერაციების 75%-ს).

6. შედეგები. დამატებითი მანქანათმცოდნეობის ალგორითმის კვლევის ჩატარების შედეგად

ცხრილი 1

სატესტო კოლექციებში დოკუმენტების და მოთხოვნების რაოდენობა

ტესტის კოლექციის დასახელება ქვესისტემის დასახელება მოთხოვნების რაოდენობა დოკუმენტების რაოდენობა

LETOR 4.0 MQ2007 1692 69623

LETOR 4.0 MQ2008 784 15211

LETOR 3.0 OHSUMED 106 16140

LETOR 3.0 Gov03td 50 49058

LETOR 3.0 Gov03np 150 148657

LETOR 3.0 Gov03hp 150 147606

LETOR 3.0 Gov04td 75 74146

LETOR 3.0 Gov04np 75 73834

LETOR 3.0 Gov04hp 75 74409

ბრინჯი. 1. ჰიბრიდული MVL ალგორითმის დიაგრამა, რომელიც დაფუძნებულია გენეტიკურ ალგორითმებზე და Nelder-Mead მეთოდზე

LTR-MGA რეიტინგისთვის გამოყვანილია WC* კოეფიციენტების ვექტორი რანჟირების ფუნქციისთვის. შემდეგ, ETOYA ტესტის კოლექციის მონაცემებზე დაყრდნობით, განხორციელდა რანგის სიზუსტის შეფასება, რისთვისაც გამოითვალა სიზუსტის მეტრიკა. დისკრეტული რეიტინგის მეტრიკა [ელფოსტა დაცულია]აფასებს სისტემაში პირველი დოკუმენტების სიძლიერეს. ზოგადად მიღებული მეტრიკა რეიტინგის ხარისხის შესაფასებლად [ელფოსტა დაცულია], [ელფოსტა დაცულია]і [ელფოსტა დაცულია]დაიცავით მეტრიკის ცვლილებების უფრო დეტალური დათვალიერება განხილული მნიშვნელობების მიხედვით [ელფოსტა დაცულია]ყველა მნიშვნელობისთვის 1-დან 10-მდე. განვითარებული ალგორითმის ეფექტურობის სხვა გადაწყვეტილებების გასათანაბრებლად ჩატარდა თანაბარი ანალიზი ETOYA 3.0 კოლექციებში მოცემული სხვადასხვა რეიტინგის ალგორითმებიდან. ტესტირების ალგორითმების შედეგები ტესტის კოლექციებისთვის TB2003 და TB2004 NDCG მეტრიკისთვის წარმოდგენილია ნახ. 2. შედეგები აჩვენებს, რომ LTR-MGA ალგორითმი აღემატება ტესტის ალგორითმებს, უმაღლესი მნიშვნელობებით.

ჩახუტება ამისთვის [ელფოსტა დაცულია](პირველ დოკუმენტთან შედარებით). LTR-MGA ალგორითმის უპირატესობა ის არის, რომ ექსპერიმენტებში გამოკვლეული სატესტო ფუნქციების საფუძველზე, რომლებიც რანჟირებულია, ფუნქციის ოპტიმიზაციის შემოთავაზებულ მიდგომაში, თავად რანჟირების მეტრიკა NDCG არის ვიკორიზირებული Ile ფუნქციების ცენტრში.

LTR-MGA ალგორითმისთვის მინიჭებული ვიკორისტიკის შემთხვევაში რეიტინგის ინტენსივობის შესაფასებლად გამოითვალა საძიებო სისტემაში დოკუმენტების რანგის ინტენსივობის მეტრიკის მნიშვნელობები (ნახ. 3). რეიტინგის შედეგების გათანაბრება (ცხრილი 2) განსხვავებული საბაზო რეიტინგის ფუნქციით, ძირითადი LTR-GA ალგორითმით და შეცვლილი LTR-MGA ალგორითმით მიუთითებს დანარჩენის უპირატესობაზე.

გარდა ამისა, კვლევისას მოცემულია MO-ს რეიტინგისთვის საჭირო საათის შეფასება. ეს აუცილებელია იმის დასადასტურებლად, რომ LTR-MGA მეთოდი აღემატება ამ მიდგომას, რომელიც დაფუძნებულია ძველ ტრადიციებზე.

ბრინჯი. 2. მანქანათმცოდნეობის ალგორითმების განახლება რეიტინგისთვის

NDCG მეტრიკისთვის სატესტო კოლექციებისთვის: evil – მონაცემთა ნაკრები Gov03td, მარჯვენა – მონაცემთა ნაკრები Gov04td

ბრინჯი. 3. რანჟირების მეტრიკის შეფასება ძირითადი რეიტინგის ფორმულისა და ალგორითმების მიერ შემუშავებული LTR-GA და LTR-MGA

ხარისხის მეტრიკის რანჟირება მანქანური სწავლების სხვადასხვა ალგორითმებისთვის.

ცხრილი 2

რანჟირების მეტრიკა ძირითადი რანგის ფუნქცია LTR-GA LTR-MGA მეტრული მნიშვნელობის ცვლა, %

სიზუსტე 0,201 0,251 0,267 26,81

[ელფოსტა დაცულია](პირველი 5 დოკუმენტი) 0.149 0.31 0.339 90.47

[ელფოსტა დაცულია](პირველი 10 დოკუმენტი) 0.265 0.342 0.362 29.14

Bpref 0.303 0.316 0.446 51.49

პოვნოტა 0.524 0.542 0.732 39.03

* ჩვენ ვაჩვენეთ უმაღლესი მნიშვნელობები კონკრეტული მეტრიკისთვის

ახალი გენეტიკური ალგორითმი (LTN-OL). LTYA-OL და LTYA-MOL ალგორითმების განხორციელებისთვის დროის ხარჯების გათანაბრების შედეგები მოცემულია ცხრილში. 3.

7. ვისნოვოკი. ამრიგად, კვლევამ აჩვენა, რომ განხილული მეტრიკის მნიშვნელობის გამოყენებისას, IPS-ში რეიტინგი იზრდება (საშუალოდ, 19,55% უდრის LTL-OL ალგორითმს). ეს ადასტურებს, რომ YTYA-MOL მუშაობს სწორად და მნიშვნელოვნად აუმჯობესებს რეიტინგის ფუნქციას, რათა სასურველი ოპტიმიზაცია წარმატებით განხორციელდეს. შეცვლილი ალგორითმის დამატებითი დახმარებისთვის

ლოკალური ოპტიმიზაციის მეთოდის გამოყენებისა და მიზნის ფუნქციის გამოსათვლელად საჭირო დროის გამოთვლების დანერგვის გამო, შემცირდა მანქანის შეყვანის საათი (საშუალოდ 17,71%-ით ტრადიციულ გენეტიკურ ალგორითმთან LTNAOL-თან შედარებით).

LTYA-MOL-ის მანქანით შესწავლილი რეიტინგის გაფართოებული ალგორითმი შეიძლება გამოყენებულ იქნას IPS-ში რეიტინგის მოდელის შესაქმნელად, რომელიც დაფუძნებულია რანგის მარტივი ფუნქციების კომბინაციაზე. თუმცა, მიჰყევით გაცვლის ნაბიჯებს, სანამ დადგენილი მიდგომა არ გამყარდება. Დაფუძნებული

მანქანის დაწყების საათის შეფასება დროის ხანგრძლივობაზე, რაც დამოკიდებულია საწყისი შერჩევის ზომაზე

ცხრილი 3

დოკუმენტების ტექსტური კოლექციის ზომა

Viconnanny LTR-GA საათი

Viconnanny LTR-MGA საათი

ვიკონანის დროის ცვლილებები, %

Საშუალო ღირებულება

*ეს ფერი აჩვენებს ყველაზე მაღალ მნიშვნელობებს ტესტის კოლექციის ზომისთვის

შედეგებიდან გამომდინარე, გამოვლინდა, რომ MO-ს შემდეგ ყველაზე დიდი ზრდაა რანჟირების მეტრიკა, რომლის მნიშვნელობა მიღებულ იქნა მიზნის ფუნქციად. ამავდროულად, სხვა მეტრიკამ შეიძლება გამოიწვიოს ღირებულების მომატება და ზოგიერთ შემთხვევაში მათ შეუძლიათ დაკარგონ მნიშვნელობები. Yak არის ერთი Yak-ჟაკეტი, რომ Usuennnya of Tso-Ugoye to Virishwati ამოცანა ოპტიმიზაციის yak bagatocriterIlnu: Rivnimo Kilka ძირითადი მეტრი რეიტინგში dushukovo vidachi, მოადგილე opitimizuvati ერთი. გარდა ამისა, სამომავლო კვლევაში დაგეგმილია ობიექტური ფუნქციის მეთოდოლოგიის შემუშავება, რომელიც დაფუძნებულია წრფივი მუჭა საბაზისო რანჟირების მეტრიკაზე, რათა დააჩქაროს ინფორმაციის ძიების პროცესი.

ბიბლიოგრაფიული სია

1. ჰალსტუხი-იან ლიუ. Navchannya to Rank for Information Retrieval // Journal Foundations and Trends in Information Retrieval. ტ. 3, ნომერი 3. მარტი 2009. გვ. 225-331.

2. Christopher J. C. Burges, Tal Shaked, Erin Renshaw. Gradient Descent Science-ის მომზადება // Proceeding ICML "05 22-ე საერთაშორისო კონფერენციის შრომები მანქანათმცოდნეობის შესახებ. 2005 წ. გვ. 89-96.

3. Semenikhin, S. V. დოკუმენტების მანქანური რეიტინგის მიდგომების შემდგომი გამოკვლევა გენეტიკურ ალგორითმებზე დაფუძნებული საძიებო სისტემის გამოყენებით / S. V. Semenikhin // რუსეთი ახალგაზრდაა: მოწინავე ტექნოლოგიები - ინდუსტრიაში. – 2013. – No2. – გვ 82 – 85.

4. მდიდარი კრიტერიუმების ოპტიმიზაცია კერამიკული სისტემების სინთეზში გენეტიკურ ალგორითმებზე დაყრდნობით: მონოგრაფია. / L. A. Denisova. – ომსკი: ხედი OmDTU, 2014. – 170გვ. - ISBN 978-5-8149-1822-2.

5. Denisova, L. A. კონტროლის სისტემების პარამეტრული სინთეზის ავტომატიზაცია გენეტიკური ალგორითმის გამოყენებით / L. A. Denisova, V. A. Meshcheryakov // ავტომატიზაცია ინდუსტრიაში. – 2012. – No 7. – გვ 34 – 38.

6. Huber, Peter J. Robust Estimation of Location Parameter // Annals of Statistics. – 1964. – No53. – გვ 73-101.

7. Semenikhin, S. V. ინფორმაციის ძიების ავტომატიზაცია მდიდარი კრიტერიუმების ოპტიმიზაციისა და გენეტიკური ალგორითმების საფუძველზე / S. V. Semenikhin, L. A. Denisova // სისტემების, მექანიზმების და მანქანების დინამიკა. – 2014. – No3. – გვ 224 – 227.

8. Tie-Yan Liu, Jun Xu, Tao Qin, Wenying Xiong და Hang Li. LETOR: საორიენტაციო მონაცემთა ნაკრები ღრუბელში გადასატანად ღრუბლოვანი ჩაწერისთვის // SIGIR 2007 სემინარი ობიექტისკენ მიმავალ გზაზე განსახილველად. – 2007. – გვ 3-10.

9. აგეევი, მ. : სანქტ-პეტერბურგის სახელმწიფო უნივერსიტეტის NDI ქიმია.- გვ. 142-150.

10. J. A. Nelder, R. Mead, A simplex მეთოდი ფუნქციის მინიმიზაციისთვის, The Computer Journal 7 (1965). 308-313 წწ.

სემენიხინი სვიატოსლავ ვიტალიოვიჩი, ინფორმაციის დამუშავებისა და მართვის ავტომატური სისტემების დეპარტამენტის ასპირანტი. მისამართები ჩამონათვალისთვის: [ელფოსტა დაცულია]დენისოვა ლუდმილა ალბერტივნა, ტექნიკურ მეცნიერებათა დოქტორი, ინფორმაციის დამუშავებისა და მართვის ავტომატური სისტემების დეპარტამენტის ასოცირებული პროფესორი. მისამართები ჩამონათვალისთვის: [ელფოსტა დაცულია]

ყველაზე ხშირად, სისტემების ანალიტიკოსის პრაქტიკაში, როდესაც საქმე ეხება FRD გახდომას, მეტყველება ხდება ვიწრო და არაფორმალური. კონდახი შეიძლება buti vimogi ტიპის:

• გადაცემა დამნაშავეა პრაციუვატი შვედკოში
• დანამატი პასუხისმგებელია დაბალ ტრაფიკზე
• ვიდეო მასალა შეიძლება იყოს ნათელი.

ასეთი სარგებელი, რომელიც დაფიქსირებულია FRD-ში „როგორც არის“, მომავალში პრობლემების მტკივნეული წყაროა. ასეთი შეღავათების ფორმალიზაცია მუდმივი თავის ტკივილია ანალიტიკოსისთვის. ამრიგად, ანალიტიკოსს ორი მიდგომის წინაშე დგას: თავდაპირველად წარმოდგენილია „ექვივალენტური“ ფორმალური მეთოდი, შემდეგ კი კვლევის პროცესი (კვლევის ასისტენტისგან, საგნის ექსპერტისგან და ა.შ.) ადგენს, რომ ასეთი ფორმალური მეთოდი შეიძლება იყოს. გამოიცვალა.შემიძლია გასვლა. ისინი თითქოს გაქრნენ, ჩვენ უარვყავით ის როლი, რომელიც არ არის ფუნქციონალური; ეს ნიშნავს არა „რა“ სისტემამ უნდა იმუშაოს, არამედ „როგორ იმუშაოს“. ამ შემთხვევაში, „როგორ ვიმუშაოთ“ შეიძლება ჩამოყალიბდეს კონკრეტული, მკაფიო მახასიათებლით.

ეს არის თეზისის პრეამბულა, რომ სისტემური ანალიტიკოსი პასუხისმგებელია მათემატიკური აპარატის კარგად გამოყენებაზე და ამავდროულად დეპუტატისთვის „მათემატიკის“ ახსნაზე. ახლა მოდით შევხედოთ კონდახს.

მოცემული კლასიფიკაციის შესახებ

ვთქვათ, ჩვენ ვწერთ Amazon Omakase-ის მსგავსი კონტექსტური სარეკლამო სისტემის FRD-ს. ჩვენი მომავალი სისტემის ერთ-ერთი მოდული იქნება კონტექსტის ანალიზატორი:

ანალიზატორი იღებს ვებ გვერდის ტექსტს შეყვანის სახით და ახორციელებს კონტექსტუალურ ანალიზს. ვინც არ გვაწყენს, განსაკუთრებით არ გვაწუხებს; მნიშვნელოვანია, რომ გამოსავალზე შევარჩიოთ პროდუქტის კატეგორიების ნაკრები (რომლებიც წინასწარ არ არის მითითებული). გარდა ამისა, ამ კატეგორიებიდან გამომდინარე, ჩვენ შეგვიძლია გამოვაჩინოთ ბანერები, პროდუქტის გაგზავნა (მაგალითად, Amazon) და ა.შ. ჩვენთვის ანალიზატორი კვლავ შავი ეკრანია, რომელსაც შეგვიძლია მივაწოდოთ ენერგია (იხილეთ დოკუმენტის ტექსტი) და ამოიღოთ გამომავალი.

დეპუტატს სურს, რომ ანალიზატორმა "უკეთესად გაიგოს კონტექსტი". ჩვენ უნდა ჩამოვაყალიბოთ რას ნიშნავს ეს. ახლავე კონტექსტზე ვისაუბროთ. კატეგორიების იგივე ნაკრების შესახებ, რომელსაც ატრიალებენ ანალიზატორი. შესაძლებელია მითითებული კლასიფიკაციის დადგენა, თუ დოკუმენტს (ვებ გვერდზე) თარიღის მიღმა არ არის მოცემული კლასები; თითოეულ კლასს აქვს სხვადასხვა პროდუქტის კატეგორია. ეს კლასიფიკაცია ხშირად გამოიყენება ტექსტის დამუშავებაში (მაგალითად, სპამის ფილტრები).

შეფასების მეტრიკა

მოდით შევხედოთ შეფასების მეტრიკას, რომელიც გამოიყენება კლასიფიკაციის დასადგენად. მისაღებია ის, რაც ვიცით სწორიკატეგორიები დიდი რაოდენობით დოკუმენტებისთვის. აქ არის ჩვენი ჰიპოთეტური ანალიზატორის მიმდინარე შედეგების შეჯამება:

• ნამდვილი პოზიტივი ( ნამდვილი დადებითი) - ის კატეგორიები, რომლებიც ჩვენ აღმოვაჩინეთ, იყო გენერირებული და ამოღებული გამოსავალზე
• ჰიბნოდადებითი ( ცრუ დადებითი) - კატეგორიები, რომლებიც არ არიან დამნაშავე გამოსავალზე და ანალიზატორი შეუფერხებლად აქცევს მათ გამოსავალზე
• ჰიბნო-უარყოფითი ( ცრუ ნეგატივები) - კატეგორიები, რომლებიც დეტალურად ვიპოვეთ, მაგრამ ანალიზატორმა არ ამოიცნო ისინი
• ჭეშმარიტი უარყოფითი ( ნამდვილი ნეგატივები) - კატეგორიები, რომლებიც არის ანალიზატორის გამოსავალზე და გამოსავალზე, ისინი ასევე აბსოლუტურად სწორია ყოველდღიურად.

ჩვენ მას ვუწოდებთ ანონიმური დოკუმენტების (გვერდების) სატესტო შერჩევას, რისთვისაც ვიცით სწორი ტიპები. როგორ დავიცვათ ექსპოზიციის რაოდენობა კანის კატეგორიის მიხედვით (მნიშვნელოვანია დაარტყა წყვილებიდოკუმენტი - კატეგორია), ჩვენ ვხსნით კანონიკურ ნიშანს ქვეკატეგორიისთვის:

ცხრილის მარცხენა სვეტი არის დოკუმენტების და კატეგორიების „სწორი“ იდენტიფიკაცია (რომლის არსებობა აშკარაა გამოსავალში), მარჯვენა სვეტი არასწორია. ცხრილის ზედა სტრიქონი არის კლასიფიკატორის დადებითი (დადებითი) ტიპები, ქვედა რიგი უარყოფითია (ჩვენს ტიპში არის კატეგორია თითო ტიპზე). რა არის ყველა წყვილის რაოდენობა დოკუმენტი - კატეგორიაერთი ნ, მაშინ არ აქვს მნიშვნელობა გაინტერესებს თუ არა

ჟურნალის დახმარებით ახლა შეგიძლიათ ერთი შეხედვით ჩამოწეროთ შესაძლო დეპუტატი (არასწორი პასუხების რაოდენობა ნულის ტოლია) და ვისზე დააფუძნოთ თქვენი გადაწყვეტილება. თუმცა, პრაქტიკაში, ასეთი სისტემები არ არსებობს და ანალიზატორი, ცხადია, მუშაობს კომპრომისებით ტესტის ნიმუშამდე. სიზუსტის მეტრიკა დაგვეხმარება გავიგოთ ასობით შეფერხება:

რიცხვების დამჭერისთვის, მატრიცის დიაგონალი არის სწორი გამოცნობების საერთო რაოდენობა, რომელიც იყოფა რეალურ რიცხვად. მაგალითად, ანალიზატორი, რომელიც იძლევა 9 სწორ პასუხს 10 შესაძლო პასუხიდან, იღებს 90% ქულას.

მეტრიკა F 1

მოდით ვაპატიოთ სიზუსტის მეტრიკის სიზუსტის ნაკლებობას, რადგან ის მნიშვნელოვანია ბრენდისთვის. შესაძლებელია, რომ ტექსტში გამოვყოთ სხვადასხვა ბრენდის არაერთი საიდუმლო. მოდით შევხედოთ კლასიფიკაციის ამოცანას, რაც ნიშნავს, თუ რა არის მოცემული ბრენდის არსი (Timberland, Columbia, Ted Baker, Ralph Lauren და ა.შ.). წინააღმდეგ შემთხვევაში, როგორც ჩანს, ტექსტში არსებულ არსებებს ორ კლასად ვყოფთ: A – გასაოცარი ბრენდი, B – ყველაფერი დანარჩენი.

ახლა მოდით შევხედოთ ახალ კლასიფიკატორს, რომელიც უბრალოდ აქცევს B კლასს (ყველა სხვას). სულ ერთიაესენციები. რომელი კლასიფიკატორისთვის არის 0-ზე მეტი ჭეშმარიტი დადებითი პასუხების რაოდენობა. როგორც ჩანს, მოდით დავფიქრდეთ თემაზე, რატომ ხშირად ინტერნეტში ტექსტის კითხვისას ერთი და იგივე ბრენდები გვესმის? როგორც ჩანს, გასაკვირი არ არის, რომ დღის ბოლოს ტექსტის 99,9999% არა იგივე ბრენდები. მოდით შევქმნათ მატრიცა პასუხების გაყოფისთვის 100000 ნიმუშისთვის:

მისი სიზუსტე გამოთვლადია, რაც უდრის 99990 / 100000 = 99,99%! ისე, ჩვენ ადვილად მივიღეთ კლასიფიკატორი, რომელიც, არსებითად, არაფერს ნიშნავს, მაგრამ აქვს სწორი ტიპების დიდი რაოდენობა. ამავდროულად, სრულიად ცხადი იყო, რომ ჩვენ არ ვზრუნავდით ჩვენი ბრენდის მნიშვნელობაზე. სიმართლე ის არის, რომ ჩვენს ტექსტში სწორი არსი ძლიერ არის განზავებული სხვა სიტყვებით, რომლებსაც კლასიფიკაციისთვის არანაირი მნიშვნელობა არ აქვს. ამ მაგალითის დათვალიერებისას სრულიად ნათელია, რომ საჭიროა სხვა მეტრიკის გამოყენება. მაგალითად, მნიშვნელობა tnაშკარად "გატეხილი" - ეს რეალურად ნიშნავს სწორ პასუხს და არა ზრდას tnშედეგად, დეპოზიტი ძლიერად "მოხრილია" tp(რამდენად პატივცემული ჩვენთვის) ფორმულას აქვს სიზუსტე.

რაც მნიშვნელოვანია სიზუსტის სამყაროსთვის (P, სიზუსტე) არის:

მნიშვნელოვანია აღინიშნოს, რომ სიზუსტის ხარისხი ახასიათებს რამდენი დადებითი პასუხია უარყოფილი კლასიფიკატორისგან, რომლებიც სწორია. რაც უფრო დიდია სიზუსტე, მით ნაკლებია დარტყმების რაოდენობა.

თუმცა, სიზუსტის ხარისხი არ მიუთითებს იმაზე, რომ ყველა სწორი სახეობა გვხვდება კლასიფიკატორის შემობრუნებით. და ამიტომ ჰქვია განმეორების სამყაროს (R, გახსენება):

მსოფლიოს კვლავ ახასიათებს კლასიფიკატორის უნარი „გამოიცნოს“ აღმოჩენებიდან ყველაზე დადებითი მტკიცებულებები. გთხოვთ გაითვალისწინოთ, რომ რძეზე დადებითი შტამები გავლენას არ ახდენს ამ მეტრზე.

სიზუსტე და გახსენება საშუალებას გაძლევთ შეავსოთ კლასიფიკატორის შერჩეული მახასიათებლები და "სხვადასხვა წყაროდან". ასეთი სისტემების გამოყენებისას თქვენ მუდმივად უნდა დააბალანსოთ ორ მეტრიკას შორის. თუ გსურთ Recall-ის გადატანა, პრობლემური კლასიფიკატორი უფრო ოპტიმისტურია, ვიდრე იწვევს სიზუსტის შემცირებას ნაოჭზე დადებითი ტესტის შედეგების რაოდენობის გაზრდით. თუ გაამკაცრებთ თქვენს კლასიფიკატორს, გახდით მას უფრო „პესიმისტურად“, მაგალითად, შედეგების გაფილტვრით, მაშინ როდესაც სიზუსტე იზრდება, Recall დაუყოვნებლივ იკლებს სწორი ტიპების გარკვეული რაოდენობის უარყოფით. აქედან გამომდინარე, ადვილია კლასიფიკატორის დახასიათება ერთი მნიშვნელობის გამოყენებით, ე.წ. მეტრიკულ F1:

სინამდვილეში, ეს უბრალოდ P და R მნიშვნელობების ჰარმონიული საშუალოა. მეტრიკა F 1 აღწევს მაქსიმუმ 1-ს (100%), ვინაიდან P = R = 100%.
(არ აქვს მნიშვნელობა ამას გავარკვიეთ ჩვენი ზოგადი კლასიფიკატორიდან F 1 = 0). F 1-ის მნიშვნელობა არის ერთ-ერთი ყველაზე ფართო მეტრიკა ასეთი სისტემებისთვის. ჩვენ გამოვიყენებთ თავად F1-ს, რათა ჩამოვაყალიბოთ ჩვენი ანალიზატორის ზღურბლის ინტენსივობა FRD-ში.

F 1 გაანგარიშებას აქვს ორი ძირითადი მიდგომა.

• Sumarny F 1: ყველა კლასის შედეგები შედგენილია ერთ ცხრილში, რასაც მოჰყვება F 1 მეტრიკის გაანგარიშება.
• შუა F 1: თითოეული კლასისთვის ჩვენ ვქმნით საკუთარ შემთხვევითობის მატრიცას და მის მნიშვნელობას F 1, შემდეგ ვიღებთ მარტივ არითმეტიკულ საშუალოს ყველა კლასისთვის.

სხვა მეთოდია საჭირო? მარჯვნივ, სხვადასხვა კლასის ნიმუშის ზომები შეიძლება განსხვავდებოდეს. ზოგიერთი კლასისთვის შეიძლება გვქონდეს ძალიან ცოტა მარაგი, მაგრამ ზოგიერთისთვის გვაქვს უამრავი. შედეგად, ერთი "დიდი" კლასის მეტრიკა, რომელიც შემცირდა ერთ საბოლოო ცხრილამდე, "გაიტანს" რეშას. იმ სიტუაციაში, როდესაც გსურთ შეაფასოთ რობოტული სისტემის სიძლიერე მეტ-ნაკლებად თანაბრად ყველა კლასისთვის, სხვა ვარიანტი უფრო შესაფერისია.

პირველადი ტესტის შერჩევა

უპირველეს ყოვლისა, ჩვენ განვიხილეთ კლასიფიკაცია ერთ შერჩევაზე, რადგან ჩვენ ვიცით ყველა ჯიში. როგორც კი მივალთ კონტექსტურ ანალიზატორთან, რომლის აღწერასაც ვცდილობთ, ყველაფერი ცოტა უფრო რთულად გამოიყურება.

პირველ რიგში, ჩვენ შეგვიძლია დავაფიქსიროთ პროდუქტის კატეგორიები. სიტუაცია, თუ F 1-ის რაიმე მნიშვნელობა გარანტირებულია და კლასების ნაკრები შეიძლება გარდაუვლად გაფართოვდეს, პრაქტიკულად ჩიხშია. ამაზე კიდევ უფრო მიუთითებს ფიქსაციების კატეგორიების შერჩევა.

ჩვენ ვიანგარიშებთ F 1-ის მნიშვნელობებს მოცემული შერჩევისთვის შორიდან. ამ შერჩევას ე.წ საწყისი. თუმცა, არ ვიცით, როგორ მოიქცევა კლასიფიკატორი ჩვენთვის უცნობ ამ მონაცემებზე. ამ მიზნებისათვის ვიკორისტს ე.წ ტესტის ნიმუში, ზოგჯერ ეძახიან ოქროს ნაკრები. განსხვავება საწყის და სატესტო ნიმუშს შორის არის მხოლოდ ვიზუალური: თუნდაც მცირე რაოდენობის კონდახები იყოს, ჩვენ შეგვიძლია დავჭრათ იგი საწყის და სატესტო ნიმუშად, როგორც გვსურს. მაგრამ სისტემების თვითდამზადებისთვის, სწორი საწყისი ნიმუშის ფორმირება კიდევ უფრო მნიშვნელოვანია. არასწორად შერჩეულმა დუნდულებმა შეიძლება შეაფერხოს რობოტის სისტემა.

ტიპიური სიტუაციაა, როდესაც კლასიფიკატორი აჩვენებს კარგ შედეგს საწყის შერჩევაზე და აბსოლუტურ წარუმატებლობას ტესტის შერჩევაში. ვინაიდან ჩვენი ალგორითმი ბაზების კლასიფიკაციისთვის არის მანქანით შესწავლილი (დასაწყისი შერჩევით ტყუილი), ჩვენ შეგვიძლია შევაფასოთ მისი შინაარსი დასაკეცი „მცურავი“ სქემის მიღმა. ამ მიზნით ჩვენ ვყოფთ ყველაფერს, რაც ჩვენთვის აშკარაა, ვთქვათ, 10 ნაწილად. გამოდის, რომ პირველი ნაწილი იგივეა ალგორითმის დასაწყებად; დაკარგული მარაგების 90% გამოითვლება ტესტის ნიმუშად და გამოითვლება F 1 მნიშვნელობა. შემდეგ ვიღებთ მეორე ნაწილს და ვიკორისტვოს, როგორც დასაწყისში; F 1-ის სხვა მნიშვნელობა შეიძლება წაიშალოს და ა.შ. შედეგიდან ავიღეთ 10 მნიშვნელობა F 1. ახლა ვიღებთ მათ საშუალო არითმეტიკულ მნიშვნელობას, რომელიც გახდება ნარჩენი შედეგი. ვიმეორებ, რა არის ეს მეთოდი (ასევე სათაურებიც ჯვარედინი ვალიდაცია) არ აქვს მანქანურ სწავლაზე დაფუძნებული ალგორითმების გაგება.

დავუბრუნდეთ წერილობით FRD-ს, აღვნიშნავთ, რომ ჩვენი მდგომარეობა ძალიან რთულია. არსებობს შეყვანილი მონაცემების შეგროვების პოტენციური ნაკლებობა (ინტერნეტის ყველა ვებ გვერდი) და არ არსებობს გვერდის კონტექსტის შეფასების საშუალება. ხალხის ბედი. ამრიგად, ჩვენი არჩევანი შეიძლება ჩამოყალიბდეს მხოლოდ ხელით და ძალიან ექვემდებარება დიზაინის ცვალებადობას (და გადაწყვეტილებები მათ შესახებ, ვინც გვერდს ათავსებს ნებისმიერ კატეგორიაში, მიიღება ხალხის მიერ). ჩვენ შეგვიძლია შევაფასოთ F 1 დონე სხვადასხვა კონდახებზე, მაგრამ ჩვენ ვერ ვცნობთ F 1-ს ყველა ინტერნეტ საიტისთვის. ამიტომ, პოტენციურად გაუზიარებელი მონაცემთა ნაკრებისთვის (როგორიცაა ვებ გვერდები, რომელთაგან ბევრია), ზოგჯერ მიზანშეწონილია გამოიყენოთ „უკონტროლო“ მეთოდი. და ამიტომ, შემთხვევით შეარჩიეთ რამდენიმე აპლიკაცია (გვერდი) და მათგან ოპერატორი (პირი) ირჩევს კატეგორიების (კლასების) სწორ კომპლექტს. შემდეგ ჩვენ შეგვიძლია ვცადოთ კლასიფიკატორი ამ შერჩეული დუნდულებისთვის. გარდა ამისა, ჩვენ პატივს ვცემთ იმას, რომ ჩვენ მიერ არჩეული კონდახია ტიპიური, დაახლოებით შეგვიძლია შევაფასოთ ალგორითმის სიზუსტე (Precision). ამ შემთხვევაში, ჩვენ ვერ შევაფასებთ Recall-ს (უცნობია, რამდენი სწორი მტკიცებულება შეიძლება მოიძებნოს ჩვენს მიერ შერჩეულ აპლიკაციებს შორის) და, შესაბამისად, ვერ გამოვთვალოთ i F 1.

ამ გზით, ჩვენ გვინდა ვიცოდეთ, თუ როგორ მუშაობს ალგორითმი ყველა შესაძლო შეყვანის მონაცემზე, რაც შეიძლება შეფასდეს ამ სიტუაციაში, სიზუსტესთან ყველაზე ახლოს მნიშვნელობით. თუ ყველა შესაბამისი მნიშვნელობა იქნება გათვალისწინებული, F 1-ის საშუალო მნიშვნელობები შეიძლება გამოითვალოს ამ შერჩევისთვის.

ჩანთაში?

და შედეგად, ჩვენ შევძლებთ მსგავსი რამის გამომუშავებას:

1. ჩაწერეთ საწყისი არჩევანი. თავდაპირველ შერჩევას განაპირობებს დეპუტატის განცხადება „სწორი“ კონტექსტის შესახებ.
2. ჩაწერეთ ჩვენი ანალიზატორის კატეგორიების ნაკრები. არ შეგვიძლია გამოვთვალოთ F 1 კლასების უმნიშვნელო ნაკრებისთვის?
3. ერთი შეხედვით შემიძლია აღვწერო: ანალიზატორი პასუხისმგებელია კონტექსტის განსაზღვრაზე საშუალო F1 მნიშვნელობიდან მინიმუმ 80%.(მაგალითად)
4. აუხსენით ეს დეპუტატს.

სინამდვილეში, ასეთი სისტემისთვის FRD-ის დაწერა ადვილი არ არის (განსაკუთრებით ბოლო წერტილი), მაგრამ შესაძლებელია. მიუხედავად იმისა, რომ ასეთ შემთხვევებში არ არსებობს ზღვრული მნიშვნელობა F 1, ის შეიძლება დარეგულირდეს F 1 მნიშვნელობამდე მსგავსი კლასიფიკაციის ამოცანებისთვის.

კანის სიის შუაში არსებულ ელემენტებზე. ნაწილობრივი თანმიმდევრობა განისაზღვრება კანის ელემენტის რეიტინგის მითითებით (მაგალითად, "შესაბამისი" ან "არარელევანტური"; შესაძლებელია განსხვავებული გრადაცია ან მეტი). მეტა რეიტინგის მოდელები - უმოკლეს თანმიმდევრობით (სიმღერის გაგებით) ახალ მონაცემებზე საწყის შერჩევისას რეიტინგის უფრო დაახლოების მიზნით.

რეიტინგის დასაწყისი ჯერ კიდევ ახალგაზრდა კვლევის სფეროა, რომელიც სწრაფად ვითარდება, რომელიც დაიწყო 2000-იან წლებში ინფორმაციის კვლევის სფეროსადმი ინტერესის გაჩენის გამო, საწყის რეიტინგამდე მანქანათმცოდნეობის მეთოდების სტაგნაციამდე.

ენციკლოპედიური YouTube

• 1 / 5

  რეიტინგის მოდელისა და მისი მუშაობის დაწყებისთანავე, დოკუმენტი-განცხადების წყვილი ითარგმნება რიცხვითი ვექტორად რანგის ნიშნებით (ასევე უწოდებენ რანგის ფაქტორებს ან სიგნალებს), რომლებიც ახასიათებენ დოკუმენტის ძალას და მათ ურთიერთმიმართებას. ასეთი ნიშნები შეიძლება დაიყოს სამ ჯგუფად:

  ქვემოთ მოცემულია რანგის ნიშნების რამდენიმე მაგალითი, რომლებიც გამოიყენება ფართოდ გამოყენებულ LETOR მონაცემთა ბაზაში:

  • შეყვანის TF, TF-IDF, BM25 და ძირითადი მოდელის მნიშვნელობები გამოიყენება დოკუმენტის სხვადასხვა უბნების მიწოდებისთვის (სათაური, URL, ძირითადი ტექსტი, გაგზავნილი ტექსტი);
  • Dovzhini ta IDF-sumi დოკუმენტური ზონები;
  • დოკუმენტის რანგი განისაზღვრება ისეთი რანგის ალგორითმების სხვადასხვა ვარიანტებით, როგორიცაა PageRank და HITS.

  ხარისხის რეიტინგის მეტრიკა

  არსებობს მთელი რიგი მეტრიკები, რომლებიც შეიძლება გამოყენებულ იქნას სენსორული შეფასებების საფუძველზე შერჩევის რანჟირების ალგორითმების ეფექტურობის შესაფასებლად და შესაფასებლად. ხშირად მოდელების დიაპაზონის პარამეტრები რეგულირდება ერთ-ერთი ამ მეტრიკის მნიშვნელობის გაზრდის მიზნით.

  მიამაგრეთ მეტრიკა:

  ალგორითმების კლასიფიკაცია

  თავის სტატიაში „ვისწავლოთ რანგირება ინფორმაციის მოპოვებისთვის“ და პრეზენტაციებზე თემატურ კონფერენციებზე, ტაი-იან ლიუმ Microsoft Research Asia-დან გააანალიზა მოწინავე რეიტინგის მაშინ არსებული მეთოდები და დაყო ისინი სამ მიდგომად, ვიკორისტის შეყვანის წარმოდგენის ID-ზე დაყრდნობით. . ჯარიმის ფუნქციების გათვალისწინებით:

  წერტილი-პუნქტიანი მიდგომა

  შენიშვნები

  1. ტაი-იან ლიუ (2009), სწავლა-და-რანგირება-ინფორმაციის-ძიებისთვის, საფუძვლები და ტენდენციები ინფორმაციის მოძიებაში: ტ. 3: No3, გვ. 225-331, ISBN 978-1-60198-244-5, DOI 10.1561/1500000016. ხელმისაწვდომია სლაიდები T. Liu-ს გამოსვლიდან WWW 2009 კონფერენციაზე.