در پست قبل با یک مثال ساده درباره طبقه بندی فیلم، روند کلی الگوریتم kNN رو بررسی کردیم. در این پست یک مثال کابردی تر رو پیاده می کنیم. مثال و کدها این پست همگی متعلق به کتاب Machine Learning in Action آقای Peter Harrington می باشد. کتاب قدیمی که آخرین چاپش برای سال 2012 هست. کدها و پکیج های به روزتری در حال حاضر وجود دارند که می تونند جایگزین کدهای کتاب شوند ولی خالی از لطف نیست که کدهای مربوط به این الگوریتم رو چک کنیم هر چند در پست بعدی kNN از پکیج scikit-learn برای این منظور استفاده می کنیم.
داده های این مثال در قالب فایل های فشرده قابل دانلود برای سیستم عامل های مختلف موجود هستند. داده های پروژه تشخیص ارقام طی یک سری برنامه های پیش پردازش که توسط موسسه NIST فراهم شده توسط پژوهشگران دانشگاه کالیفرنیا (UCI) مورد استفاده قرار گرفت. تصاویر ارقام از فایل های bitmap دستخط افراد مختلف که بر روی صفحات فرم ها چاپ شده بود استخراج گردید. از دستخط 43 نفر، دستخط 30 نفر به عنوان داده های train و مابقی برای test استفاده شد. تصاویر دستخط ها در قالب ماتریس های 8 در 8 که هر عضوی از ماتریس در بازه 0 تا 16 قرار داره پردازش و آماده شد.
در ابتدا نمایی از ارقام و شکل ظاهری اون ها رو در با هم مشاهده کنیم تا به آماده سازی و مدل سازی برسیم.
فایل های پردازش شده و آماده در قالب فایل ها متنی رو از لینک زیر دانلود کنید.
به منظور آماده سازی و مدلسازی توابع زیر را وارد می کنیم و البته آدرس فایل داده ها رو در کد تغییر بدید و با اجرا تابع ()handwritingClassTest خروجی رو مشاهده می کنید. در این مثال فقط دقت خروجی رو قرار دادم ولی می تونید در قالب فایل های متنی خروجی رو ذخیره کنید.
|
1 2 3 4 5 6 7 8 9 10 |
# تبدیل ردیف های عکس به فایل های برداری import numpy as np def img2vector(filename): returnVect = np.zeros((1,1024)) fr = open(filename) for i in range(32): lineStr = fr.readline() for j in range(32): returnVect[0,32*i+j] = int(lineStr[j]) return returnVect |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# تابع طبقه بندی براساس الگوریتم import operator def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = np.tile(inX, (dataSetSize,1)) - dataSet sqDiffMat = diffMat**2 sqDistances = sqDiffMat.sum(axis=1) distances = sqDistances**0.5 sortedDistIndicies = distances.argsort() classCount={} for i in range(k): voteIlabel = labels[sortedDistIndicies[i]] classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0] |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
# دریافت داده ها و محاسبه دقت مدل from os import listdir def handwritingClassTest(): hwLabels = [] trainingFileList = listdir('digits/trainingDigits') #load the training set m = len(trainingFileList) trainingMat = np.zeros((m,1024)) for i in range(m): fileNameStr = trainingFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) hwLabels.append(classNumStr) trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr) testFileList = listdir('digits/testDigits') #iterate through the test set errorCount = 0.0 mTest = len(testFileList) for i in range(mTest): fileNameStr = testFileList[i] fileStr = fileNameStr.split('.')[0] #take off .txt classNumStr = int(fileStr.split('_')[0]) vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr) classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3) # print("the classifier came back with: {0}, the real answer is: {1}".format(classifierResult, classNumStr)) if (classifierResult != classNumStr): errorCount += 1.0 print("\nthe total number of errors is: {0}".format(errorCount)) print("\nthe number of test cases : {:.2f}".format(float(mTest))) print("\nthe total error rate is: {:.2%}".format(errorCount/float(mTest))) print("\naccuracy: {:.2%}".format((float(mTest)-errorCount)/float(mTest))) # اجرا تابع handwritingClassTest() |
خروجی :
|
1 2 3 4 5 6 7 |
the total number of errors is: 10.0 the number of test cases : 946.00 the total error rate is: 1.06% accuracy: 98.94% |
