Машинное обучение
2024-12-03
Метод k ближайших соседей (k-NN)
Принцип работы алгоритма
Метод k ближайших соседей (k-NN) — это простой и популярный алгоритм машинного обучения, используемый для задач классификации и регрессии. Принцип работы алгоритма основан на простой идее: объекты, близкие в пространстве признаков, имеют схожие характеристики.
- Классификация:
- Для классификации объекта алгоритм находит k ближайших соседей этого объекта в пространстве признаков. Класс объекта определяется на основе классов его ближайших соседей: объект относится к классу, который наиболее представлен среди k ближайших соседей.
- Регрессия:
- В случае регрессии, вместо классов, объектам присваиваются числовые значения. Например, значение объекта может быть усреднением значений его ближайших соседей.
- Выбор k:
- Параметр k представляет собой количество ближайших соседей, которые используются для принятия решения. Выбор значения k влияет на точность и стабильность модели: небольшие значения k могут привести к переобучению, в то время как большие значения k могут привести к упрощению модели.
- Метрика расстояния:
- Для определения “близости” объектов используется метрика расстояния, обычно евклидово расстояние. Однако, в зависимости от задачи, могут применяться и другие метрики.
Примеры использования для классификации
- Распознавание рукописных цифр:
- Задача: Классификация изображений рукописных цифр.
- Применение: Алгоритм k-NN может быть использован для определения, к какому классу (цифре) относится каждое изображение, основываясь на схожести с ближайшими соседями в пространстве пикселей.
- Системы рекомендаций в электронной коммерции:
- Задача: Рекомендация продуктов покупателям на основе их предпочтений и покупок других клиентов.
- Применение: k-NN может определить схожесть между потребителями, основываясь на их покупках, и рекомендовать товары, которые понравились их ближайшим соседям.
- Определение типа цветка по его характеристикам:
Задача: Классификация цветков по их параметрам (длина лепестка, ширина лепестка и т.д.).
Применение: k-NN может определить тип цветка, основываясь на схожести его характеристик с характеристиками ближайших цветков в обучающем наборе.
![]()
- Определение темы текста:
- Задача: Классификация текстов по их содержанию.
- Применение: k-NN может классифицировать тексты, опираясь на схожесть слов и структуры текста с ближайшими соседями из обучающего набора.
k-NN широко используется в реальных задачах, особенно там, где данные нелинейны и сложно выделить четкие закономерности.
Пример приложения на Python
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics.pairwise import euclidean_distances
from sklearn.metrics import accuracy_score
from sklearn.metrics import recall_score
from sklearn.metrics import f1_score
# # Генерация большего количества данных для обучения и предсказания
# X, y = np.random.rand(100, 2), np.random.choice([0, 1], size=100)
# # Разделение данных на тренировочный и тестовый наборы
# X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# Пример данных
X_train = np.array([[1, 2],[1.5, 1.5], [2, 3], [3, 4],[4, 4], [4, 5]])
y_train = np.array([0, 0, 0, 1, 1, 1])
X_test = np.array([[2, 4],[1, 3]])
y_test = np.array([1, 1]) # Фактические метки для тестового набора
# Метод k-ближайших соседей
class KNN:
def __init__(self, k=3):
self.k = k
def fit(self, X, y):
self.X_train = X
self.y_train = y
def predict(self, X):
predictions = [self._predict(x) for x in X]
return np.array(predictions)
def _predict(self, x):
distances = euclidean_distances([x], self.X_train)
k_neighbors_indices = np.argsort(distances[0])[:self.k]
k_neighbor_labels = [self.y_train[i] for i in k_neighbors_indices]
most_common = np.bincount(k_neighbor_labels).argmax()
return most_common
# Инициализируем и обучаем модель k-NN
knn = KNN(k=5)
knn.fit(X_train, y_train)
# Делаем предсказания
predictions_train = knn.predict(X_train)
predictions_test = knn.predict(X_test)
print(predictions_test);
# Оцениваем точность, полноту и F1-меру модели на тренировочных и тестовых данных
acc_train = accuracy_score(y_train, predictions_train)
rec_train = recall_score(y_train, predictions_train)
f1_train = f1_score(y_train, predictions_train)
acc_test = accuracy_score(y_test, predictions_test)
rec_test = recall_score(y_test, predictions_test)
f1_test = f1_score(y_test, predictions_test)
print("Точность на тренировочных данных:", acc_train)
print("Полнота на тренировочных данных:", rec_train)
print("F1-мера на тренировочных данных:", f1_train)
print("\nТочность на тестовых данных:", acc_test)
print("Полнота на тестовых данных:", rec_test)
print("F1-мера на тестовых данных:", f1_test)Метрики оценки моделей
1. Точность (Accuracy):
- Определение: Доля правильных ответов модели среди всех предсказаний.
- Формула: \(\frac{{TP + TN}}{{TP + TN + FP + FN}}\)
- Примечание: Хороша для сбалансированных классов, но может быть обманчива при несбалансированных классах.
2. Полнота (Recall или Sensitivity):
- Определение: Доля правильно предсказанных положительных случаев относительно всех реальных положительных случаев.
- Формула: \(\frac{{TP}}{{TP + FN}}\)
- Примечание: Важна в задачах, где пропуск положительных случаев нежелателен (например, в медицинских диагнозах).
3. F1-мера:
- Определение: Сбалансированная метрика, объединяющая точность и полноту.
- Формула: \(2 \cdot \frac{{\text{{Precision}} \cdot \text{{Recall}}}}{{\text{{Precision}} + \text{{Recall}}}}\)
- Примечание: Хороша для задач с неравномерными классами.
4. ROC-кривые и AUC-ROC:
- ROC-кривая: График, отображающий зависимость True Positive Rate (Recall) от False Positive Rate для различных значений порога классификации.
- AUC-ROC (Area Under the ROC Curve): Площадь под ROC-кривой, представляющая общую производительность модели.
- Интерпретация: Чем выше AUC-ROC, тем лучше модель способна различать классы. AUC-ROC равен 1 для идеальной модели и 0.5 для случайного классификатора.
Пример кода для вычисления метрик в Python:
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, roc_curve, auc
import matplotlib.pyplot as plt
# Пример истинных меток и предсказанных вероятностей
y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]
y_pred_prob = [0.8, 0.3, 0.6, 0.7, 0.2, 0.9, 0.1, 0.4, 0.75, 0.3]
# Преобразование вероятностей в бинарные предсказания
y_pred = [1 if prob >= 0.5 else 0 for prob in y_pred_prob]
# Вычисление метрик
accuracy = accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)
roc_auc = roc_auc_score(y_true, y_pred_prob)
# Вывод метрик
print(f"Accuracy: {accuracy:.4f}")
print(f"Precision: {precision:.4f}")
print(f"Recall: {recall:.4f}")
print(f"F1 Score: {f1:.4f}")
print(f"AUC-ROC: {roc_auc:.4f}")
# Построение ROC-кривой
fpr, tpr, thresholds = roc_curve(y_true, y_pred_prob)
roc_auc = auc(fpr, tpr)
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'AUC = {roc_auc:.2f}')
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()Accuracy: 1.0000
Precision: 1.0000
Recall: 1.0000
F1 Score: 1.0000
AUC-ROC: 1.0000
