Як знайти й видалити повтори у великій таблиці

База клієнтів, у якій той самий контакт записаний тричі, — це тричі надіслана розсилка, задвоєні показники у звіті й роздратований клієнт. Повтори у таблицях не просто захаращують файл, вони спотворюють будь-які підрахунки. Розберемо чотири робочі способи знайти й видалити дублікати — від найшвидшого до найгнучкішого — і головне: як зробити це, не втративши потрібних даних.

Найшвидший шлях, який не потребує ані Excel, ані формул: інструмент видалити дублікати онлайн. Він приймає XLSX, XLS, ODS і CSV, шукає повтори за всіма колонками або лише за ключовими — наприклад, за телефоном чи ЄДРПОУ, — показує, що саме прибрав, і віддає чисту таблицю. Обробка йде у браузері: база клієнтів не залишає ваш комп'ютер.

Спочатку головне: що вважати дублікатом #

Перш ніж щось видаляти, дайте відповідь на питання: які рядки для вас «однакові»? Від цього залежить усе.

• Повний збіг рядка — усі колонки ідентичні. Так буває після подвійного імпорту того самого файлу. Найбезпечніший режим: видаляються справді точні копії.
• Збіг за ключовою колонкою — однаковий телефон, e-mail, код ЄДРПОУ чи артикул. Рядки при цьому можуть відрізнятися: в одному запису старий коментар, у другому — новий. Тут уже треба вирішити, який із записів лишити.
• «Людські» дублікати — «Петренко Іван» і «Іван Петренко», «Київ» і «м.Київ». Це найскладніший тип: автоматика його не бачить, бо технічно рядки різні.

Золоте правило чищення: спершу подивитися на список того, що буде видалено, і лише потім видаляти. Інструменти, які мовчки прибирають «щось десь», — прямий шлях до втрачених клієнтів.

Спосіб 1: онлайн, без Excel #

1. Відкрийте інструмент видалення дублікатів і додайте файл таблиці.
2. Оберіть режим: за всіма колонками або за вибраними (вкажіть літери, як в Excel: B чи A, C).
3. Вирішіть, який запис лишати — перший чи останній. Якщо свіжі записи додавалися знизу, «останній» збереже найактуальніші дані.
4. Залиште ввімкненим ігнорування зайвих пробілів і регістру — воно склеює «Київ» і «київ », які інакше вважалися б різними.
5. Натисніть кнопку — інструмент покаже, скільки рядків прибрано і які саме, а результат збережеться у XLSX.

Цей спосіб зручний ще й тим, що працює на будь-якому комп'ютері й телефоні: нічого не треба встановлювати, а для CSV не виникає класичних проблем з кодуванням — файли з Windows-1251 читаються коректно.

Спосіб 2: вбудований в Excel #

В Excel є штатна функція: виділіть таблицю → вкладка Дані → Видалити дублікати → позначте колонки для порівняння. Швидко і без формул.

Про що мовчить діалогове вікно:

• Excel завжди лишає перший з однакових рядків — вибору «лишити останній» немає. Якщо потрібен найсвіжіший запис, спершу відсортуйте таблицю за датою за спаданням.
• Порівняння чутливе до пробілів: «Іванов » з хвостовим пробілом не збігається з «Іванов». Перед чищенням проженіть ключову колонку через функцію TRIM.
• Звіту «що саме видалено» не буде — лише повідомлення про кількість. Для відповідальних баз це аргумент на користь способу з попереднім переглядом.

Спосіб 3: побачити, не видаляючи #

Коли треба спершу оцінити масштаб лиха, використовуйте підсвічування: виділіть колонку → Головна → Умовне форматування → Правила виділення клітинок → Повторювані значення. Усі дублікати зафарбуються, і їх можна відфільтрувати за кольором та розібрати вручну.

Формульний варіант того самого — допоміжна колонка з =COUNTIF(B:B;B2): значення більше одиниці означає повтор. Перевага формули — видно, скільки саме разів зустрічається кожне значення: «телефон записаний 5 разів» — це вже не дублікат, а привід перевірити дані на помилку імпорту.

Спосіб 4: для об'єднаних даних #

Дублікати найчастіше народжуються при злитті кількох джерел. Якщо ви зводите файли від філій чи менеджерів, робіть це одразу правильно: інструмент об'єднати Excel з увімкненою колонкою-джерелом, а потім — чищення дублікатів за ключовою колонкою. Колонка-джерело підкаже, звідки прийшов кожен запис, і допоможе вирішити, який із дублів авторитетніший.

Порівняння способів #

Підготовка даних: половина успіху #

Кілька хвилин підготовки рятують від «недочищеної» бази:

• Приведіть ключову колонку до одного вигляду. Телефони +380671234567, 067 123-45-67 і 0671234567 — для машини три різні значення. Приберіть пробіли, дужки й дефіси заміною у редакторі таблиць.
• Приберіть підсумкові рядки («Разом», «Всього») — вони не мають брати участі у порівнянні.
• Збережіть копію оригіналу. Наш інструмент не змінює вихідний файл, але резервна копія перед масовим чищенням — універсальна звичка.
• Після чищення перевірте кількість: було 5 000 рядків, стало 1 200? Отже, ключ обраний занадто загальний — наприклад, порівнювали за містом замість телефону.

Часті запитання