Як підключити NetHunt CRM до Google BigQuery
Google BigQuery - це потужний інструмент від Google для зберігання та подальшої обробки великих обсягів даних. Інтеграція NetHunt CRM із BigQuery дозволяє автоматично та на регулярній основі синхронізувати ваші CRM-дані (записи папок, таймлайн та емейл-кампанії) у сховище BQ. Це відкриває безмежні можливості для побудови складної аналітики.
💡Зверніть увагу: З боку Google послуга є повністю безкоштовною для більшості клієнтів (якщо ви не оперуєте колосальними обсягами), оскільки Google надає 1 ТБ безкоштовного ліміту на місяць.
⚠️ Важливо: Для налаштування цієї інтеграції в NetHunt CRM користувач обов'язково повинен мати роль із правами Manage Workspace.
Також Google автоматично блокує створення ключів для сервісних акаунтів на нових акаунтах/проєктах (policy "iam.disableServiceAccountKeyCreation").
Це стосується акаунтів, створених приблизно з травня 2024 року.
Рішення: використовувати старий Google-акаунт (створений до ~травня 2024) для створення GCP проєкту - на таких акаунтах обмеження немає.
Чому не можна просто зняти обмеження: єдиний спосіб вимкнути цю політику - через Google Cloud організацію, але для її створення потрібен власний домен (Cloud Identity/Google Workspace), тощо.
Налаштування в Google Cloud Platform та отримання ключів
Для інтеграції вам знадобиться звичайний або корпоративний Google-акаунт. Весь процес підготовки на стороні Google займає буквально кілька хвилин.
Перейдіть у консоль Google Cloud Platform.
Створіть новий проєкт (New Project) або оберіть існуючий.
💡Зверніть увагу: Google попросить підв'язати платіжну картку (billing) для верифікації акаунта (це потрібно обов'язково виконати, бо тоді ваші ключі не будуть працювати для інтеграції з NetHunt CRM), але використання в межах лімітів залишається безкоштовним.
Переконайтеся, що у вашому проєкті увімкнено BigQuery API (на нових акаунтах воно зазвичай увімкнено за замовчуванням).
Ви отримаєте сповіщення про новий проєкт:
Перейдіть у розділ IAM & Admin -> Service Accounts (Сервісні акаунти).
Натисніть Create Service Account, вкажіть назву та створіть його.
Заповніть:
- Name: наприклад, nethuntbigquery.
- ID: генерується автоматично з назви
(наприклад, nethuntbigquery@your-project.iam.gserviceaccount.com):
На етапі надання прав (Permissions) обов'язково призначте цьому акаунту роль BigQuery Admin (це найпростіший варіант, хоча за бажанням можна налаштувати й більш деталізовані доступи).
Чому саме BigQuery Admin?
Інтеграція потребує створення/видалення датасетів і таблиць, зміни схем
таблиць, вставки/оновлення/видалення рядків та управління мітками таблиць
для версіонування схем.
BigQuery Admin покриває все це. Вужча кастомна роль можлива, але не рекомендована для початкового налаштування.
Мінімальні права (для довідки):
Якщо ви віддаєте перевагу кастомній ролі замість BigQuery Admin, сервісний акаунт потребує щонайменше:
- bigquery.datasets.create — створення датасету для експорту.
- bigquery.datasets.get — читання метаданих датасету.
- bigquery.datasets.delete — очищення після верифікації облікових даних.
- bigquery.tables.create — створення таблиць експорту.
- bigquery.tables.get — читання схем таблиць.
- bigquery.tables.update — еволюція схеми (додавання колонок, міток).
- bigquery.tables.delete — перестворення таблиць при несумісних змінах схеми.
- bigquery.tables.getData — читання рядків (верифікація).
- bigquery.tables.updateData — INSERT, MERGE, TRUNCATE, DELETE.
- bigquery.jobs.create — виконання запитів.
Відкрийте створений сервісний акаунт, перейдіть на вкладку Keys (Ключі).
Натисніть Add Key -> Create new key, оберіть формат JSON і натисніть «Створити». Ключ автоматично завантажиться на ваш комп'ютер у вигляді текстового файлу.
Підключення BigQuery в NetHunt CRM
Тепер, коли у вас є завантажений JSON-файл із ключами, відкрийте його на комп'ютері за допомогою будь-якого текстового редактора (наприклад, Блокнот). З цього файлу нам знадобляться три значення (копіюйте лише текст всередині лапок, самі лапки копіювати не треба):
project_idclient_email(в інтерфейсі NetHunt це поле називається Service Email).private_key(довгий секретний ключ).
Перейдіть у NetHunt CRM, відкрийте Налаштування -> Інтеграції та оберіть BigQuery.
2. Скопіюйте відповідні дані з JSON-файлу у поля форми підключення.
3. Натисніть кнопку зберегти та зачекайте кілька секунд.
Після успішного з'єднання ви побачите статус підключення, ім'я власника, дату підключення та назву створеного датасету (контейнера в BigQuery, де зберігатимуться ваші дані).
Налаштування синхронізації записів папок
Ви можете налаштувати регулярну синхронізацію для будь-якої папки CRM.
У головному блоці інтеграції BigQuery натисніть кнопку налаштування поруч із "Записи".
Вибір полів "Схема". Оберіть папку, яку хочете синхронізувати. Виберіть галочками, які саме кастомні поля мають потрапляти у BigQuery (системні поля синхронізуються обов'язково та не вимикаються).
Параметри синхронізації. Налаштуйте наступні параметри:
Частота: Як часто запускати синхронізацію - кожен день, кожні 2, 4, 7 або 14 днів. Система покаже підказку у вашому часовому поясі, коли саме відбуватиметься процес.
Тип оновлення даних: Синхронізувати лише нові/оновлені дані (накопичувальний ефект) чи повністю перезаписувати (стирати й накатувати заново всю таблицю).
Які записи брати:
"Усі записи" - Негайно синхронізуйте наявні дані записів до BigQuery, а також записи, створені або оновлені після налаштування цієї синхронізації. Дані оновлюватимуться відповідно до розкладу.
"Лише нові та оновлені записи" - Синхронізуйте лише записи, створені або оновлені після налаштування цієї синхронізації. Дані оновлюватимуться відповідно до розкладу.
Синхронізувати події з історії активності: За замовчуванням увімкнено синхронізацію подій із таймлайну записів (файли, календарі, дзвінки, коментарі, чати типу WhatsApp тощо). За потреби ви можете вимкнути непотрібні типи подій.
💡Зверніть увагу: Наразі система не синхронізує історію змін записів (Record Updates), оскільки це специфічний формат.
Натисніть Синхронізувати. Якщо було обрано варіант "Усі записи", почнеться моментальне вивантаження даних.
Налаштування синхронізації емейл-кампаній
Синхронізація розсилок налаштовується окремо й дещо простіше. Після її увімкнення у BigQuery автоматично створяться три пов'язані таблиці:
email_campaigns.
email_campaign_messages.
email_campaign_events.
Це дозволить вам аналізувати відсотки відписок, баунсів чи закриттів за будь-який проміжок часу, чого наразі немає безпосередньо в інтерфейсі CRM.
Увімкніть синхронізацію для емейл-кампаній.
Оберіть частоту синхронізації.
Визначте режим (перезапис чи додавання лише нових даних) та оберіть, які кампанії вивантажувати (всі чи тільки нові).
Натисніть "Синхронізувати".
Керування інтеграцією та оновлення полів
Після запуску інтеграції в налаштуваннях NetHunt CRM ви можете:
Редагувати: Змінювати набір полів або розклад.
Ставити на паузу: Тимчасово зупиняти автоматичну синхронізацію без втрати налаштувань.
Видаляти: Повністю скидати налаштування синхронізації папки.
⚠️ Важливе правило щодо зміни структури даних (кастомних полів)
Система NetHunt CRM автоматично не змінює структуру таблиць у вашому BigQuery при додаванні нових полів у CRM. Це зроблено для того, щоб раптові зміни не зламали ваші вже побудовані аналітичні звіти в зовнішніх системах.
Якщо ви додали нове поле в CRM: В налаштуваннях синку папки з'явиться помаранчевий трикутник-попередження "⚠️". Вам потрібно розгорнути налаштування папки, знайти нове поле (воно підсвітиться), вручну поставити біля нього галочку та натиснути Далі, щоб воно почало вивантажуватися під час наступних синків.
Якщо ви видалили поле в CRM: У налаштуваннях синку це поле стане сірим і неактивним із підказкою "⚠️". Помаранчевий трикутник знову нагадає про необхідність перезберегти налаштування.
💡Зверніть увагу: Якщо ви видаляєте поле, папку чи всю інтеграцію в NetHunt, ми нічого не видаляємо та не зачищаємо у вашому особистому BigQuery з міркувань безпеки та збереження бекапів.
Що відбувається з видаленими записами?
Наразі в системі діє концепція повної синхронізації між системами. Якщо ви видаляєте конкретний рекорд (запис) всередині NetHunt CRM, система розпізнає його як оновлений, і під час наступної синхронізації записів також буде видалено з BigQuery.
Порада для створення статичного архіву: Якщо ви бажаєте зберегти зліпок даних на певний момент часу та зафіксувати його від видалень, ви можете запустити синхронізації, а потім безпосередньо в інтерфейсі BigQuery просто перейменувати або скопіювати отриманий датасет. Перейменований датасет NetHunt більше не чіпатиме.
Не знайшли відповідей, які шукали? Пишіть нам у чат підтримки прямо з CRM!
А також доєднуйтесь до спільноти однодумців в нашому телеграм каналі.