Скопировать товары с чужого сайта

Скопировать товары с чужого сайта

Видео-инструкция по пользованию Турбо.Парсером:

Турбо.Парсер позволяет за несколько минут скопировать (спарсить) товары с интернет-магазина поставщика. Товары можно сразу автоматически выгрузить в социальные сети (Вконтакте и Одноклассники), а также скачать их в файле XLS (Excel) и CSV для последующей загрузки на сайт или форум совместных покупок. Весь процесс разделяется на 3 этапа: копирование товаров (парсинг) — настройка выгрузки – Выгрузка

1) Для всех платных сайтов, которые не добавлены в подписку в личном кабинете, — мы предоставляем доступ пробного парсинга с ограничением не более 10 товаров со страницы раздела.

Таким образом вы сможете оценить, как тот или иной сайт парсится и протестировать выгрузку.

1.1 Бесплатные сайты не требуют подписку и парсятся без каких либо ограничений на любом тарифном плане.

2) Копирование товаров

Вы можете загружать товары с сайта поставщика 4 способами:

2.1 Уставите кнопку Турбо.Парсер в закладки (нажмите на кнопку снизу левой кнопкой и перетяните ее в строку закладок в вашем браузере). Далее зайдите на нужную страницу на сайте поставщика и нажмите кнопку Турбо.Парсер на панели закладок. Подробную инструкцию, можно посмотреть здесь

2.2 Если на сайте поставщика установлен виджет, то вы можете легко скачать с помощью него, просто нажав на кнопку «Скопировать» в виджете. Подробную инструкцию, можно посмотреть здесь

2.3 Вы также можете скопировать адрес нужной странице с товарами с сайта поставщика и вставить ее в строку на нашем сайте. Подробную инструкцию можно посмотреть здесь

2.4 Вы можете произвести настройку выгрузки товаров через планировщик задач «Мои выгрузки».

Также можно настроить выгрузку по расписанию. Подробная инструкция планировщика по ссылке.

3) Настройка выгрузки

После того, как вы скопировали товары вы можете настроить выгрузку в соц. сети Вконтакте и Одноклассники , а также экспортировать фалы в формате CSV и XLS для выгрузки на сайты СП, форумы и т.д.

В меню настройк выгрузки вы сможете:

  • создавать и менять шаблоны настройки выгрузки
  • изменить цены (добавить ОРГ% и/или транспортные расходы).
  • округлить цену
  • конвертировать цены на товар в любую другую валюту
  • добавить свои комментарии по товарам
  • поменять порядок полей, их название и отключение ненужных
  • добавить свои разделители для изображений, размеров и цветов
  • настраивать ссылки изображений

4) Выгрузка в социальные сети или скачивание файла

Далее вы либо выгружаете товары в соц. сети, либо скачиваете файл в формате XLS/CVS

Более подробную инструкцию по настройке и выгрузке товаров вы найдете в соответсвующем пункте в разделе "Инструкция"

Для того чтобы скопировать основную информацию о товарах (названия, свойства, дополнительные характеристики и изображения) в другой интернет-магазин, воспользуйтесь функцией экспорта/импорта каталога товаров с помощью CSV-файла, как описано ниже:

  1. Экспортируйте каталог товаров из исходного магазина в CSV-файл в разделе Продукты ->Экспорт.
  2. Если в исходном магазине товарам присвоены дополнительные характеристики, создайте такие же характеристики в целевом магазине. Список допустимых значений указывать не нужно — достаточно только создать дополнительные характеристики товаров с такими же названиями.
  3. Импортируйте CSV-файл с информацией о товарах в целевой магазин в разделе Продукты ->Импорт. При импорте файла выберите сопоставление столбцов файла с соответствующими свойствами товаров, включая дополнительные характеристики.
  4. Скопируйте изображения товаров из каталога published/publicdata/КЛЮЧ_БАЗЫ_ДАННЫХ/attachments/SC/products_pictures/ на сервере исходного магазина в аналогичный каталог на сервере целевого магазина.

Внимание: функция импорта CSV-файла не позволяет переносить информацию о дополнительных родительских категориях, рекомендуемых товарах и тегах (для облака тегов).

В» данной статье мы разберем, как парсить сайты с помощью «Netpeak Spider» (десктопной программы для парсинга) на примере интернет-магазина. Он позволяет собрать практически любые данные в автоматизированном режиме.

Читайте также:  Подать жалобу на мосэнергосбыт

Довольно часто «Netpeak Spider» используют для сбора информации о товарах с интернет-магазинов с возможностью выгрузки в Excel таблицу. Это необходимо для того, чтобы в дальнейшем импортировать эти данные на свой сайт.

Вам нужно спарсить товары или какие-то данные, возникли вопросы? Закажите персональную скайп/вайбер/вотсап консультацию – 30 мин – 999 руб. Я отвечу на ваши вопросы, подскажу как лучше настроить парсинг, импорт, обновление цен и товаров.

Не хотите разбираться в нюансах – вам нужен готовый результат. Закажите парсинг товаров или любых данных – парсинг 1 сайта за 4999. Нужно спарсить и импортировать товары на сайт, настроить обновление цен или синхронизацию каталога с сайтом поставщика по расписанию – закажите готовое решение за 9999. Напишите мне через форму контакта детали своего проекта и мы обсудим как я могу вам помочь .

Парсинг товаров с сайта интернет магазина в таблицу

Если Вы обладатель сайта агрегирующего/продающего товары по тематике, к примеру, «Оборудование для общепита», и в Вашем интернет-магазине представлена эта категория, то парсер товаров с сайта поставщика в таблицу Вам может определенно пригодиться.

Связано это с тем, что далеко не все поставщики могут дать Вам выгрузку товаров в формате excel. Либо она обладает излишними данными, которые предполагают большой объем работы: картинки, вставленные непосредственно в таблицу, много ненужной информации, макросы и т.д. Проще взять нужную Вам информацию с исходного сайта, выбрав в автоматизированном режиме именно те данные, которые нужны Вам. Потом можно выгрузить их в эксель или csv таблицу, чтобы в дальнейшем импортировать с помощью «WP All Import» на WordPress сайт или какой-то другой.

К слову, не обязательно работать с интернет-магазинами, поскольку «Netpeak Spider» позволяет добывать любую информацию с любых сайтов. Вы с таким же успехом можете парсить текстовую информацию, к примеру: новости, аналитику, картинки, агрегировать статистику и эту информацию импортировать в WordPress с помощью «WP AllImport». Либо можно применять дополнительные фильтры и продолжать работать с полученной информацией в табличном виде.

Так же можно пускать ее в дальнейшее производство. Например, спарсить e-mail по списку сайтов и в дальнейшем пустить их в систему е-mail рассылок. Либо на основе этих e-mail создать аудиторию для ретаргетинга в рекламной компании (Вконтакте или через Яндекс аудитории).

Если Вам интересно узнать более подробно о том, как импортировать товары или данные из уже полученной таблицы, то Вы можете посмотреть вот это видео. Там я подробно рассказываю, как это сделать на примере сайта на WordPress и плагина «WP All Import».

Настройки парсинга данных «Netpeak Spider»

Если мы хотим собрать информацию по всем товарам, которые есть в каталоге интернет-магазина, то нам необходимо заполнить следующие поля:

Для этого нам необходимо проделать следующие действия:

Всего в программе 4 вида поиска:

  • Содержит → считает количество вхождений искомой фразы на странице. Работает в формате «только поиск», то есть не извлекает никаких данных. Самый простой вид поиска: представьте, что Вы, просматривая исходный код страницы, просто нажимаете Ctrl+F и вводите необходимую фразу – программа делает это автоматически на всех страницах и показывает, сколько значений она нашла.
  • RegExp → извлекает все значения, соответствующие заданному регулярному выражению. Работает в формате «поиск и извлечение». Следующий по сложности вид поиска: позволяет больше кастомизировать процесс, значительно расширяя возможности поиска, однако требует базовых знаний регулярных выражений. Читайте подробнее о регулярных выражениях.
  • CSS-селектор → извлекает все значения необходимых HTML-элементов на основе их CSS-селекторов. Работает также в формате «поиск и извлечение». Достаточно простой и, в то же время, мощный способ извлечения данных: например, необходимо указать всего лишь одну букву «a», чтобы вытянуть все ссылки со страницы. Читайте подробнее о CSS-селекторах (на английском языке).
  • XPath → извлекает все значения необходимых HTML-элементов на основе их XPath. Работает также в формате «поиск и извлечение». Самый мощный способ выборки данных, однако, требует определённых знаний и опыта. Читайте подробнее об XPath.
Читайте также:  Общее образование включает в себя ответ

Копирование необходимых элементов через xPath

Для того чтобы скопировать необходимые элементы через xPath, открываем наш сайт и карточку товара, где содержится информация. Чтобы проще идентифицировать элементы, нам понадобится консоль вебмастера:

  • В Chrome она вызывается клавишей F12.
  • После этого нажимаем на иконку выделения со стрелкой.
  • Выделяем необходимые элементы — название товара в данном случае.
  • Консоль подсвечивается, и мы нажимаем правой кнопкой мыши для выбора опцию «копировать в xPath».

После того данные в xParth скопированы, можно переходить в настройки парсинга. В том поле, мы будем парсить название, необходимо выдрать опцию xPath. Туда же ставим скопированный xPath из консоли вебмастера.

После этого можно проделать те же самые шаги для «Описания». Если Вы хотите скопировать не весь текст, то можно выделить только определенную его часть. Но так как в данном примере нас интересует полностью описание, то я выбираю тег, который содержит «Описание» и «Особенности».

Особенности парсинга картинок с помощью CSS-селектора

Спарсить картинку xPath нам не поможет. Связано это с тем, что если мы выделим ее таким же образом и попробуем скопировать xPath, то он будет уникальный для конкретного товара. То есть он будет содержать id конкретной картинки, и когда парсер «Netpeak Spider» будет переходить по карточкам других товаров, то там этот id будет меняться, и мы никакую информацию не скопируем.

Поэтому в данном случае, чтобы скопировать url картинки, мы воспользуемся таким методом извлечение данных, как CSS-селектор. Чтобы Вам проще было работать с CSS-селекторами, я рекомендую установить расширение для Chrome оно называется «ChroPath». После установки он будет находиться в правом верхнем углу экрана.

Нас интересует значение src для тега image, так как в нем содержится url нашей картинки. Так как у этого тега img нет какого-то определенного класса, то мы можем посмотреть, что является его родителем.

Мы видим, что этот тег img находится внутри div с id «ShowCardImage». Соответственно, в настройках CSS-селектора мы можем указать, чтобы он нашел на странице элемент с id «ShowCardImage», а потом нашел внутри него img и скопировал значение атрибута src.

С помощью расширения ChroPath открываем вкладку в консоли вебмастера. Здесь можно выбрать, какой тип селектора мы хотим использовать.

Я указываю в ChroPath: id «#ShowCardImage», и потом говорю, какой элемент меня интересует, т.е. img.

После этого я нажимаю «Enter» и он мне выдает информацию согласно CSS-селектору: подсвечивает картинку, которую нашел, а так же фрагмент кода, который соответствует данному CSS-селектору.

Я сразу могу протестировать, правильно ли работает мой CSS-селектор. Здесь, в настройках программы «Netpeak Spider», мне нужно указать, что меня интересует значение атрибута src. Переходим в настройки, в поле «Картинка» и выбираем опцию извлечения данных «CSS-селектор». Далее нужно поставить правило, чтобы найти элемент с id «ShowCardImage» и внутри него найти картинку (тег img), а потом из него извлечь значение атрибута src.

Ограничение области парсинга

Далее, чтобы не парсить лишних данных и не собирать ненужную информацию необходимо ограничить область поиска парсера. Нас не будут интересовать страницы «О компании», «Статьи», «Контакты», «Блог», «Акции» и те разделы сайта, где не содержится информация о товарах. Мы хотим спарсить только каталог, взять информацию о товарах, а все остальные страницы просто игнорировать.

Для этого в «Netpeak Spider» можно задать правила:

  1. Заходим в «Настройки» — «Правила», нажимаем «Добавить правила»;
  2. Ставим «Включить» в таблицу только те url, которые содержат папку /goods/.
  3. Если мы перейдем на какие-то другие страницы сайта, то увидим, что они сгруппированы по категориям.
  4. Если мы посмотрим по всем страницам каталога товаров, то увидим, что они все идут через категорию /goods/. То есть в адресе сайта у нас содержится папка /goods/, и все товары содержатся в ней.
Читайте также:  Исправительные работы как вид административного наказания

Создание групп правил в «Netpeak Spider»

При необходимости мы можем создавать группы правил и выстраивать логику работы между ними.

  1. Логическое условие «или». Например, если я хочу парсить информацию только из разделов каталога или статей, то я могу добавить второе правило включать в исходный отчет только раздел /goods/ и /articles/ и поставить между ними логическое условие «или». То есть если страница содержит, либо другое, то нужно добавлять ее в отчет.
  2. Логическое условие «и». Правило «и» применяется, когда url должен удовлетворять всем правилам, и таким образом фильтровать и экономить ресурсы парсера.

После того как мы задали условия парсинга и правила обхода сайта – сохраняем настройки и нажимаем «ОК»

Экспорт результатов парсинга

В параметрах мы выбираем тот вид работы, который должен производиться программой. То есть я выбираю здесь исключительно парсинг. Меня не интересует, чтобы «Netpeak Spider» собирал информацию по индексации, битым ссылками и другим параметрам SEO, которые предназначены для анализа внутренней оптимизации сайта. Это необходимо для ускорения работы, а так же для экономии ресурсов и времени.

После того, как выбрана опцию «Парсинг», можно проставить изначальную ссылку на каталог. После этого «Netpeak Spider» перейдет в указанный раздел и начнет переходить по всем ссылкам, собирая информацию, согласно правилам и настройкам, которые мы указали ранее. Для этого:

  • Я ставлю ссылку на каталог, как начальный url.
  • После этого нажимаю «Запуск».
  • Мы видим на вкладке «Парсер», как происходит сбор данных. Если данные собраны, то нам будет показано, что они есть. Для тех полей, где их нет, мы сможем видеть, что они не собраны.

Когда парсер соберет всю информацию и обойдет весь сайт, можно перейти на отдельную вкладку и сразу все результаты посмотреть:

  • Ссылка на страницу товара;
  • Название товара;
  • Описание (где есть описание – оно подсвечивается, где нет – будет пустым);
  • Цена;
  • Картинка.

Мы видим, что все исходные данные собраны. После этого мы нажимаем «Экспорт» и сохраняем в нужном нам формате. Далее мы можем пустить эти данные в дальнейшую работу. Либо работать с ними в таблице и запускать дальнейший импорт на основе этих данных на наш сайт.

Заключение

Если у Вас возникли вопросы по работе «Netpeak Spider», то Вы можете задать свой вопрос в комментариях. Я постараюсь максимально подробно на него ответить. Если Вы не хотите разбираться с какими-то техническими моментами, и Вам просто нужен результат, то Вы можете и оставить заявку на обратную связь. Мы обсудим, как я смогу Вам помочь: как организовать парсинг, и как спарсить и импортировать данные на Ваш сайт.

Вы можете скачать Netpeak Spider и бесплатно пользоваться полноценной версией программы течении 14 дней здесь, если вы решите и дальше(после завершения 14 дней пробного периода) пользоваться Netpeak Spider то можете сэкономить 10% воспользовавшись промокодом 14ca4308.

Здравствуйте, меня зовут Дмитрий и Azoogle.ru этой мой блог

Как вы наверное заметили 🙂 я занимаюсь интернет маркетингом и всем что связано с увеличением продаж и прибыли. Я работаю с малым и средним бизнесом помогая им получать больше клиентов, делаю так чтобы клиенты покупали больше и чаще и таким образом добиваюсь значительного роста выручки и прибыли. Если вы занимаетесь законным бизнесом, любите свое дело и хотите расти то давайте обсудим как я могу вам помочь .

>

Ссылка на основную публикацию
Сколько стоит подключение воды к частному дому
Провести воду в частный дом в настоящее время не проблема. Технологии не стоят на месте, и большой выбор сантехнических товаров...
Сколько кубов воды тратит человек
«Расходуйте воду бережно» - на постоянной основе наседают на простого потребителя власти, экологи и ученые, стараясь призвать к сознательному потреблению...
Сколько лет была накопительная часть пенсии
Накопительная пенсия - это ежемесячная пожизненная выплата пенсионных накоплений, сформированных за счет страховых взносов работодателей и дохода от их инвестирования....
Сколько стоит получить инн
В это статье мы расскажем, что такое ИНН и для чего он нужен, как получить ИНН через МФЦ «Мои документы»...
Adblock detector