News-Parser

Опис

News-parser WordPress Plugin

News-parser – це плагін для WordPress, який дозволяє легко отримувати повний текст статті, а також зображення з сайту за допомогою RSS-стрічки. Проаналізована інформація з сайту зберігається у вигляді чернетки, яку ви можете просто опублікувати або відредагувати на свій розсуд. Це полегшує створення контенту для вашого сайту.

New Features

The following new features are available in the new version of the plugin:
* Sitemap Parsing: You can now parse information directly from sitemap files, expanding the sources of data for your content.
* Yoast SEO Integration for AI Descriptions: Seamlessly integrate with Yoast SEO to automatically generate compelling post descriptions using AI, enhancing your SEO efforts.
* Expanded AI Provider Support: Enjoy greater flexibility with added support for DeepSeek and Anthropic AI APIs, alongside existing providers.
* CSS Selector Parsing Templates: Create custom parsing templates using CSS selectors for precise and targeted data extraction from websites.
* Autopilot Post Filtering: Implement advanced filtering options when using the autopilot function, giving you more control over the content processed automatically.

Website and Documentation

Explore the plugin`s resources:

Website: https://www.news-parser.com/
Documentation: Docs

Особливості

• Підтримка редактора Gutenberg.
• Функція автопілота для автоматичного парсингу RSS
• Екстрактор візуального контенту.
• Підтримка WP-CLI
• Гнучка система створення шаблонів для прискорення парсингу.
• Можливість парсингу не тільки з джерела RSS XML, але й з url.
• Sitemap Parsing: Parse information directly from sitemap files.
• Yoast SEO Integration for AI Descriptions: Generate post descriptions using AI and integrate seamlessly with Yoast SEO.
• Expanded AI Provider Support: Supports DeepSeek, Anthropic, and other AI APIs.
• CSS Selector Parsing Templates: Create parsing templates using CSS selectors for precise data extraction.
• Autopilot Post Filtering: Advanced filtering options for autopilot function.

Встановлення

1. Ви можете клонувати репозиторій GitHub: https://github.com/zalevsk1y/news-parser.git
2. Або завантажте його безпосередньо як ZIP-файл: https://github.com/zalevsk1y/news-parser/archive/master.zip

Це призведе до завантаження останньої копії News-parser для розробників.

How to use NewsParser plugin?

Парсинг RSS

Для розбору RSS перейдіть в меню News-Parsing->Parsing RSS в адмін-панелі вашого сайту. Введіть адресу RSS-стрічки в рядок пошуку. Натисніть на кнопку Парсити RSS-стрічку. Після того, як дані будуть отримані з сервера, вони з’являться на вашому екрані. Ви можете відкрити візуальний екстрактор, натиснувши на іконку, і створити шаблон для парсингу постів з цього RSS-джерела або просто вибрати вміст, який вас цікавить, і зберегти його як чернетку.

Подивіться це коротке відео, щоб дізнатися, ЯК ПАРСИТИ З RSS за допомогою плагіна news-parser:

Щоб проаналізувати кілька дописів, виберіть їх і натисніть кнопку “Проаналізувати вибране”. Зачекайте, поки дані будуть збережені, про що вас сповістить повідомлення у верхній частині екрана. Іконка внизу повідомлення дозволяє перейти до редагування або публікації збереженої чернетки. Зверніть увагу, що парсинг вибраних повідомлень може бути виконаний тільки в тому випадку, якщо ви створили шаблон парсингу!

Подивіться це коротке відео, щоб дізнатися, як парсити кілька постів за допомогою плагіна news-parser:

Візуальний конструктор.

Щоб створити шаблон або просто вибрати вміст, який вас цікавить, скористайтеся візуальним конструктором. Ви можете відкрити візуальний конструктор, клацнувши значок у нижній частині поштової скриньки.
↵ Щоб вибрати вміст, натисніть на потрібний вам блок у головному вікні, і він буде позначений бірюзовою рамкою. Коли ви наведете курсор на вміст, очікувана область буде забарвлена в бірюзовий колір.↵ Щоб скасувати виділення, натисніть на блок ще раз. Спробуйте розділити різні типи контенту (картинки, відео, текст) на окремі блоки. Відео YouTube буде замінено зображенням логотипу YouTube. Ви можете видавити його, і це відео буде вставлено у вашу публікацію. Розбір відео з інших джерел поки що не підтримується. Зображення вставляються у ваш пост як посилання; винятком є пропоноване зображення, яке зберігається у вашій медіа-бібліотеці.↵ На бічній панелі ви можете змінити пропоноване зображення вашої публікації. Просто виберіть відповідне зображення в лівій частині дизайнера та натисніть кнопку Змінити зображення. Останнє вибране вами зображення буде вибрано як рекомендоване зображення. Ви також можете створити публікацію без основного зображення. Просто клацніть «Немає рекомендованого зображення».↵ Ви можете змінити назву публікації в наступному підменю «Заголовок публікації». Напишіть свою версію заголовка допису в текстарії та натисніть кнопку «Змінити заголовок».↵ Щоб додати посилання на джерело, поставте прапорець «Додати посилання на джерело» до допису. у підменю «Додаткові параметри».

Beyond visual content selection, you can now also leverage the power of AI directly within the constructor. A dedicated ‘AI’ tab is now available in the panel, allowing you to generate content using AI models. Simply navigate to the ‘AI’ tab to explore the available options and create engaging content.

Furthermore, to optimize your posts for search engines, you can now easily add AI-generated SEO descriptions.Within the panel, you will find an ‘SEO’ tab. In the ‘SEO’ tab, you can utilize AI to create compelling post descriptions, enhancing your SEO directly from the post visual creation interface.
Watch this short video to learn HOW TO USE VISUAL CONSTRUCTOR:

Створити парсінг шаблон

Щоб зберегти шаблон, необхідно в основному вікні візуального конструктора позначити вміст, вибрати пункт “Зберегти шаблон парсингу, який можна використовувати в автоматичному парсингу з цього джерела.” і натиснути кнопку “Зберегти шаблон”. Важливо розуміти, що окремі записи навіть з одного джерела можуть сильно відрізнятися, тому парсингові сторінки можуть не містити потрібного вам вмісту.

Now, you can also create powerful parsing templates using CSS selectors. In the ‘Template’ tab within the Visual Constructor, you’ll find a new section called ‘Template Patterns’. As you visually select elements in the main window, you will see their corresponding CSS selectors populate in the ‘Template Patterns’ block.

If you select the ‘Save Parsing Template’ checkbox, you unlock the ability to directly edit these template patterns. Two editable parameters become available: ‘Elements pattern’ and ‘Exclude elements pattern’.

It’s important to note that when you edit the ‘Elements pattern’ field, the elements you selected visually in the constructor will be disregarded. Therefore, if you intend to primarily use the visual constructor for creating parsing rules, leave the ‘Elements pattern’ field empty.

When editing the pattern fields, separate each CSS selector with a comma. Once you have finished editing your CSS selector patterns, click the ‘Update’ button to apply the changes and save your template. This allows for fine-grained control over content selection using the precision of CSS selectors.

Подивіться це коротке відео, щоб дізнатися, як створити шаблон парсингу:

Парс однієї сторінки сайту.

Щоб проаналізувати окрему сторінку, виберіть в адмін-панелі вашого сайту пункт News-Parsing-> Parse Page. У рядку пошуку введіть URL-адресу сайту і натисніть кнопку “Парсинг сторінки”. Відкриється візуальний конструктор. У візуальному конструкторі виберіть контент і натисніть кнопку Створити чернетку публікації. Чернетка буде автоматично створена, і ви зможете відредагувати її в редакторі постів. Якщо вас все влаштовує, ви можете просто опублікувати цей пост або відредагувати його на свій розсуд.

Подивіться це коротке відео, щоб дізнатися, як парсити одну сторінку за допомогою плагіна news-parser:

Функція автопілота для автоматичного парсингу RSS

The autopilot function is now available to automatically parse posts from an RSS feed. Please note that the WordPress cron system (wp-cron – https://developer.wordpress.org/plugins/cron/) is used for scheduling the autopilot function. WP-Cron triggers the task scheduler only when your website receives a visit. If you experience any issues with the autopilot function not running as expected, you can add the following line to your wp-config.php file: define('ALTERNATE_WP_CRON', true); This can sometimes improve the reliability of WP-Cron.

Щоб налаштувати параметри автопілота, виконайте такі дії:

1. Navigate to the Autopilot tab in the menu (News Parser -> Autopilot).
2. In the Schedule Options, select the URL that corresponds to the RSS source you want to parse from.
3. Click the Select button.

4. Once the data is loaded, the following configuration options will become available:

   • Status: Determines whether the autopilot is active (enabled) or inactive (disabled) for this specific source.
   • Maximum Number of Posts: Set the maximum number of posts to be parsed in a single autopilot run from this source.
   • Maximum Number of Autopilot Runs: Specify the total number of times the autopilot should run for this source before it automatically stops.
   • Parsing Frequency: Define how often parsing should occur from this source. You can set intervals like hourly, daily, etc.
   • Use Original Post Creation Date: Enable this option to use the original publication date from the source post as the creation date for your parsed post. If disabled, the post will be dated when it is parsed and published on your site.
   • Filter Type: Choose the type of filtering condition to apply. Available options are Include and Exclude.
   • Filter Object: Determines which post parameter will be used as the object for filtering rules. You can select from three options:
     • URL: Filter based on the URL of the source post.
     • Title: Filter based on the title of the source post.
     • Meta: Filter based on meta data from the source post.

   • Filtering Expression: Define the words or phrases to be used for filtering. Separate words with | (OR) or & (AND). For example: apple|grape (includes posts with “apple” OR “grape”) or apple&grape (includes posts with “apple” AND “grape”).

     If ‘Meta’ is selected as the Filter Object: You will need to specify the name attribute of the <meta> tag. The Filtering Expression will then be applied to the content attribute of the specified meta tag.

5. Крім того, в цьому меню ви можете видалити раніше збережені шаблони синтаксичного аналізу.

The Autopilot feature for automatically parsing RSS feeds has been significantly enhanced with new logging capabilities, removal of run and post limits, and more granular control over parsing behavior.

Подивіться це коротке відео, щоб дізнатися, як користуватися автопілотом з плагіном парсеру новин:

AI Feature

To use AI feature you need to get API key from OpenAI or from Google.
To use AI for generating content on your website, follow these instructions:
1. Set up the Open API Key:
– To setup OpenAPI key, open the wp-config.php file and add the following line to define your API key: define('NEWS_PARSER_OPENAI_API_KEY', 'your_key').
– To setup Google key, open the wp-config.php file and add the following line to define your API key: define('NEWS_PARSER_GEMINI_API_KEY','your_key').
2. Access the Visual Constructor: Go to the Visual Constructor within your website’s admin panel.
3. Select the AI Provider: In the AI tab of the Visual Constructor, you will see a list of available AI providers. Choose the desired provider from the list.
3. Generate Featured Image: In the Featured Image section, check the “Generate using AI” option if you want to generate a new featured image for your post. Select the model and enter a prompt. Use ${title} in the prompt wherever you want to insert the original title.
4. Generate Post Title: In the Post Title section, check the “Generate using AI” option if you want to generate a new title for your post. Select the model and enter a prompt. Use ${title} in the prompt wherever you want to insert the original title.
5. Generate Post Body: In the Post Body section, select the model for generating the post’s content. Enter a prompt in the request field and use ${post} where you want to include the original article’s text and you can use tag ${title} here as well.
6. Add Pipeline (Optional): If you need to modify the text using multiple requests, open the “Add Pipeline” tab. Enter the additional request text, which will automatically include the result of the previous request. Click “Add Prompt” to add this request to the pipeline. With the pipeline, you can ask the AI to review the results of the previous generation or request translation of the generated text into another language.
7. Apply AI Modifications: After configuring the AI settings for content modification, you can apply them immediately by selecting the content in the Visual Constructor and clicking the “Create Post” button. Alternatively, you can save these settings as a template for applying them during RSS parsing or when using the autopilot function.
Please note that when using AI for content generation, it requires making API requests to the OpenAI API, which will incur charges on your OpenAI account. Additionally, the AI generation process can take a significant amount of time.
By following these instructions, you can use artificial intelligence to create content for your website, whether it’s parsing individual pages, parsing from RSS feeds, or using the autopilot function.

SEO Feature

This tab contains three sections: Post Description, SEO Plugins, and Description AI Generation.

Post Description – This section displays the current post description and allows you to replace it with a custom description that you provide. To enable this feature and make the description visible in search results, you need to have an SEO plugin installed, such as Yoast SEO, and activate the SEO Integration within the plugin settings.

SEO Plugins – To utilize the SEO plugin integration, you must check the Enable SEO Integration option. Then, select your desired SEO plugin from the dropdown menu to establish the integration.

Description AI Generation – This section enables you to create and modify post descriptions using AI. When crafting your AI prompt, you can include the original post description by using the placeholder ${description}. This allows the AI to incorporate the existing description into the newly generated one if desired.

Підтримка WP-CLI

В останньому оновленні з’явилася нова функція, яка використовує wp-cli. Ця функція дозволяє користувачам активувати функцію автопілота, що дозволяє автоматично розбирати і зберігати пости з RSS-каналів. Функція автопілота тепер доступна безпосередньо з інтерфейсу командного рядка, що забезпечує зручний спосіб керування цим процесом.

Щоб скористатися цією функціональністю, вам потрібно буде встановити wp-cli та виконати команду wp autopilot в інтерфейсі командного рядка. Крім того, вам потрібно буде вказати бажаний інтервал, через який має запускатися функція автопілота, включивши додатковий параметр wp autopilot --interval=. Це дозволяє налаштувати частоту функції автопілота відповідно до ваших конкретних потреб.

Завдяки включенню wp-cli і нової команди “wp autopilot”, управління автоматичним розбором і збереженням публікацій з RSS-каналів стає більш ефективним і спрощеним. Ця функція забезпечує покращений контроль і гнучкість, дозволяючи користувачам з легкістю автоматизувати свої завдання з управління публікаціями.

Приклад:

wp autopilot --interval=hourly<h3>Dependencies</h3>

* php-simple-html-dom-parser https://github.com/sunra/php-simple-html-dom-parser

Помилки

Якщо ви виявили проблему, повідомте нам про це тут або Discord.

Контакти

• GitHub
• Discord
• Instagram