295 оқулар Жаңа тарих

Алдыңғы мақалаЧТО НАДО ДЕЛАТЬ ДЛЯ РАЗВИТИЯ ПРОМЫШЛЕННОСТИ: benchmark comparisons

бойынша Oleg Kokorin6m2025/04/21
Read on Terminal Reader

Тым ұзақ; Оқу

ҚазАқпарат - Бүгін футболдан UEFA Еуропа лигасы топтық кезеңіндегі төртінші тур ойындары өткізіледі.
featured image - Алдыңғы мақалаЧТО НАДО ДЕЛАТЬ ДЛЯ РАЗВИТИЯ ПРОМЫШЛЕННОСТИ: benchmark comparisons
Oleg Kokorin HackerNoon profile picture
0-item

Қаладағы төтенше жағдай жолаушылар пойыздарының кестесіне де әсер етпейді.


Ауызша қарым-қатынас дағдысы:


    Әкімшілік
  • Қазақстан мен Еуропа мен Еуропа мен Еуропа 20 %
  • Әкімшілік
  • Қазақстан индустриясының жетекшісі объектілері қандай?
  • Әкімшілік
  • Тақырып: Қазіргі уақытта қандай маңызы бар?
  • Әкімшілік

Tested Models

To meet the goal of this test, I set out on a search for AI models using these criteria:


    Әкімшілік
  • Популярность: Популярные моделі жақсы қолдау және документация бар.
  • Әкімшілік
  • Өзінің әйгілі «Быть или не быть» монологында Гамлет бүкіл адамзатты толғандыратын мәселені көтереді.
  • Әкімшілік
  • Интеграция: Бұл тестілеу нәтижесін практикалық пайдалануға болады, барлық моделі үшін API интеграцияны мүмкіндік береді.
  • Әкімшілік

Мен 7 маусымда, 7 маусымда, 1 маусымда, 1 маусымда, 1 маусымда, 1 маусымда, 1 маусымда, 1 маусымда, 1 маусымда.


    Әкімшілік
  • Amazon Analytics Expense API, немесе «AWS»
  • Әкімшілік
  • «Azure AI Document Intelligence» — «Azure» немесе «Invoice Prebuilt»
  • Әкімшілік
  • Google Document AI – «Google» немесе «Invoice Parser»
  • Әкімшілік
  • GPT-4o API - 3rd party OCR немесе «GPTt» тексті
  • Әкімшілік
  • GPT-4o API - жүктеу, немесе «GPTi»
  • Әкімшілік
  • Gemini 2.0 Pro Experimental, or “Gemini
  • Әкімшілік
  • Deepseek v3 - тексті қосылу, немесе «Deepseek-t»
  • Әкімшілік

Ақтөбе қаласында

Модельлар 20 фактісі ( 2006-2020 жылдардағы) түрлі жабдықтар мен жылдықтарда тестілеуді қабылданады.


Қаланың тұрақты тұрғындарының саны 2006 - 2010 жыл 6 2011 - 2015 жыл 4 2016 - 2020 жыл 10
Қаланың тұрақты тұрғындарының саны 2006 - 2010 жыл 6 2011 - 2015 жыл 4 2016 - 2020 жыл 10ӘкімшілікҚазАқпарат - БүгінӘкімшілік

Number of Invoices

ҚазАқпарат - Бүгін

ҚазАқпарат - Бүгін

Әкімшілік

Қолданушылар

Қолданушылар

2006 — 2010 жыл 6Әкімшілік

2006 — 2010

2006 — 2010 жыл

6 Үлкен

6 Үлкен

2011 — 2015 жыл 4Әкімшілік

2011 — 2015 жыл

2011 — 2015 жыл

4 Үлкен

4 Үлкен

Әкімшілік

2016 жыл – 2020 жыл

Әкімшілік10 қаңтарӘкімшілік

2016 жыл – 2020 жыл

2016 жыл – 2020 жыл

10 қаңтар

10 қаңтар


методикасы

Сонымен қатар, банктер өз қызметі үрдісінде ақшалардың бір бөлігін жояды.


Invoice Id, Invoice Date, Net Amount, Tax Amount, Total Amount, Due Date, Purchase Order, Payment Terms, Customer Address, Customer Name, Vendor Address, Vendor Name, Item: Description, Item: Quantity, Item: Unit Price, Item: Amount.


Fields extracted by the models were mapped to a common naming convention to ensure consistency. LLM models (GPT, DeepSeek, and Gemini) were specifically asked to return the results using these common field names.

Invoice Items Detection

Қаланың тұрақты тұрғындарының саны 435 адамды құрайды (2008).


Description, Quantity, Unit Price, Total Price

Эффективтiк метрикалық

Қаланың тұрақты тұрғындарының саны 435 адамды құрайды (31 желтоқсан 2010 жыл).


Тақырыптар: Тақырыптар: Тақырыптар: Тақырыптар: Тақырыптар: Менеджмент ғылым және практика ретінде


Неспецификалық Essential Fields: Ақтөбе қаласында ұзақтығы (RLD, %) барлығы бар.


Алдыңғы мақалаЧТО НАДО ДЕЛАТЬ ДЛЯ РАЗВИТИЯ ПРОМЫШЛЕННОСТИ?

Формула

Қаланың тұрақты тұрғындарының санының 1 млн. адамды құрайды (2009 жылдан бастап) және 1 млн. адамды құрайды (2009 жылдан бастап) және 1 млн. адамды құрайды (2009 жылдан бастап) және 1 млн. адамды құрайды (2009 жылдан бастап) және 1 млн. адамды құрайды (2009 жылдан бастап) және 1 млн. адамды құрайды (2009 жылдан бастап).


Эффе-I, %: Eff-I, % = Позитивті IF (ALL (Мінімі, Едитік баға, мөлшері - позитивті) және RLD (Описание) > RLD құны) * 100

Қаланың тұрақты тұрғындарының саны

Эффективтiктерiнiң анықтамасын (элементтерiнiң анықтамасын)


Эффективтiктерiнiң анықтамасын (iшiнде элементтерiнiң қолайлы)


Note: Google-тың нәтижелері Google-тың элементтерінің қанағаттандыруын қамтамасыз етеді.

Top Insights

Azure isn’t the best with item descriptions.

Бұдан басқа, «Кристалл Менеджмент» АҚ көмірсутегі шикізатының перспективалық блогы бойынша іздестіру жұмыстарын Оңтүстік Торғай алқабында жүргізеді.


Қаланың тұрақты тұрғындарының саны 343 адамды құрайды (31 желтоқсан 2010 жыл).


💡 Azure’s inability to parse multi-word descriptions in structured fields highlights a critical limitation compared to competitors.

Функционалдық нұсқаулық нұсқаулық нұсқаулық нұсқаулық нұсқаулық нұсқаулық нұсқаулық нұсқаулық.

Low resolution (as perceived by the human eye) of invoices generally did not degrade detection quality. The low resolution mainly results in minor recognition mistakes, for example, in one of the invoices, Deepseek mistook a comma for a dot, leading to an incorrect numerical value.


💡 Modern OCR and AI models are robust to resolution issues, though rare formatting errors may occur.

Google объектілерімен қамтамасыз етеді.

Google барлық елементі салаларын қосылуға, оның ішінде нәтижесін басқа да моделімен салыстырмайды.


Қазіргі уақытта:


Барлық басқа қызметтер 100% толығымен детективті, атрибуттардан тұрады.


💡 Google’s AI is not capable of extracting structured data without fine-tuning.

Бұдан басқа, мультирегиондық элементтерінің описы детективті сапасын тиімді алмайды.

💡 Except for Google AI’s case above, multi-line item descriptions did not negatively impact detection quality across all models.

Gemini has the best “attention to detail.”

Бұдан басқа, «Кристалл Менеджмент» АҚ көмірсутегі шикізатының перспективалық блогы бойынша іздестіру жұмыстарын Оңтүстік Торғай алқабында жүргізеді.


Example invoice:


Дәстүрлік материалдар мен материалдар:

Accurate results


ҚазАқпарат - ҚазАқпарат - Бүгін

Same attributes but inaccurate values


DeepSeek өтінімдер:

Most of values are incorrect or absent, bad text in text attributes


💡 Gemini has the highest items extraction accuracy compared to other LLMs: it extracts all fields, not just the standard ones, and has the highest accuracy in preserving text and numerical values.

Жұмыспен қамту

Қаланың тұрақты тұрғындарының саны 1000 адамды құрайды (2008).


ӘкімшілікҚаланың тұрақты тұрғындарының саны 950 адамды құрайды (31 адамды құрайды (31 адамды құрайды (31 адамды құрайды (31 адамды құрайды) (31 адамды құрайды (31 адамды құрайды) (31 адамды құрайды) (31 адамды құрайды (31 адамды құрайды) (31 адамды құрайды) (31 адамды құрайды) (31 адамды құрайды (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құрайды) (32 адамды құ
Тақырып: Тақырып: Тақырып: Тақырып: Тақырып: Тақырып: МенеджментAWS $10 / 1000 беттер (1) $0.01ӘкімшілікҚаланың тұрақты тұрғындарының саны 10 000 адамды құрайды (2008).Google Docs AI $10 / 1000 беттер $0.01Әкімшілік«GPTT»: GPT-4o API, 3 жастағы OCR $2.50 / 1М ұялы токен, $10.00 / 1М ұялы токен (2) $0.021ӘкімшілікӘкімшілікӘкімшілік

«GPTI»: GPT-4o немесе

Әкімшілік

$2.50 / 1М қосымша токен, $10.00 / 1М қосымша токен

Қаланың тұрақты тұрғындарының саны 0,0087 адамды құрайды.ӘкімшілікҚаланың тұрақты тұрғындарының саны 950 адамды құрайды (31 желтоқсан 2010 жыл).ӘкімшілікDeepseek v3 API $10 / 1000 беттер + $0.27 / 1М құны, $1.10 / 1М құны $0.011ӘкімшілікТақырып: Тақырып: Тақырып: Тақырып: Тақырып: Тақырып: МенеджментӘкімшілік

Service

Сервис

Өнімдер

Өнімдер

Қаланың тұрақты тұрғындарының саны (медициналық анализ)

Қаланың тұрақты тұрғындарының саны (медициналық анализ)

AWS $10 / 1000 беттер (1) $0.01АУС

AWS

АУСҚаланың тұрақты тұрғындарының саны 10 000 адамды құрайды (2008).

Қаланың тұрақты тұрғындарының саны 10 000 адамды құрайды (2008).

0 0 0 0 0

0 0 0 0 0

Қаланың тұрақты тұрғындарының саны 10 000 адамды құрайды (2008).Тақырыбы: Azure AI Document Intelligence

Azure AI Document Intelligence

Тақырыбы: Azure AI Document Intelligence$10 / 1000 беттер

$10 / 1000 беттер

$0.01

$0.01

Google Docs AI $10 / 1000 беттер $0.01Әкімшілік

«Google» бағдарламасы

Google Document AI

«Google» бағдарламасыӘкімшілік

$10 / 1000 беттер

$10 / 1000 беттер

0 0 0 0 0

$0.01

Әкімшілік«GPTT»: GPT-4o API, 3rd-партиялық OCRӘкімшілік

$2.50 / 1М сыртқы токен, $10.00 / 1М сыртқы токен (2)

Әкімшілік0 0 0 0 0 0 0Әкімшілік

«GPTT»: GPT-4o API, 3rd-партиялық OCR

“GPTT”: GPT-4o API, text input with 3rd party OCR

«ГПТ»:

$2.50 / 1М сыртқы токен, $10.00 / 1М сыртқы токен (2)

$2.50 / 1М сыртқы токен, $10.00 / 1М сыртқы токен (2)

0 0 0 0 0 0 0

0 0 0 0 0 0 0

ӘкімшілікӘкімшілік

«GPTI»: GPT-4o немесе

ӘкімшілікӘкімшілік

$2.50 / 1М қосымша токен, $10.00 / 1М қосымша токен

Қаланың тұрақты тұрғындарының саны 0,0087 адамды құрайды.Әкімшілік

«GPTI»: GPT-4o немесе

“GPTI”: GPT-4o only

“GPTI”: GPT-4o onlyӘкімшілік

$2.50 / 1М қосымша токен, $10.00 / 1М қосымша токен

$2.50 / 1М қосымша токен, $10.00 / 1М қосымша токен

Әкімшілік

Қаланың тұрақты тұрғындарының саны 0,0087 адамды құрайды.

Қаланың тұрақты тұрғындарының саны 0,0087 адамды құрайды.

Қаланың тұрақты тұрғындарының саны 950 адамды құрайды (31 желтоқсан 2010 жыл).Көрермендер 2.0 Pro

Gemini 2.0 Pro

Көрермендер 2.0 ProҚаланың тұрақты тұрғындарының саны 2,50 адамды құрайды (31 желтоқсан 2010 жыл).

Қаланың тұрақты тұрғындарының саны 2,50 адамды құрайды (31 желтоқсан 2010 жыл).

Әкімшілік

Қаланың тұрақты тұрғындарының саны 0 0045

Қаланың тұрақты тұрғындарының саны 0 0045

Deepseek v3 API $10 / 1000 беттер + $0.27 / 1М құны, $1.10 / 1М құны $0.011Әкімшілік

Deepseek v3 API бағдарламасы

Deepseek v3 API

Deepseek v3 API бағдарламасыӘкімшілік

$10 / 1000 pages + $0.27 / 1M input tokens, $1.10 / 1M output tokens

$10 / 1000 бет + $0.27 / 1М қосымша токен, $1.10 / 1М қосымша токен

Әкімшілік

0 0 0 0 0 0 0

0 0 0 0 0 0 0


Notes:

(1) — $8 / 1000 pages after one million per month

(2) — Текстерлік пайдалану моделіне пайдалануға 1000-ден астам АҚШ доллары

Ключевые результаты

Most Efficient: Gemini және GPT-4o барлық фактілерінде экстракцияны эффективті және консистенцияны қол жетімді.

Worst performer: Google AI is the worst out of all of the tested models when it comes to item extraction, making the overall efficiency score low. Google combines all item fields into one line, making it the worst choice for using it out of the box.

Least ReliableТақырып: DeepSeek тексті мен цифрлық нөмірінде қуаты бар.

Қандай модель үшін ең жақсы?

✅ Gemini, AWS, or Azure for high-accuracy data extraction.

✅ GPT-4o (text input with third-party OCR) for cost-effective invoice recognition and a great “cost—efficiency” balance.

Google AI-ның қосылуын қамтамасыз ету, Егер сіз жоғары толығымен елементі экстракциялауға болады.

L O A D I N G
. . . comments & more!

About Author

Oleg Kokorin HackerNoon profile picture
Oleg Kokorin@olegkokorin
CEO of Businessware Technologies, machine learning engineer

ТЕГТЕРДІ АЛУ

БҰЛ МАҚАЛА БАСҚАРҒАН...

Trending Topics

blockchaincryptocurrencyhackernoon-top-storyprogrammingsoftware-developmenttechnologystartuphackernoon-booksBitcoinbooks