Naprawa instrukcji AI Vision: ChatGPT & Gemini Vision

Problemy z generowaniem spójnych, wieloetapowych instrukcji montażu czy naprawy za pomocą modeli takich jak ChatGPT Vision i Gemini Vision to coś, co przerabiałem już dziesiątki razy. Nie ma co ukrywać, że te narzędzia potrafią być frustrujące, gdy oczekujesz od nich logicznego, krok po kroku przewodnika, a dostajesz zlepki pomysłów. Klucz do sukcesu leży w zrozumieniu ich ograniczeń i właściwej inżynierii promptów, która sprowadza się do precyzji, podziału zadań i nieustannej iteracji. Nie ma tu żadnych cudów, tylko rzemieślnicza praca z modelem.

Dlaczego AI Vision pluje niespójnymi instrukcjami?

Powiedzmy sobie jasno: modele wizyjne są świetne w identyfikacji obiektów i opisywaniu scen. Ale przechodzenie od „widzę śrubokręt i śrubę” do „włóż śrubę A w otwór B i dokręć śrubokrętem” to już inna bajka. AI nie ma prawdziwego „rozumienia” fizycznego świata ani sekwencji przyczynowo-skutkowych. Opiera się na wzorcach, które widziało w danych treningowych. Jeśli widziało wystarczająco dużo instrukcji montażu mebli, może sobie poradzić. Jeśli zadanie jest nietypowe, zaczyna się gubić.

Główne problemy, na które natrafiamy to:

• Pomijanie kroków: AI zakłada, że coś jest oczywiste, albo po prostu „przeskakuje” do kolejnego rozpoznanego etapu.
• Brak spójności: Zmienia format, styl, a nawet logikę między poszczególnymi punktami.
• Niska precyzja: Używa ogólników tam, gdzie potrzebujesz konkretów. „Połącz części” – no dobra, ale które i jak?
• „Halucynacje”: Wymyśla kroki lub narzędzia, które nie istnieją w kontekście wizualnym.

Sprawdzone taktyki na spójne instrukcje

Skoro wiemy, gdzie leży pies pogrzebany, możemy zastosować sprawdzone metody. Moim zdaniem, to klucz do sukcesu – nie oczekuj, że AI zrobi wszystko za ciebie.

Podziel i rządź (Prompt Engineering 101)

To absolutna podstawa. Nie wrzucaj całej instrukcji na raz i nie oczekuj gotowca. Podziel zadanie na mniejsze, zarządzalne fragmenty.

• Krok po kroku, dosłownie: Nie proś o „kompletną instrukcję montażu”. Zacznij od „Opisz pierwszy krok montażu, używając obrazu X”. Następnie, w kolejnym prompcie, dodaj „Teraz opisz drugi krok, biorąc pod uwagę to, co zrobiliśmy w pierwszym”.
• Jasne role i cel: Zdefiniuj, że AI jest „ekspertem od montażu” lub „technikiem serwisowym”. Poproś, aby „stworzyło szczegółową, numerowaną listę instrukcji dla laika”.
• Wymuszaj format: Jeśli chcesz listy numerowanej, powiedz to wyraźnie: „Utwórz numerowaną listę od 1 do X.” „Każdy punkt musi zaczynać się od cyfry i kropki.” To eliminuje bałagan.
• Dodawaj kontekst tekstowy do obrazów: Jeśli masz zdjęcie elementu, który ma iść w konkretne miejsce, możesz dodać do promptu „Element A (widoczny po lewej) połącz z elementem B (widocznym na środku obrazu)”.

Wizualne wsparcie to podstawa

Jakość obrazów ma znaczenie, ale sposób, w jaki je prezentujesz, jest jeszcze ważniejszy.

• Czyste, wyraźne zdjęcia: Bez zbędnego tła, z dobrym oświetleniem. Każdy element musi być wyraźnie widoczny.
• Kąty widzenia: Pokaż proces z kilku perspektyw, jeśli to możliwe. To daje AI więcej danych.
• Adnotacje wizualne: Jeśli używasz narzędzia graficznego, możesz samodzielnie dodać strzałki, kółka czy numery na zdjęciach, a potem odwołać się do nich w prompcie. „(Czerwona strzałka pokazuje gdzie ma iść śruba).” To nie są żadne cuda.

Iteracja, nie inkantacja

Nie ma szans na perfekcję za pierwszym razem. To nie zaklęcie.

• Informacja zwrotna: Jeśli AI popełni błąd, powiedz mu o tym! „W kroku 3 pominąłeś montaż elementu Z. Popraw i dodaj ten krok.” „Pomyliłeś śrubę M6 z M8. Użyj poprawnej nazwy.”
• Stopniowe budowanie: Zacznij od zarysu instrukcji, a potem poproś o doprecyzowanie każdego kroku. Np. „Rozwiń krok 2 o szczegóły dotyczące narzędzi i siły dokręcenia.”
• Pytania pomocnicze: Jeśli AI się zacina, zadaj mu konkretne pytania: „Jakie narzędzie jest potrzebne do kroku 4?” „Czy jest jakaś konkretna kolejność dokręcania śrub?” Serio.

Czego NIE robić (bo i tak nie zadziała)

• Nie wrzucaj całego manuala PDF i nie proś o jego streszczenie w instrukcji: Modele Vision mają swoje limity znaków i liczbę tokenów. Zostaną obcięte, a kontekst się rozsypie.
• Nie używaj niewyraźnych, ciemnych zdjęć: AI to nie ludzkie oko, nie potrafi domyślać się detali w słabym oświetleniu.
• Nie oczekuj, że AI będzie logicznie „myśleć” jak człowiek: Ono przewiduje słowa na podstawie prawdopodobieństwa, a nie faktycznego zrozumienia.

Co zrobisz z tym dalej — twoja sprawa.

Najczęstsze pytania

Czy ChatGPT Vision jest lepsze od Gemini Vision do instrukcji?

Oba modele mają swoje mocne strony, ale ogólnie Gemini Vision bywa nieco lepsze w rozumieniu kontekstu wizualnego i generowaniu spójnych odpowiedzi, choć różnice są subtelne i zależą od specyfiki zadania.

Ile obrazów mogę załadować do prompta?

Limit zależy od konkretnego modelu i jego wersji, ale zazwyczaj można załadować kilka do kilkunastu obrazów na jeden prompt, pamiętając jednak, że im więcej danych, tym dłużej trwa przetwarzanie.

Czy AI może tworzyć schematy montażowe?

Modele Vision są w stanie opisywać schematy, ale ich tworzenie od podstaw w sensie generowania grafik jest poza ich zasięgiem. Mogą interpretować istniejące schematy i na ich podstawie generować instrukcje tekstowe.