Algorytm Comixify do przekształcania wideo w komiks, opracowany przez zespół z Wydziału Elektroniki i Technik Informacyjnych Politechniki Warszawskiej, robi prawdziwą furorę. W ostatnich miesiącach twórcy intensywnie rozwijali swój projekt, a ten doczekał się już pierwszych nagród.
Od 12 grudnia 2018 roku, kiedy w Internecie ukazała się publikacja naukowa opisująca pomysł, strona Comixify zanotowała setki tysięcy wejść i wygenerowano na niej ponad 40 tys. komiksów. Rozwiązanie wzbudziło zainteresowanie osób prywatnych i firm z całego świata.
Algorytm stał się narzędziem do oryginalnego utrwalania wspomnień i tworzenia unikatowych prezentów. Z kolei marki zaczęły go wykorzystywać w swojej komunikacji marketingowej. Okazało się nawet, że Comixify może pomóc w terapii dzieci ze spektrum autyzmu.
Jak to działa?
Zamiana filmu w komiks składa się z dwóch etapów: wyboru najbardziej reprezentatywnych klatek (w oparciu o algorytm przewidywania popularności treści w Internecie oraz metodę uczenia ze wzmocnieniem – reinforcement learning) i transferu stylu (dzięki wykorzystaniu modelu sieci neuronowych typu GAN).
Pomysł na Comixify narodził się ponad roku temu. Adam Svystun, Maciej Pęśko i Paweł Andruszkiewicz zaczęli nad nim pracować przy okazji realizacji swoich prac dyplomowych, przygotowywanych pod kierunkiem dr. inż. Tomasza Trzcińskiego i przy wsparciu prof. dr hab. inż. Przemysława Rokity. Wszyscy twórcy są związani z Wydziałem Elektroniki i Technik Informacyjnych PW, a dokładnie – z Zakładem Grafiki Komputerowej Instytutu Informatyki.
Nowe funkcjonalności
Początkowo algorytm pozwalał na przekształcenie w jednostronicowy komiks wideo (maksymalnie 25-minutowego) opublikowanego wcześniej na YouTubie albo pliku (do 50 MB) przesłanego bezpośrednio z komputera użytkownika. Obecnie można zamienić także film zamieszczony wcześniej na Twitterze i TikToku.
Od czasu grudniowej premiery twórcy ułatwili pobieranie gotowego komiksu oraz udostępnianie go na Facebooku, Twitterze i LinkedInie. Na stronie Comixify pojawiły się też najnowsze komiksy wygenerowane przez inne osoby oraz możliwość ich oceniania. Dodatkową opcją jest dodawanie komiksowych dymków. Można albo wstawić losowo wybrane napisy z dostępnej bazy, albo wpisać własne teksty. Jeśli ktoś chce zaś otrzymać komiksową wersję całego wideo, wystarczy napisać do twórców i omówić z nimi szczegóły. Na kanale Comixify na YouTubie opublikowano tak przekształcone fragment filmu „Nietykalni” i zwiastun „Zimnej wojny”.
Sukcesy
Projekt naszych naukowców docenili specjaliści.
Został wymieniony wśród najważniejszych trendów 2019 roku związanych ze sztuczną inteligencją, opublikowanych przez CB Insights – platformę zajmującą się przygotowywaniem rynkowych prognoz. W konkursie dla start-upów podczas LSE Polish Economic Forum w Londynie Comixify zdobył zaś aż trzy nagrody: główną (przyznawaną przez jury), publiczności oraz nagrodę Social Impact. Zakwalifikował się również (jako jeden z siedmiu pomysłów) do międzynarodowego programu dla start-upów prowadzonego przez Betaworks – platformę znaną z zainwestowania w tak popularne internetowe projekty jak Giphy, Tumblr czy Medium. Oprócz trzymiesięcznego programu akceleracyjnego Betaworks zapewnia również dostęp do doświadczonych specjalistów ze świata technologii internetowych, jak również inwestycję, która pozwoli Comixify na dalszy rozwój.
Co dalej z Comixify?
Obecnie zespół skupia się na rozwoju społecznościowego potencjału projektu – zbudowaniu grupy użytkowników, którzy nie tylko będą wracać na stronę, ale też oglądać i oceniać komiksy wygenerowane przez innych.
Twórcy koncentrują się przede wszystkim na rynkach amerykańskim i azjatyckim. W planach jest także wprowadzenie zmian, które ułatwią korzystanie z algorytmu na telefonie komórkowym oraz docelowo wprowadzenie na rynek aplikacji mobilnej.
 fot. comixify.ai |
 fot. comixify.ai |