Sebuah website untuk mendeteksi American Sign Language (ASL). Mendapatkan peringkat 2 pada Summer School DTETI 2022 yang dibuat hanya dalam 3 hari. Team up with [Aulia Nur Fajriyah] as gorgeous UI designer.

# Features

## ASL Recognition

ASL Handy akan mendeteksi bahasa isyarat (American Sign Language) dan menampilkan hurufnya secara realtime.

![ASL Recognition](/portfolio/asl-handy/asl-u.png)

Berikut alur deteksi bahasa isyarat di ASL Handy.

![Flow App](/portfolio/asl-handy/flow-app.png)

Untuk mengklasifikasikan foto tangan ke alphabet (ASL), app ini menggunakan 2 library utama.

1. **Mediapipe:** Framework dari Google untuk mendeteksi titik-titik (vertices) pada tangan. FYI, Mediapipe ini masih memiliki banyak fitur lain.
2. **Tensorflow:** Framework Deep Learning. Digunakan untuk mendeteksi vertices hasil mediapipe menjadi klasifikasi alfabet ASL.

> **Note:** Deployment fitur ini di website cukup rumit karena dokumentasi Mediapipe yang sangat minim. Tidak adanya contoh penggunaan membuatku harus membaca kode di github Mediapipe untuk akhirnya bisa digunakan.

## ASL Translator

ASL Handy akan menalkuan terjemahan dari teks ke kumpulan gambar ASL. ASL Handy juga memiliki fitur speech-to-text sehingga pengguna hanya perlu mengucapkan kalimat yang ingin diterjemahkan ke kumpulan gambar ASL.

![ASL Translator](/portfolio/asl-handy/asl-translator.png)

# Links

- Github: [github.com/lutfiandri/asl-handy](https://github.com/lutfiandri/asl-handy)
- The site: [aslhandy.netlify.app](https://aslhandy.netlify.app/)

# Tech Stack

- Vanilla JS
- Mediapipe
- Tenfsorflowjs



[aulia nur fajriyah]: https://www.linkedin.com/in/aulianurfajriyah

> Note: Karena ini project dari suatu startup, informasi yang saya cantumkan di sini sangat saya batasi

[Dash Electric] merupakan startup yang menyediakan platform pengiriman untuk B2B di Indonesia. Di sini, saya bekerja sebagai satu dari tiga Backend Engineer yang membuat aplikasi MVP (Minimum Viable Product) atau aplikasi versi pertama dari Dash Electric. Project ini dipimpin oleh Product Manager kebanggaan saya, yakni Mas [Fury Oktria].

# Tech Stack

- Javascript
- PostgreSQL
- MinIO
- Firebase Cloud Messaging



[fury oktria]: https://www.linkedin.com/in/furyoktria
[dash electric]: https://www.dashelectric.co

> Proposal generator cerita jawa ini membuat tim kami masuk final Gemastik

# Contoh Hasil Cerita Jawa

Berikut hasil generator cerita jawa dengan input "ing sawijining dina".
![Hasil Cerita Jawa](/portfolio/gemastik-data-mining/generator-example.png)

# What We've Done

## Javanese Story Dataset Collection

Ada dua skema dataset yang digunakan untuk penelitian ini:

- Dataset I: Cerita berbahasa jawa yang diambil dari website dan pdf. Sebagian besar adalah cerita rakyat.
- Dataset II: Cerita berbahasa indonesia yang ditranslate ke bahasa jawa.

Kedua dataset masing-masing:

- Berjumlah 707 baris
- Telah dipisah maksimal 300 kata dalam satu baris (batasan jumlah token dari GPT-2)
- Dilakukan text preprocessing: menyeragamkan whitespace, mengganti karakter ke ASCII, menghapus URL, melakukan filter text selain cerita, dll.

## GPT-2 Finetuning

Terdapat dua model GPT-2 yang dilakukan finetuning dengan kedua skema dataset:

- GPT-2 medium berbahasa indonesia
- GPT-2 small berbahasa jawa

## Evaluation

Didapatkan hasil evaluasi sebagai berikut.
![Hasil evaluasi](/portfolio/gemastik-data-mining/evaluation-result.png)

# Meet the Team

- Me, Lutfi Andriyanto, the javanese story dataset collector from websites and PDFs.
- [Karunia Perjuangan], the main brain of this research.
- [Kayla Queenazima], the second brain and evaluator of this research.

# Links

- Kaggle: [https://www.kaggle.com/code/lutfiandri/gpt2-javanese](https://www.kaggle.com/code/lutfiandri/gpt2-javanese)



[karunia perjuangan]: https://www.linkedin.com/in/karunia-perjuangan-620420175
[kayla queenazima]: https://www.linkedin.com/in/kayla-queenazima-1545201b4

Sebuah website untuk orientasi mahasiswa baru di Universitas Gadjah Mada. Website ini kami kerjakan sebagai tim beranggotakan 7 orang dalam kurun waktu 5 bulan. Website ini sukses diluncurkan pada Mei 2022 dan telah diakses lebih dari 70 ribu kali hingga masa PPSMB berakhir di akhir Agustus 2022.

# Tech Stack

- Next.js
- Tailwindcss
- Strapi (Headless CMS)


> Stock Master mendapatkan juara 1 di Web Development IFEST UNPAD 2023

# Features

## Gamification ⭐

![Gamification](/portfolio/stock-master/gamification.png 'pembelajaran gamifikasi dan leaderboard')

Tim Kana mengangkat metode pembelajaran menggunakan metode gamifikasi, yang mana pengguna akan belajar trading saham dengan cara seperti bermain yang menyenangkan. Dari beberapa penelitian, metode gamifikasi ini terbukti lebih efektif dari pada pembelajaran dengan metode text book karena pengguna lebih antusias untuk belajar.

Pada fitur gamifikasi ini, pengguna akan mendapatkan satu tantangan quiz per hari yang berisi kurang lebih 15 pertanyaan. Pengguna akan mendapatkan poin sesuai dengan jawaban benar dan waktu menjawab tiap pertanyaan. Semakin cepat dan benar, maka semakin banyak poin yang didapatkan pengguna. Poin ini diakumulasikan ke dalam leaderboard yang tersedia dalam rentang waktu harian dan mingguan.

## Pattern Classification ⭐

![Pattern Classification](/portfolio/stock-master/pattern-classification.png 'pattern classification')

Dalam gamifikasi, pengguna akan mendapatkan salah satu jenis soal untuk menggambar chart pattern sesuai dengan namanya, seperti pada bagian kiri pada gambar di atas. AI yang digunakan adalah EfficientNetV2B0 dengan akurasi 100% yang di-train menggunakan 14 kelas dataset yang kami buat sendiri. Adapun ONNX digunakan sebagai runtime dari AI ini karena terbukti lebih cepat daripada menggunakan runtime dari Tensorflow maupun PyTorch di CPU.

## Price Forecasting

![Price Forecasting](/portfolio/stock-master/price-forecasting.png 'stock price forecasting')

Fitur ini memberikan prediksi harga saham setahun ke depan berdasar harga 4 tahun ke belakang. Adapun prediksi dilakukan tiap minggu dengan cron.

# Software Architecture

![Architecture](/portfolio/stock-master/architecture.png 'arsitektur aplikasi')

Arsitektur aplikasi ini tertera seperti gambar di atas. Kami menggunakan arsitektur semi SOA (Service Oriented Architecture) dengan memisah backend untuk AI menjadi satu service terpisah.

# Meet the Team

- Me, Lutfi Andriyanto, as AI and Backend Developer.
- [Aulia Nur Fajriyah] as UI/UX Designer.
- [Jovian Reynaldo] as Frontend Developer.

# Links

- Backend Rest API: [github.com/lutfiandri/stockmaster-be](github.com/lutfiandri/stockmaster-be)
- Backend AI: [github.com/lutfiandri/stockmaster-be-ml](github.com/lutfiandri/stockmaster-be-ml)
- Frontend: [github.com/jovianjr/StockMaster-FE](github.com/jovianjr/StockMaster-FE)
- The site: [stockmaster.vercel.app](stockmaster.vercel.app)

# Tech Stack

## Backend (Me)

- Express.js: for Rest API Service
- Flask + ONNX Runtime: for AI Service
- Auth0: for "login with Google" option
- MongoDB

## AI (Me)

- Tensorflow + EfficientNetV2: for pattern classification
- SARIMA: for stock forecasting

## Frontend

- Next.js
- Tailwind CSS

## UI/UX

- Figma



[aulia nur fajriyah]: https://www.linkedin.com/in/aulianurfajriyah
[jovian reynaldo]: https://www.linkedin.com/in/jovianjr

> Note: Karena ini project dari suatu startup, informasi yang saya cantumkan di sini sangat saya batasi

[Tumbuh] merupakan startup yang menyediakan platform peminjaman uang untuk modal bisnis suatu company. Di sini, saya bekerja sebagai satu dari tiga Backend Engineer yang membuat aplikasi MVP (Minimum Viable Product) atau aplikasi versi pertama dari Tumbuh. Project ini dipimpin oleh Product Manager kebanggaan saya, yakni Mas [Fury Oktria].

# Tech Stack

- Golang
- PostgreSQL



[fury oktria]: https://www.linkedin.com/in/furyoktria
[tumbuh]: https://www.tumbuh.in

> Tutur mendapatkan juara 1 di INTENTION IFEST UNPAD 2022

# Features (and What I've Done)

## Recognition ⭐

![Dictionary](/portfolio/tutur/recognition.webm 'arti bahasa isyarat: perkenalkan nama saya lutfi')

Fitur ini mengambil video dari webcam dan akan diterjemahkan dadi BISINDO ke Bahasa Indonesia. Hal yang menarik di sini adalah Machine Learning yang kami kembangkan **mendeteksi gesture, tidak hanya gambar**. Namun, performa dari Machine Learning yang kami gunakan masih belum terlalu bagus dan bisa dibilang memiliki banyak noise.

Berikut adalah alur dari fitur Recognition.

![Dictionary](/portfolio/tutur/recognition-flow.png 'alur recognition')

## Dictionary

![Dictionary](/portfolio/tutur/dictionary.png)

Fitur ini berisikan kosakata BISINDO (video) ke Bahasa Indonesia. Belum ada optimasi seperti Lazy Loading di fitur ini yang menyebabkan load video lumayan berat di awal.

## Translate

![Translate](/portfolio/tutur/translate.webm)

Fitur ini memberikan input teks ke user, lalu akan diubah menjadi rangkaian video BISINDO. Sama seperti fitur Dictionary, belum ada optimasi loading video.

# Meet the Team

- Me, Lutfi Andriyanto, as Frontend Developer. Created Recognition and Dictionary features.
- [Haikal Hilmi] as Frontend Developer. Created Translate feature.
- [Aulia Nur Fajriyah] as UI/UX Designer. Created all designs for this app.
- [Daniyal Kautsar] as Machine Learning Developer. Created all Machine Learning model for BISINDO gesture detection.
- [Annisa Uswa Sofia] as Data Miner. Created dataset needed for Machine Learning model.

# Links

- Github: [github.com/lutfiandri/bisindo-ifest](https://github.com/lutfiandri/bisindo-ifest)
- The site: [bisindo-ifest.vercel.app](https://bisindo-ifest.vercel.app)

# Tech Stack

- Next.js
- Mediapipe
- Tensorflowjs

# Presentation

<div class="video-wrapper">
  <iframe src="https://www.youtube.com/embed/W5K7v6cJqBY?si=yuQUhb-5Wp83rI65&amp;start=3630" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>
</div>

> Tutur - Help Communicate for Better Future!



[aulia nur fajriyah]: https://www.linkedin.com/in/aulianurfajriyah
[daniyal kautsar]: https://www.linkedin.com/in/mdaniyalk
[haikal hilmi]: https://www.linkedin.com/in/haikalhilmi
[annisa uswa sofia]: https://www.linkedin.com/in/annisauswa

My Portfolio