Showing posts with label Test Araçları. Show all posts
Showing posts with label Test Araçları. Show all posts

Thursday, February 23, 2017

TestRail İncelemesi

TestRail bir test yönetim aracıdır.

Ürünün Web Sitesi: TestRail
Deneme Sürümü (Ücretsiz Üyelik): https://secure.gurock.com/customers/testrail/trial/

Öne çıkan özellikleri; web üzerinden erişilebiliyor olması, içerdiği alanların konfigüre edilebiliyor olması (yeni alanlar eklenebilmesi) ve hata takip araçları ile entegre olabilmesi.

Özellikle yöneticilerin / liderlerin testlerin ilerleyişini takip edebilmeleri için faydalı. Ayrıca test geliştiricilerinin de düzenli ve hızlı şekilde test oluşturmalarına imkan sağlıyor.

Ben deneme sürümünü kullanma fırsatı yakalayabildim, burada yazdığım değerlendirme de bu deneme sürümüne yönelik.
Diğer test yönetim araçları ile arasında bir karşılaştırma yapmadım bu değerlendirmede.

Sonda söyleyeceğimi başta söyleyim:
TestRail, kullanımı ve yönetimi gayet kolay bir araç. Benim, aracın büyük çoğunluğuna hâkim olmam yaklaşık 2 saatimi aldı.
Kullanmaya başlamadan önce ilk olarak "Administration" sekmesinin içeriğini detaylıca kontrol etmekte fayda var, çünkü olmadığını düşündüğüm pek çok özelliğin aslında var olduğunu "Customizations" alt-sekmesinde gördüm.
Kurumunuzun ihtiyaçlarına yönelik olarak test durumlarının içerdiği alanları özelleştirmekten tutun, piyasada yaygın olarak kullanılan hata takip araçlarına entegrasyona kadar pek çok yetenek dahil edilmiş.
Ben sanırım 2 sene önceki bir sürümünü kullanmıştım, pek hoşuma gitmemişti. Fakat şu anki hali gerçekten şaşırttı beni. Gereksinim izlenebilirlik aracı ile entegrasyon da olduğu söylenmiş ama onu deneyemedim.

Bu aracı şirket içinde yaygınlaştırma kararı vermek isteyenlerin, şirketin ilerde ortaya çıkabilecek ihtiyaçlarını da düşünerek gereksinim yönetim araçları ile entegrasyon, raporlama yetenekleri, TestRail'da yazılan testlerin diğer bir uygulamaya aktarılması gibi yetenekleri de sorgulaması faydalı olacaktır.

Olumsuz Tarafları:
  • Test adımları içine tablo ekleme biraz karışık olmuş.
  • Test durumları içine yeni alanlar eklenebiliyor fakat bu eklenen alan üzerinden rapor alabilme yeteneği (gördüğüm kadarıyla) yok. Örneğin test durumu içine "İlgili Ekran" şeklinde bir alan eklenirse, rapor olarak ' "İlgili Alan" alanı boş olan test durumlarını raporla' veya '"Giriş Sayfası" ekranını test eden test durumlarını listele" şeklinde bir rapor alamadım.
  • Oluşturulan testlerin hepsinin nihai hali olduğunu düşünmüşler sanırım. Bir testin henüz geliştirilmesi devam ediyorsa, durumunun taslak olarak belirtilmesi gibi bir yetenek yok. Evet, "Test Runs" oluşturulurken test durumları seçilebiliyor ancak binlerce test durumunun olduğu bir projede, bir test durumu eklerken öncesinde bir süzme yapmak gerekiyor. Süzgeç koymuşlar fakat "Test Case Status" gibi bir alan olmadığından henüz geliştirilmesi bitmemiş bir test durumunu da "Test Runs" içine yanlışlıkla dahil edebiliriz.
  • "Overview" sekmesinde, projenin / ürünün kaç tane test olması gerekiyordu, bunların %de kaçını yazdık, test geliştirme açısından ne kadar gerideyiz, gibi sorulara bir cevap veren bir mekanizma göremedim.
  • Proje planlama araçları ile bir entegrasyon (gördüğüm kadarıyla) yok.


Olumlu Tarafları:
  • En başta, testlerin yazımı ve test koşularının genel durumunu göstermesi açısından faydalı bir ürün. Pek çok firmanın ihtiyacını karşılar nitelikte.


  • "Todo" Sekmesi
    • "Todo" sekmesinde bir kişinin veya tüm ekibin yapması gereken test koşularının listesi verilmiş.
    • Test koşularının sonuçlarına (Passed, Failed, Untested, Blocked, Retest) göre filtreleme yapmak da mümkün.
  • "Milestones" Sekmesi
    • "Milestones" sekmesinde projenin iterasyonlarına ait bilgiler giriliyor ve bu iterasyonlara testler dahil ediliyor.
  • "Test Cases" Sekmesi:
    • Test durumları yazılırken test adımlarının hepsi bir alanda, beklenen sonuç(lar) da bir alanda olacak şekilde yazabiliyorsunuz. Ayrıca, standartlarda beklenen "Adım - Beklenen Sonuç" ikilisi şeklinde de test adımları yazılabiliyor.
    • Test adımları içine "PrintScreen - CTRL+V" tuş kombinasyoları ile ekran görüntülerini eklemek mümkün. Ayrıca bu ekran görüntüleri hem adım hem de beklenen sonuç alanlarına eklenebiliyor.
    • Yine test durumu içine, ekranın sağındaki alandan herhangi bir türde dosya eklemek mümkün.
    • Yine "Test Cases" sekmesinde bir test durumunun detayları, hangi test koşularının içinde olduğu, hangi hataların açıldığı ve test durumu üzerinde daha önce yapılan değişikliklerin tarihçesi de görülebiliyor; gayet güzel.
    • "Print" düğmesine tıklanarak istenen test durumlarının PDF çıktısı alınabiliyor.
  • "Test Runs" Sekmesi
    • "Test Runs" sekmesinde bir test koşusunda hangi testlerin koşacağı planlanıyor. Bu test koşuları, bir "Test Plan"a dahil edilebiliyor, test planının konfigürasyonu (hangi işletim sistemleri, web gezginleri, donanım tipleri, gibi) ayarlanabiliyor. Güzel bir özellik. Böylece, test koşularının her bir test konfigürasyonunda tekrar edilebilmesi, takip edilmesi ve raporlanması da sağlanmış.
    • Test planlarının görünümü Durum, Aktivite, İlerleme ve Hatalar'a göre ayarlanabiliyor, böylece testin ilerleyişine farklı açılardan bakmak mümkün oluyor.
    • Test planlarının raporları farklı ihtiyaçlara göre oluşturulabiliyor. Öyle sanıyorum ki deneme sürümündeki bu rapor sayısı, ücretli TestRail sürümünde çok daha fazladır.




  • "Reports" Sekmesi
    • Bir rapor oluşturulurken ("Reports" sekmesi) hangi tür testler veya hangi test durumları dahil edilecek, hangi test koşularının / test planlarının sonuçları raporlanacak, rapora kimler erişebilir, bu rapor ne zaman ve hangi periyotlarda üretilecek, rapor üretilince kimlere e-posta gönderilsin gibi gayet güzel özellikler içeriyor.
    • Deneme sürümündeki kullanılabilecek rapor şablonları şöyle:




  • "Administration" Sekmesi
    • Bu sekme, TestRail'ın yönetimi için kullanılıyor. Aşağıda görülen alanlarda ayarlamalar yapılabiliyor.




Thursday, January 29, 2015

Yazılım Test Araçları

Yıllar içerisinde kullandığım test araçlarını burada liste haline getirdim. Bunun dışında test mühendisliği kariyeriniz boyunca gelişiminize faydası olabilecek konferans / toplulukların videolarını da fırsat buldukça ekliyorum.

Fonksiyonel Test Araçları:
Selenium - Web temelli ürünlerin fonksiyonel testlerinin otomasyona alımında kullanılabilecek bir araç. Üç adet bileşeni var; IDE, WebDriver, Grid.
IDE bir Firefox eklentisi. Kaydet-Oynat mantığında çalışan bir uygulama. Bazı basit testleri bu IDE'yi kullanarak yapabilirsiniz. Fakat detaylı iş akışları, kontroller, tekrarlar, vs. gerektiren testleri yazmak için WebDriver ile kod yazmanız gerekmektedir. IDE'nin faydası, bir testi kaydedip sonrasında bunu WebDriver kodu olarak dışarı aktarabilmektir. Kod yazım zamanını oldukça kısaltıyor. WebDriver'ın kullandığı betik dilinin adı Selenese, öğrenmesi çok zor değil, Java'ya benziyor. Programlama dillerine aşina iseniz, hızlıca öğrenebilirsiniz. Grid ise yazılan testlerin pek çok farklı internet gezgininde (Chrome, Firefox, Safari, IE, ...) çalıştırılmasını sağlamaktır.

Ranorex - Bu ürün görece yeni bir araç. Kaydet-Oynat mantığında çalışıyor, fakat RanoreXPath özelliği ile kaydedilen testler daha etkin bir hale getirilebiliyor. Şurada kısa bir incelemesini yapmıştım. Benim hoşuma gitti açıkçası bu ürün.

IBM Rational Functional Tester - Bu ürünü birkaç senedir kullanmadım. Temelde bu da Ranorex gibi bir ürün. Geniş bir protokol desteği var. Dezavantajı pahalı olması.

SoapUI - Web servislerinin testleri için vazgeçilmez bir araç. Pro versiyonunda ekstradan kolaylıklar da sağlanmış, manuel yapılan işlemleri kolaylaştırmışlar. Ama ücretsiz versiyonu da işinizi fazlasıyla görecektir. Bir de kardeş ürünü var LoadUI, web servislerine yük testi yapmak için kullanılıyor.

Performans Test Araçları:
Jmeter - Apache firmasının geliştirdiği vazgeçilmez bir araç. İlk başlarda alışmanız biraz zaman alabilir ancak oldukça güçlü ve ücretli ürünlerden aşağı kalır bir yanı yok. Eklentiler ile raporlama yetenekleri de oldukça geliştirildi.

OpenSTA - Web ürünlerinin performans testlerinde kullanılır. Birkaç senedir güncellenmiyor, o yüzden artık bu ürünü tavsiye edemem.

Güvenlik Test Araçları:
OWASP ZAP - Open Web Application Security Project Zed Attack Proxy. 
Wireshark
FindBugs

Sharkfest:
http://www.youtube.com/results?search_query=sharkfest

Riverbed Channel: 
http://www.youtube.com/user/RiverbedTechnology/videos

Hackathon:
http://www.youtube.com/results?search_query=hackathon


Sunday, September 28, 2014

Ranorex Test Otomasyon Aracı

Ranorex isimli fonksiyonel test otomasyon aracını ancak deneme fırsatı bulabildim. Toplamda şimdilik 2 gün bakabildim.

Kullanımı kolay sayılır, açıkçası benim çok hoşuma gitti.

Windows tabanlı uygulamaların yanında plugin desteği sayesinde Java'dan SAP'ye kadar pek çok uygulamanın arayüzündeki nesneleri yakalama yeteneğine sahip. Ayrıca Web ve Mobil teknolojilerin fonksiyonel test otomasyonunda da kullanılıyormuş; bu ikisine henüz bakamadım.

Test durumlarının oluşturulması, yönetimi, yeni test / adım eklenmesi oldukça kolay. Ancak GIS uygulamalarını Ranorex de yakalayamıyor (Rational Functional Tester da yakalayamıyordu).
Çünkü bu GIS uygulamaları "render" edilen uygulamalar. Bu tür test araçları da "render" edilen veya 3-boyutlu olan uygulamaları şimdilik yakalayamıyor.

Onun dışında genelde nesnelerin hepsini yakaladı ve başarılı testler oluşturabildim. Yaşadığım 2 küçük sayılabilecek sıkıntı;
 - Java'da JPanel container 'ı tek bir nesne olarak yakalıyor, içindeki metinleri satır satır yakalamıyor,
 - Windows command ekranını tek bir nesne olarak yakalıyor, içindeki metinleri satır satır yakalamıyor,

Böylece doğrulamayı "imaj"lar ile yapmak durumunda kaldım; çok büyük sıkıntı değil.

Oldukça fazla yeteneği var ürünün, keşfettikçe buraya yazarım.

Ranorex'in 30 günlük deneme sürümünü web sitesinden indirebilirsiniz. Eğitim videoları da var, onları izlemenizi de tavsiye ederim.

Web Sitesi = http://www.ranorex.com/

Youtube'da da birkaç video var: Ranorex Tanıtım Videoları