Mogłoby się tak wydarzyć gdyby nie nieprzewidziane zakręty historii, które spowodowały, że to Bydgoszcz stała się miastem, a Wyszogród pozostał górą piachu.
W swej pierwszej postaci Bydgoszcz była niewielkim drewnianym gródkiem, a najbliższym ośrodkiem władzy był potężny i ludny jak na tamte czasy Wyszogród. Siedziba książąt pomorskiego, a później kujawskiego. Wyszogród, o którym pisał już na początku XII wieku Gall Anonim, że był grodem o dużym znaczeniu.
Do 1330 r. obydwa ośrodki rozwijały się równolegle. Wyszogród na wysokim brzegu Wisły górujący nad brodem przez Brdę w Czersku i kontrolujący lądowy szlak bursztynowy, biegnący wzdłuż Brdy i Wisły oraz żeglugę na Wiśle.
Bydgoszcz położona na opływanej przez Brdę wyspie, prawdopodobnie naturalnego pochodzenia. Wyspa nie była wielka, co ograniczało wielkość osady i liczebność mieszkańców. Niektórzy twierdzą, że istniejący wówczas w Bydgoszczy kościółek św. Idziego był ośrodkiem filialnym kościoła św. Magdaleny w Wyszogrodzie, poświęconego podobno przez samego św. Wojciecha.
W Wyszogrodzie znajdowała się książęca komora celna i pobierano cło za towary spławiane Wisłą na handel między Pomorzem z Gdańskiem, Mazowszem i Kujawami, a nawet Małopolską. Był więc grodem bogatym, o tym, jaki Wyszogród był potężny, mogą świadczyć widoczne do dziś pozostałości. Archeolodzy twierdzą, że to, co dziś możemy oglądać stanowi tylko 1/5 część dawnego Wyszogrodu, resztę zabrała Wisła.
Korzystając z bezsilności Władysława Łokietka zajętego jednoczeniem Polski na południu i wschodzie Krzyżacy zajęli całe Pomorze Gdańskie. W ramach tej akcji doszczętnie zniszczyli i spalili nienawistny dla nich Wyszogród. Prawdopodobnie zrobili to tak samo jak w Gdańsku – całą ludność słowiańską wymordowali, a osadników niemieckich przesiedlili. Wyszogród po tym zniszczeniu już nigdy nie został odbudowany, cały zysk ze spławu towarów Wisłą przejęły ośrodki krzyżackie.
Zupełnie odmienne były losy Bydgoszczy, również zajętej przez Krzyżaków w tym samym czasie. Sami Krzyżacy zaczęli gródek odbudowywać, sprowadzili z Niemiec osadników i rzemieślników. Jak twierdzą niektórzy historycy, to właśnie Krzyżacy położyli pierwsze kamienne fundamenty pod zamek bydgoski. Zapewne zamierzali uczynić z ośrodka bydgoskiego placówkę graniczną swego państwa. Jakiekolwiek były plany Krzyżaków, nie zdołali ich oni zrealizować. Po kilku latach swego panowania zostali z Bydgoszczy usunięci na mocy traktatu pokojowego z Polską.
Następca Łokietka Kazimierz Wielki zadecydował, żeby Bydgoszcz przekształcić w silny ośrodek osadnictwa i siedzibę swojego kasztelana, który miał pilnować granicy a Krzyżakami. Wydał w 1346 roku w Brześciu akt lokacyjny dla miasta Kunigesburg, która to nazwa jednak się nie przyjęła. Ostatecznie pozostała Bydgoszcz. Miasto Kunigesburg miało powstać i powstało nie na wyspie, w miejscu starej osady, ale na zachód od niej, na pustym prawym brzegu Brdy. Założycielami stali się dwaj Niemcy, być może wywodzili się oni ze sprowadzonych do Bydgoszczy przez Krzyżaków osadników. Miasto powstało w miejscu obecnej starówki i z czasem zostało od południa otoczone murem i fosą, od północy chroniła je Brda. Miejsce dawnego grodu na wysoko wznoszącej się nad rzeką wyspie zajął murowany zamek – siedziba kasztelana.